大肆征召兵马。刘虞为了不使幽州境内的少数民族负担过重，而没有达到朝廷征召兵马之数，因而自己因公事不利，而被罢免了官职，回归东海郡郯县祖籍。
直到黄巾之乱爆发，其才又重新受到重用。中平元年，震惊东汉朝野的黄巾起义爆发，以张角为首的起义军很快便攻破了冀州诸郡。而在仅仅一个月内，全国八州二十八郡都发生了战事。黄巾军势如破竹，威震京师。
汉灵帝刘宏一面组织名臣良将前去平叛，一面组织朝臣前去安抚因黄巾军之乱后的百姓。因此刘虞则被重新任命为甘陵国相，到冀州安抚救助受灾的百姓，希望他们能够尽快安定下来。
刘虞到了破败不堪的冀州后，坚持从自身做起，。他每顿饭不过一两道素食，穿着破旧的衣衫，以俭朴为下属树立榜样。也因此使得甘陵属国很快就得到了平复，百姓们均开始春耕，国内再无偷鸡摸狗，敢触犯法律之事。
不久后刘虞就因为政事再次被升迁，汉灵帝刘宏感其一心为公，遂加封刘伯安为宗正，列为九卿之一。
黄巾之乱平定后没多久，前中山国相张纯、前泰山太守张举，与乌桓辽西郡丘力居结盟，发动叛变，战火再度席卷整个北方疆土。
乌桓校尉箕稠、右北平太守刘政、辽东太守阳终等人相继殉职，叛军很快达到了数十万人。后来张举自号为“天子”，传书到各州郡处诏书，说自己要取代汉朝，还指示辽西丘力居等五万人部队，进入青、冀二州作乱。
因为刘虞在北方的威望很高，汉灵帝刘宏再度任命刘虞为幽州牧，让他前去幽州平乱。这时的汉灵帝刘宏还亲自接见了刘虞，向他阐述了自己心中的抱负，只是因为朝堂派系林立，自己不是不勤政，而是只能借助这种伪装，才能把国家治理好啊。
刘虞感其不易，遂领命愿意誓死守护好幽州之地，不让这里再起战事。刘虞到达蓟城后，便“罢省屯兵，务广恩信”，还派使者离间一时上头的乌桓丘力居等人，悬赏通缉张举、张纯二人，很快就靠自