爲了避免匈奴五部叛亂，晉武帝時，匈奴五部頗具聲望的劉氏嫡子劉淵被詔往洛陽作爲人質。劉淵到了洛陽後，被漢臣讚賞他的才華和武藝。晉武帝愛才，想任用劉淵平定涼州之亂，被身邊的人勸阻。有臣子擔心劉淵以後造反，勸晉武帝除掉劉淵以絕後患，晉武帝沒有采納。劉父去世後，劉淵接任父位。劉淵在位盡心盡職，治理有方，懲惡揚善，待人坦誠，深得匈奴人支持。時有劉淵部下叛逃，因此又被朝廷免去了官職。司馬穎在成都自立爲王后，任命劉淵到鄴城任職。
西晉朝政王室長期內鬥，使得天下大亂，民不安生，生產衰退，各地區都有叛軍起兵。匈奴族人看到漢族衰弱，劉淵族人開始密謀叛亂計劃。他們共同擁護劉淵作爲首領，密謀起兵。匈奴族人派出使者到鄴城密會劉淵。劉淵得知消息後，向司馬穎提出回匈奴的請求，司馬穎沒有允許。不久，司馬穎遭到各地討伐，劉淵乘機對司馬穎說，願意去匈奴族請來援兵相助，司馬穎聽了馬上同意了。劉淵回到部落後，馬上聚集了匈奴五部的勢力，自立爲大單于。
晉朝內亂國力衰退，國內四分五裂纔給了匈奴起兵造反的機會。匈奴部族歸附漢族，晉朝卻沒有善待匈奴，反而隨意殺戮，多引起匈奴不滿，漸漸積累了怨氣，因此一旦漢族衰弱，匈奴族就有了叛亂之心。劉淵自小習得漢文化，深懂治國得人心的道理，他在匈奴順應人心，順勢起兵，是歷史的一個必然趨勢。匈奴首領冒頓單于南下侵漢，漢高祖被打敗，於是請求將漢室公主嫁給冒頓單于並和匈奴以兄弟相稱。匈奴族接受了請求，冒頓單于就把子孫後代姓氏改爲劉氏。曹魏建立政權後，曹操將在北方的匈奴分爲了五部，以劉氏擔任部帥。劉淵就是這個劉氏的後代。
劉淵自小就很聰慧，以孝心得到族人認同。又喜歡漢文化，博學多才，文武雙全。劉淵逐漸在匈奴族建立起了自己的威望。劉淵前往洛陽，才華聰慧得到漢族人認可，晉武帝本打算任用劉淵，後來被臣子讒言，放棄了任用。又許多人勸諫殺死劉淵以免除後患，晉武帝雖然最後沒有殺掉劉淵，卻讓劉淵心內不安。劉淵父親去世後，劉淵接任父親職位，開始上任。劉淵擔任官職的時候，治理有方，得到許多人的讚賞。此時西晉朝代更替，劉淵部下有人逃走也因此被免去了職位。成都王司馬穎在鄴城的時候起用了劉淵。西晉發生了八王內亂，匈奴五部見此開始有了叛亂之心，劉淵祖父同五部首領商議密謀造反，由於劉淵深得匈奴人支持，大家於是推選劉淵爲大單于。司馬穎在成都自立爲王，被西晉討伐，劉淵於是以援助司馬穎爲名回到了匈奴。司馬穎放劉淵回去後，劉淵受到匈奴五部民衆的擁護，自立稱王，建立了漢趙政權。漢趙反過來攻擊司馬穎，攻佔了鄴城。
