東漢初年，匈奴比較強盛，劉秀無力與匈奴戰，建武二十四年(48)，匈奴內部爲爭王位發生動亂，匈奴貴族相互殘殺，呼韓邪單于率領部衆歸附東漢王朝，從此匈奴分爲南匈奴和北匈奴。東漢政府設立匈奴中郎將進行監護，並每年給歸附的南匈奴一定的糧食、絲帛等物資，南單于則協助東漢政府共同抵禦北匈奴的侵擾，這在很大程度上促進了民族間的融合。
南匈奴歸屬漢朝後，北邊諸郡都佈滿了南匈奴人及北匈奴的新附之衆。此後匈奴人不斷內遷至涼州以東幷州以西，後來集中到幷州中部的汾水流域一帶。
和平、安定的環境有利於南匈奴社會生產的發展。同時，南匈奴人從入塞開始，不僅分佈沿邊諸郡，而且與漢族人錯居。
這種胡漢錯居的方式，帶來了文化上的融合，對於匈奴人由以生產組織和軍事組織相結合的畜牧業經濟轉向農業經濟提供了便利。
公元187年，南匈奴發生內訌，此時正值黃巾軍起義，董卓“挾天子以令諸侯”，各地封建割據勢力並起，漢朝無暇顧及匈奴。於是，南匈奴一部參加了農民軍的打土豪活動，主要活動區域在今河南省黃河以北、山西省南部地區。公元195年，南匈奴參與了中原封建軍閥的混戰，沿黃河而下，東漢大學者蔡邕之女蔡文姬就是這一時期被擄掠去匈奴的。此時，南匈奴已經佔據黃河流域諸多郡縣。
公元202年，南匈奴首領歸附曹操。曹操爲了北方的穩定，先後將南匈奴分爲五部(注2)每部擇立貴族爲帥，另選漢人爲司馬對其進行監督。同時，曹操還把幷州的中下層匈奴人編入漢族。這樣，南匈奴上下完全編入曹魏政權，中國北方完成了實際的統一。
但該措施讓匈奴的很多下層人民淪爲奴隸，因此魏晉時期，黃河流域出現了很多地區販賣匈奴人和其他雜胡爲奴隸的事。以至“五胡十六國”時期，匈奴後裔劉淵利用這些下層奴隸的反抗情緒，建立了“後漢政權”。但在西晉時期，各族人民往往打破民族的界限聯合起來，共同反抗各族統治階級的壓迫和剝削。
