在南北朝時期，朝代常因爲軍權流入權臣手中而更替。南朝的軍事制度大至延續東晉募兵制。北朝在軍事制度方面，在北魏初期採行兵民合一的部族兵制，統一華北後逐漸成爲世兵制。北朝後期出現府兵制，成爲隋唐兵制的基礎。南朝兵種以步兵和水軍爲主，騎兵較少。兵源原本來自世兵制。但是因爲戰爭的消耗、士兵的逃亡和被私家分割，部分兵戶變爲民戶，兵源趨於枯竭，於是改以募兵制爲主。南朝軍隊區分爲中軍(亦稱臺軍)及外軍。中軍直屬中央，平時駐守京城，有事出徵。在南朝宋時，宋武帝劉裕加強皇宮兵力，以圖扭轉東晉以來外強內弱的局面。
然而，由於宗室自相殘殺而失敗，歷朝屢次有篡位之事發生。外軍則歸各地都督管制。都督多兼刺史，而且常與中央抗衡 。北朝方面，北魏軍隊在初期以鮮卑騎兵爲主力，其補給是由各部自行掠取。在統一華北過程中，漢族逐漸加入軍隊。當攻城戰增加後變爲步、騎兵混合。之後步兵成爲主力兵種。北魏統一北方後，軍隊分爲中軍、鎮戍兵和州郡兵。中軍在平時守衛京城，有事則成爲對外作戰的主力。鎮戍兵是爲保衛邊防而設置的。鎮相當於州、戍相當於郡。初時僅設於北部邊境，後來擴展到南部邊境。州郡兵，是維持諸州治安的軍隊，有時也充作鎮戍兵或是隨軍出征。北魏後期也逐漸形成固定的兵戶 。
