1251年7月1日，忽必烈長兄蒙哥登基成爲大蒙古國皇帝即蒙古帝國大汗，是爲元憲宗，因爲忽必烈在蒙哥的同母弟中“最長且賢”，蒙哥即位後不久即任命忽必烈負責總領漠南漢地事務，忽必烈在這段時間內任用了大批漢族幕僚和儒士，如劉秉忠、許衡、姚樞、郝經、張文謙、竇默、趙璧等等，並提出了“行漢法”的主張。
儒士元好問和張德輝還請求忽必烈接受“儒教大宗師”的稱號，忽必烈悅而受之，忽必烈尊崇儒學，“聖度優宏，開白炳烺，好儒術，喜衣冠，崇禮讓。”
1252年，宋軍攻打河南邊地，忽必烈請準蒙哥在河南設經略司，蒙哥任命史天澤、楊惟中、趙璧爲經略使，6月，忽必烈前往草原覲見蒙哥，奉命率軍徵雲南。
1253年，蒙哥分賞諸王，忽必烈得到京兆封地，忽必烈建立京兆宣撫司，忽必烈率領大軍在六盤山度夏，秋天，大軍經過臨洮進入藏族地區，到達忒刺(今四川松潘)地方，8月，忽必烈率軍從陝西出發，進攻位於今雲南等地的大理國;1254年1月2日，忽必烈攻克大理城，國王段興智投降，忽必烈滅大理國，雲南地區併入大蒙古國版圖。
1256年，忽必烈又增受懷孟州封地，1256年夏天，以南宋扣押蒙古使者爲理由，蒙哥正式宣佈了攻擊南宋的意向，忽必烈勢力的發展，引起蒙哥的疑忌。
1257年，蒙哥命阿藍答兒等在關中設鉤考局，查覈京兆、河南財賦，阿藍答兒等從河南經略司、京兆宣撫司的官員中，羅織一百餘條罪狀，旨在除滅忽必烈所信用的官員，削弱他的勢力，十二月，又親自去朝見蒙哥。蒙哥見忽必烈來朝，相對泣下，要他不必再作表白。
1258年農曆七月，蒙哥率大軍攻入四川北部，一路所向披靡，攻克四川北部大部分地區，1259年初，在合州城下攻勢受阻。
1258年11月29日，根據蒙哥的旨意，忽必烈在開平東北行祭旗禮，正式出兵啓行南下攻宋，於次年8月2日，忽必烈率軍抵達河南汝南，繼續向南宋進發，並派命楊惟中、郝經宣撫江淮。
1259年9月3日，忽必烈統領中路軍渡過淮河，攻入南宋境內，隨後一路向南，在湖北開闢新的戰場，進攻長江中游的鄂州。
