1861年，太平軍忠王李秀成率領軍隊，氣勢如虹地攻破江南大營後，迅速揮師進入江浙地帶，江浙一帶的地主士紳如“喪家之犬”紛紛逃到上海。
然而，上海的局勢也岌岌可危。太平軍攻佔蘇州後，分分鐘就可以向上海發起進攻。而上海地形易攻難守，防守的兵力又相當有限，除了英法洋兵和華爾洋槍隊外，就只有根本派不上用場的綠營和團練。英法洋兵的主要任務是保護租界安全，他們纔不管上海的安危呢。
爲了避免上海陷入滅頂之災，上海的士紳們趕緊自己想辦法。想什麼辦法呢?他們派出錢鼎銘前往安慶湘軍大營，找曾國藩搬救兵，承諾只要曾國藩派兵援救上海，軍餉根本不是問題。曾國藩被打動了。因爲湘軍自成軍以來，最大的問題就是籌措軍餉。
曾國藩最初打算派曾國荃去上海，可老九一心一意圍攻天京，不願分身。接着又想派湘軍宿將陳士傑去上海，陳士傑也不願去。就在這時候，李鴻章主動請纓。於是，任務就交給了李鴻章。
隨即，曾國藩的派遣下，李鴻章回到安徽老家，募集了6營淮軍。曾國藩見淮軍勢單力薄，又從湘軍劃撥了8個營的兵力。於是，李鴻章就有了14個營的建制。
在操練一段時間後，上海戰事緊急，李鴻章便率領9000名淮軍從安慶啓程奔赴上海。從安慶到上海，還有很長一段距離，其間要多次經過太平軍的勢力範圍。如果這樣硬闖過去，勢必猴年馬月才能抵達上海。而走長江水路的話，就要經過天京。天京長江兩岸，都有太平軍重兵把守。
最後，由上海士紳出面，請英國派商船護送淮軍奔赴上海。
1862年2月，李鴻章率領第一批2000名淮軍，乘坐英國商船沿着長江順流而下。
李鴻章的幕僚周馥也隨行。他後來回憶，當時長江兩岸密佈太平軍的炮臺和營壘，淮軍官兵們都躲在底艙中，忍受着污濁的空氣污濁不敢露頭，怕遭太平軍攻擊。只是，由於太平軍礙於洋船，沒有上前檢查。淮軍士兵在經過天京江面時，紛紛出艙歡呼雀躍。太平軍鞭長莫及，只能怒目而視。
經過兩天兩夜的航行，滿載淮軍將士的英國商船停靠在上海十六鋪碼頭。淮軍將士從船艙走出來，好奇地打望着眼前這座繁華而陌生的大都市。
他們身着芒鞋短衣，布帕包頭，滿嘴的安徽土話。因爲很久沒有洗澡，身上散發出濃烈的味道，再加上手中武器簡陋，多是大刀長矛，看上去就像一羣乞丐，英法軍隊見此情狀，“皆笑指爲丐”，把他們稱爲“叫花子兵”。
面對外界的譏笑，李鴻章鼓勵淮軍將士，說：“軍貴能戰，待吾破敵懾之。”只要能打仗，怕什麼呢?很快，李鴻章就率領淮軍接連打了虹橋、北新涇、四江口3次惡戰，遏制住了太平軍的勢頭，緩解了上海的燃眉之急，也讓中外人士對淮軍刮目相看。
淮軍贏得了上海士紳的信任，軍餉源源不斷地送來。李鴻章用這些錢，購買大量洋槍洋炮，對淮軍進行改裝，並聘請外國教練按照西式制度進行訓練。一支迥然不同的新式軍隊，就出現在大家面前。
李鴻章依靠淮軍，在上海成功地站穩腳跟，這也成爲李鴻章一生功業之始。
