麥鐵杖是始興人。勇猛而有膂力，能日行五百里，跑起來可以趕上奔馬。粗獷放蕩且好酒，喜歡結交朋友，重信義，平常以捕魚打獵爲生，不置產業。
陳國太建年間與人合夥做賊，廣州刺史歐陽頠俘獲了他，麥鐵杖從此淪爲朝廷的奴僕，專給陳後主撐傘。麥鐵杖常常在陳後主退朝之後，步行一百多裏，夜間到南徐州，翻越城牆而入，借燈光打劫偷盜。次日早晨返回時，仍舊替陳後主撐傘。像這樣十多次，失主們認出了他，南徐州官府用狀子告到陳後主那裏。朝中官員見麥鐵杖每天早晨都在，不相信他做賊。
後來南徐州官員又多次狀告鐵杖，尚書蔡徵說：“這是可以驗證的。”在衛兵們退出的時候，以百金懸賞，招募可以送詔書給南徐州刺史的人。鐵杖出來應招，懷揣詔書而去，次日早晨及時回奏。
陳後主說：“的確是徐州官員說的那樣，鐵杖偷盜之事是很清楚的。”因憐惜他勇猛敏捷，警告後便放他回家了。
降隋建功
隋滅陳後，麥鐵杖轉入大將軍楊素軍中，居清流縣，屢立戰功。恰巧江東謀反，楊素派鐵杖到江南去偵察。
麥鐵杖頭戴草把，在夜間浮水過江，全部弄清賊營情況後回報楊素。後來又再次到賊營窺探，被賊兵捉住，賊帥李棱派三十個軍士押送他，綁着準備送給高智慧。押到肻亭，軍士們吃飯休息，可憐他餓，解開綁着的手讓他吃飯。麥鐵杖奪取軍士的刀，亂砍押送的軍士，直到殺盡爲止，然後一一割下他們的鼻子，懷揣而歸，楊素十分驚奇。後來論功行賞，卻沒有麥鐵杖，碰上楊素坐驛車回京都，鐵杖徒步追隨楊素，每夜同宿一店。
楊素髮現麥鐵杖時才明白麥鐵杖的用心，特地向隋文帝請奏授鐵杖爲儀同三司。但因麥鐵杖不識字，放回鄉里。成陽公李徹欣賞鐵杖勇猛，在開皇十六年(597年)，徵召麥鐵杖到京城，任命他爲車騎將軍。仍跟隨楊素北征突厥，加封爲上開府。
煬帝榮寵
隋煬帝即位，漢王楊諒在幷州謀反，鐵杖又跟隨楊素征討漢王楊諒，每次作戰總是身先士卒，後任柱國大將軍。不久調任萊州刺史，但無政績。轉任汝南太守，漸漸學習法令制度，羣盜絕跡。
後來上朝，考功郎竇威嘲笑鐵杖說：“麥是什麼姓?”鐵杖應聲答道：“麥竇(豆)沒有差異，有什麼值得奇怪的?”竇威非常羞愧，無言以對，當時的人都認爲麥鐵杖機敏聰慧。
不久麥鐵杖又調任右屯衛大將軍，隋煬帝對他更加親密。麥鐵杖認爲隋煬帝對他恩重如山，常懷盡忠報國之志。
戰死沙場
大業八年(612年)，隋煬帝征討高句麗，麥鐵杖請求當前鋒。他回頭對隨從醫生吳景賢說：“大丈夫的性命自有所在，豈能去用艾炷燙鼻樑，用瓜蒂噴鼻孔，治黃不差，而死在婦人懷裏呢?”將要渡遼河，鐵杖對他的三個兒子說：“你們應該準備淺黃色的衣衫。我久蒙國恩，今天應是爲國捐軀的時候。我如果戰死，你們將會富貴。在忠與孝上，希望你們多努力。”等到渡河時，橋未完工，離東岸還有幾丈，高句麗軍大批涌來。麥鐵杖跳上岸，與高句麗軍拼搏，戰死。同時戰死的還有武賁郎將錢士雄、孟金叉。
隋煬帝爲鐵杖哭泣，贖回鐵杖的屍體，下詔說：“鐵杖志堅氣勇，平素以功著稱，這次陪朕討伐賊人，身先士卒，衝鋒陷陣，節高義烈，雖身死而功存。他的誓言至忠至誠，追懷他的平生，讓人傷感不已。應賜給他特殊榮譽，以表彰他的功德，可追贈光祿大夫之職，追封宿國公，諡號武烈。”鐵杖之子麥孟才承襲爵位，不久授爲光祿大夫。
麥孟纔有仲才、季才兩個弟弟，都被拜爲正議大夫。隋煬帝還贈錢鉅萬，爲鐵杖辦喪事，賜鍂車京喪車，前後配有吹鼓手，喪車的竿子上插着羽毛，在平壤被賊軍打破的宇文述等一百多人都在車前爲鐵杖執繩引棺，王公以下的官員送到郊外。
