秦始皇在位的晚年，因爲北征匈奴，建築長城等，動用了大量的人力和物力，加上修築官室和驪山陵等大工程，從民間徵調了大量的勞役。原本大家是利用農閒時間奉獻勞役，但是徵召太多，超過了農閒所能負擔的，全國上下就是在農忙的時候也要被徵去做勞役，農民們沒法正常幹活，生產受到重大影響，自然就怨聲載道，詛咒這些勞民傷財的苦役了。
不久，徵調去修築驪山陵勞役的命令到達了泗水亭。劉邦最反對這些影響農民正常生活的苦役，他氣憤的說：“勞役，勞役，大家全部被徵去做勞役，家裏的田地誰去耕種呢?以後還得繳納各種稅賦，老百姓怎麼活的下去!”
但秦王朝實行什伍制度，掌握了全國各地的戶口和人數，想逃避徵役沒那麼容易，何況還有重型等着膽敢違抗命令的人們呢，沛縣縣令不敢怠慢，立刻徵集了500多個當勞役的人員，並編造名冊，派遣屬下的各亭亭長領隊應徵。
這次勞役是建築驪山陵，是一件非常艱險的勞役，因爲大家對過多的勞役非常反感，所以負責領隊是件很危險的差事，萬一在途中有一個人跑出來率領大家結隊逃亡，領隊的人要以同樣的罪受處罰，不但自己要被處刑，而且還會連累家裏的人。
縣令考慮了半天，最後下令讓劉邦負責領隊。劉邦雖然一萬個不願意，但卻推辭不了，只好硬着頭皮領徵調的500多人出發了。
從沛縣到咸陽，路程有幾千裏遠，途中翻山越嶺全靠兩隻腳，還得攜帶笨重的炊具和野宿行裝，勞役隊必須在規定的時間內到達，耽擱久了就要問罪，他們得日夜兼行，這是一件非常苦的差事。
劉邦對部下一向較寬厚，因此他管理勞役很鬆散，有些吃不了苦或想念家鄉的人就趁機逃走了。
發現有人逃亡，劉邦自然十分頭痛，但當時監管的人員實在太少，山路又崎嶇複雜，要搜捕是很困難的，劉邦對這事束手無策，只好裝作不知道，繼續領着勞役隊向咸陽走去。但逃亡的人越來越多了，劉邦感到無能爲力，心想再這樣下去，到咸陽恐怕只剩下他一個人，到時候交不了差，只有死路一條了。與其這樣去咸陽被問罪處死，乾脆一錯就錯到底，讓大家逃走算了。劉邦就這樣下定了決心，這時他反而感到輕鬆多了。
當大家坐在地上休息的時候，劉邦下令將剩餘的路費全部換成了酒菜，召齊大家痛痛快快的大吃一場。大家正莫名其妙，劉邦當衆宣佈，勞役隊伍在今晚全部解散，要回去的可以回去，這個責任由他一個人承擔，他慷慨激昂的說：“你們到驪山去做苦工，不是累死，也是被打死，就算不死，也不知哪年哪月才能回鄉。我現在把你們放了，你們自己去找活路吧!”大家感激的直流眼淚，說：“那你怎麼辦呢?”劉邦說：“反正我也不能回去，逃到哪是哪。”大家覺得劉邦是個大英雄，有一些膽大而義氣的人表示說：“我們願意跟隨亭長逃亡!”於是一羣人跟着劉邦逃走，現在雖然有許多人可以照顧，但天涯茫茫，該到哪裏去安身呢?
劉邦一向樂觀果斷，他帶着酒意，帶着大家往深山裏走，這樣可以避免消息走漏，也可以到山區找到吃的東西，劉邦帶着大家逃到芒碭山躲了起來，過了不久，聚集了幾百人。
