1880年12月31日，馬歇爾出生在尤尼恩敦。他是家中最小的孩子，上面有一個哥哥和一個姐姐。老馬歇爾是一家焦炭熔爐公司的董事長，在賓夕法尼亞擁有富煤礦。
馬歇爾小的時候學習不好，考試總得最後一名。他後來承認，9歲時他便認定自己註定是“全班的劣等生”。父親對他很失望，常用柳條鞭管教他。但這也未能使他的學習成績好起來。
老馬歇爾對軍隊情有獨鍾，希望兒子能成爲軍官。長子似乎可以實現父親的夢想，他以優異成績考進著名的弗吉尼亞軍校。但他志不在軍隊，畢業後卻改行到一家鋼鐵廠當了化學師。這時，馬歇爾突然雄心勃發，一再要求父母送他到哥哥的母校弗吉尼亞軍校。他後來承認，他如此想上軍校，並非因爲喜歡軍隊或想穿上軍裝出出風頭，而是因爲要勝過他那個自命不凡、百般嘲笑他的哥哥。1897年9月，16歲的馬歇爾進入弗吉尼亞軍校。他剛入校，便受到老生的“考驗”。老生按例讓他在地板上懸蹲10分鐘，正下方固定着一把刺刀。他剛患過傷寒，身虛體弱，沒堅持幾分鐘便坐到刀尖上，臀部受傷，血流如注。他被擡到醫務所急救，但始終未說出受傷的緣由。他的行爲贏得大家的讚許，他受到尊敬，在軍校站住腳。
馬歇爾將軍在弗吉尼亞軍校學習期間，因爲說話口音太高，高年級學生以“難聽的匹茲堡鼻音”令人刺耳爲由，處罰他一人包攬了大量髒活。他後來在回憶錄中寫道，一個月刷洗的馬桶比一個清潔工一輩子刷洗的還多。
馬歇爾漸漸喜歡上軍校生活。他一年級結束時當上伍長，兩年後升爲隊長。校內舉行的所有重大儀式，他都擔任學生指揮。他聲如洪鐘，面色威嚴，發號施令極具威懾力。
1901年，馬歇爾以名列第8的優異成績畢業於軍校，年底進入陸軍，次年受領陸軍少尉軍銜並被派往菲律賓。行前他與伊麗莎白·科爾斯卡特結婚。新娘患有心臟病，未能與他同行，留在了國內。
這時菲律賓駐有美軍3萬5千人，維持某種“和平”，戰事已緩。年輕的少尉服役兩年，沒有參加戰鬥，但經歷了叢林環境和疫病的考驗。他的老成持重和公正無私很受上級讚賞。
1903年夏，馬歇爾回到美國，被派往俄克拉何馬地區的雷諾堡。妻子身體不好，仍不能與他同行。馬歇爾在雷諾堡的出色表現受到上級注意。1906年他被選進利文沃思堡進修班進修。進修學員都是上尉以上的軍官，他是唯一的少尉。一年後他以名列第一的成績獲得繼續深造的資格。這時，妻子搬到利文沃思堡與他同住。但是疾病使她無法與丈夫過正常的夫妻生活，也無法生育。雖然如此，馬歇爾與妻子一直相親相愛，外人以爲他們的婚姻生活完美無缺。
20世紀初美國軍隊晉升機會極少。馬歇爾晉升爲中尉，帶着這個軍銜一直幹到1916年。這時他已36歲，當了14年軍官，在美國14個不同的部隊服役任過職，兩赴菲律賓，兩進國民警衛隊。無論在哪裏，他都得到上級誇獎。他肯吃苦，精通兵法，足智多謀，忠誠可靠。但他仍是一箇中尉。他的上司哈古德將軍1916年在有關軍官能力的報告中寫道：“馬歇爾理應在常規軍中任准將職，推遲一天任命，軍隊和國家就遭受一天損失。”但是，提升軍官委員會只是任命了馬歇爾上尉職。
