1928年8月至1930年，石井四郎到歐洲“考察”，北野政次說過：“石井最初是自費，後來才變成國費。”而當時日本軍事機構慣例，經常派遣所謂“最優秀的年輕軍官”到海外學習、考察軍事，同時儘可能地收集情報。所以，石井四郎應是日本軍方派遣，“自費”一說應是爲掩人耳目。石井四郎歷時兩年，到過新加坡、錫蘭、埃及、希臘、土耳其、意大利、法國、瑞士、德國、奧地利、匈牙利、捷克斯洛伐克、比利時、荷蘭、丹麥、瑞典、挪威、芬蘭、蘇聯、愛沙尼亞、拉脫維亞、東普魯士、夏威夷、加拿大及美國本土,而石井四郎考察的重點是暗中調查德國祕密研製細菌武器的情況。據史料披露石井四郎此行，是由以日本陸軍省第一干將而聞名的永田鐵山大佐的派遣。
石井四郎於1930年秋回到日本，向已升任爲日本陸軍省軍務局局長的永田鐵山少將彙報，在結束彙報時，石井四郎建議：“我認爲，研製細菌武器己刻不容緩，遲延一日，必將使日本遺恨無窮。”石井四郎回到東京4個月後，被任命爲陸軍軍醫學校防疫部教官，同時晉升爲陸軍少佐。他繼續遊說細菌戰的重要，所持的最重要的理由竟然是“細菌戰無疑具有特殊的可能性，否則聯合國也不會禁止”。
石井四郎的目的是想在陸軍軍醫學校設立一個以他爲首的“防疫研究室”，以開展細菌戰的研究，並逐步成爲日本細菌戰的大本營。石井四郎力主研究和利用細菌戰的建議，得到了日本統治集團的讚賞，陸軍省軍務局永田鐵山少將、參謀本部鈴木率道大佐等人都予以了積極幫助。
此外，石井四郎還得到了號稱日本“化學戰之父”小泉親彥的大力支持。小泉是當時日本最重要的軍事科學家，可以說是日本軍事醫學的開拓者，後一度任過陸軍軍醫總監。1941年7月18日，還曾出任第三次近衛內閣的衛生大臣。小泉親彥也是個狂熱的民族主義者，他支持日本的擴張政策，卻還自命爲是一個“人道主義者。
1932年8月，東京若鬆町的陸軍軍醫學校內，所謂的“防疫研究室”終於設立了。儘管當時是設在防疫部的地下室，規模較小，石井四郎也僅有5名助手，但卻是石井四郎“食人魔窟”起始的雛形。
1932年末，爲了加緊細菌戰的研究，日本軍部一再下令：要“以物質和名望來滿足石井四郎的需要”。經日本陸軍參謀本部批准，在祕密賬戶上撥款20萬日元。而在當時的日本還正處於經濟大恐慌時期，20萬日元可算是一筆很大的經費了。其他日本陸軍部隊的經費都處於拮据之中，而石井四郎的細菌戰研究經費的預算卻是在逐年地增加。1933年8月，日本陸軍軍醫學校校長小泉將自己實驗室後面的一塊地給了石井四郎，在此處又建成一棟面積達1795平方米的新樓，與防疫部原來的建築相接連，並改稱爲“防疫研究所”。直到1945年日本投降，這裏一直是石井四郎在東京的細菌戰大本營，石井曾洋洋得意地說：它是日本“製造軍火工廠的楷模”。
選擇據點
石井四郎並不滿足於僅在日本本土上研究細菌戰，於是他親自執筆撰寫報告，請陸軍省軍醫總監西漢行藏中將轉交陸軍大臣荒木貞夫。報告中提出請求：“現在，我們感到，對細菌武器的研究，是必須加以實驗的時候了，我們要求軍部，把我們全體調到滿洲，使我們用來維護皇軍的細菌武器得以高度的發展。”日本大本營批准了他的報告。
1932年8月31日，石井四郎和他從小長大的朋友增田知貞以及4名助手、5名僱員隨行，到中國東北花費了一個多月的時間，跑遍了整個東北。目的是要在中國東北選擇建立細菌研究基地的地址，之所以選擇東北，是因爲在中國東北容易得到細菌研究的“材料”——活人;另外，中國東北靠近蘇聯，氣候也與其相似，一旦與蘇軍交戰，可以直接地實施細菌攻擊。但在具體地點的選擇上發生爭執，關東軍的石原莞爾主張設在牡丹江，而石井四郎卻執意要建在“北滿”的最大城市哈爾濱。最後，石井四郎的主張得到了日本大本營的支持。同時，石井四郎的細菌戰計劃，也得到了關東軍的大力支持。關東軍高層認爲細菌戰能起着擊敗蘇軍的重要作用，細菌戰將成爲抵消日軍在對蘇作戰中兵力上的劣勢。
1933年8月的一天，石井四郎命令日軍在哈爾濱市南崗區宣化街與文廟街交叉口一帶，攆走了當地的商店主、職員和居民，祕密設立了細菌研究所(石井部隊)，密稱“加茂部隊”，取名“加茂”，是源自石井的家鄉名稱。此外，這支臭名昭著的細菌部隊還常冠名爲“東鄉部隊”，這是因爲石井四郎十分崇拜在日俄戰爭中的東鄉平八郎元帥，而且石井本人採用的別名也爲“東鄉大尉”，細菌部隊基地裏的宿舍區稱“東鄉村”，神社稱“東鄉神社”。
儘管石井四郎採取了極爲嚴格的各種保密措施，但是，如果在像哈爾濱這樣的大城市裏實施大規模的人體細菌實驗，顯然有諸多不方便。石井四郎對此早有考慮，他選中了距哈爾濱市70公里以外的五常縣背蔭河鎮。在石井四郎看來，此地不但交通方便而且又較爲隱蔽，是作爲大規模進行人體細菌實驗場所的理想地址。
1933年秋，“加茂部隊”派黑田大尉在黑龍江省五常縣背蔭河圈定了500多平方千米的地盤，在附近村屯強徵近千名勞工和幾百輛馬車，日夜不停地修築“兵營”。不到一年時間，便建成了約100棟的磚瓦房。“營區不僅有營舍，還有到背蔭河火車站的專用線和飛機場。
殘酷實驗
1933年12月8日，關東軍參謀遠藤三郎視察這裏時，說：“初具規模達600平方米的大兵營，令人產生一種好似要塞的印象。這雖然是他們努力的結果，20幾萬元的經費開支看來還是值得的。”而石井四郎本人也成爲了有可他直接指揮的三百多人的細菌部隊部隊長。背蔭河細菌實驗場不僅中國人不許靠近，就連火車經過背蔭河車站時，也要放下車窗簾，嚴禁旅客向車外探望。細菌實驗場的日本人員很少外出，並都使用假名。即使與國內家屬通信，也經過關東軍的審查。背蔭河細菌實驗場完全成爲了與世隔絕的軍事要塞。背蔭河細菌實驗場因派了一個名叫中馬的大尉管理“兵營”，不知底細的當地老百姓都稱這座神祕的“大兵營”爲“中馬城”。
在“中馬城”營區中央是監獄和人體實驗的綜合設施。監獄是按關押1000人的規模建造，通常關押着500——600人。牢房很小，“犯人”幾乎總是戴着手銬和腳鐐。每個被囚禁的人平均3天——5天內採血500cc左右,採血從未停止過。等囚徒衰弱不再具有“研究價值”便注射毒液或槍殺，然後進行解剖，最後送到焚屍爐焚燒滅跡，焚屍爐由化名細谷的石井四郎的二哥石井剛男負責。
石井四郎在背蔭河進行的細菌人體實驗重點，放在炭疽、鼻疽、鼠疫和霍亂三四種的接觸傳染病病菌上;此外，還利用人體進行毒氣瓦斯、毒液實驗;同時以人體爲“材料”來進行凍傷實驗。時任關東軍參謀長的岡村寧次曾到背蔭河視察，對凍傷實驗尤爲關注，因爲關東軍在中國東北鎮壓抗日武裝及日後與蘇軍作戰時，面臨的嚴重問題便是嚴寒下凍傷威脅。視察後，岡村寧次給上司的報告書中寫道：“凍傷最好的治療方法是在37攝氏度的水中浸泡”，這一發現是“根據使用人體用各種方法經過反覆的試驗所獲得的寶貴的數據而得出”。
“中馬城”從1933年下半年複合設施還沒完成，石井四郎便迫不及待地開始啓動使用，1934年秋天，在中秋節因看守的日本兵警戒鬆懈，有30餘名囚徒越獄，其中王子揚等12人僥倖逃脫。由於這次越獄事件，使石井四郎感到將背蔭河選擇在抗聯第三軍的游擊區域，是選錯了地址。但爲了減輕和推卸責任，石井四郎還是採取了暫時維持，看看情況再定的辦法。但此後，抗聯第三軍趙尚志部曾幾次襲擊“中馬城”及附近日軍駐地，甚至發生了攻城未克事件。迫使石井不得不下定決心重新選擇“基地”了。
擴建部隊
1934年12月28日，關東軍參謀遠藤三郎和化名“東鄉”的石井四郎，從長春出發，途經哈爾濱也沒有停留，直奔背蔭河的“中馬城”。儘管兩人對搬遷一事隻字未提，但己下定決心廢棄“中馬城”了。石井四郎以背蔭河細菌實驗場發生“意外的火災”爲藉口，向日本參謀本部提出遷移和擴大“加茂部隊”的計劃，很快便獲批准。石井四郎將設備和機器裝運至哈爾濱，把關押的人員祕密殺死，不久，“中馬城”變成了廢墟。
從背蔭河“中馬城”的細菌部隊撤到了哈爾濱市的“加茂部隊”本部，即宣化街與文廟街交叉口處，在日本陸軍醫院的南院，以日軍醫院爲掩護，進行祕密的細菌研究活動。臨街的大鐵門經常關閉，由荷槍實彈的日本兵把守。裏邊一座二層的小黃樓，出入的都是一些日本軍人和穿白大褂的日本人。這裏既像是工廠，又像是醫院。對外稱“關東軍防疫給水部”，加上這裏確實生產濾水器這個半公開的事實，起到了掩蓋罪惡真相的作用。 早在1931年，石井四郎便公開展示自己發明的濾水機，爲了證明這種濾水機能把濁水、污水變成可飲用水，他多次在大規模的公開場合表演。1933年，昭和天皇視察陸軍軍醫學校時，就曾觀看過石井的演示。日本陸軍海軍參謀長也曾親眼目睹過。爲證實濾水機的功能，石井四郎甚至不惜當場親自喝下經過濾水機的尿液。這種石井式濾水機後來在硫磺島戰役時發揮了很大的作用。
1945年日本投降後，鬆村知勝少將在回憶錄中，對此曾有過活靈活現的描寫：“被稱爲‘陸軍的狂人軍醫’的石井，是一個堅毅果斷，擅長宣傳，有行動能力的軍醫。他從年輕的時候就行爲古怪。昭和12年(1937年)前後，在軍醫學校當教官時，當時筆者正在參謀本部編成班任職，他經常不請自來，強烈要求給防疫給水方面預算和編制。爲此,或當衆舔從人尿中提煉的鹽，或飲用污水處理來的清水等，讓參謀本部的大人物們目瞪口呆……總之是一位善於策劃，富有實幹能力的人……”防疫給水部成了日本瘋狂從事細菌戰的最好隱身衣，石井四郎以此爲名，在中國東北及關各地，成立了23個以上的“防疫給水部”，即細菌部隊及分支。
1935年初夏，關東軍強佔距哈爾濱市約20公里的平房地區，圈定6平方公里範圍，並於1936年春動工，開始了營建細菌部隊的設施。這是一項極爲保密的巨大、綜合性的工程，石井四郎在長春招募了4個日本建設株式會社承擔，經時兩年多才告完成，工地上使用中國勞工有時超過去1500人。
從細菌部隊設施藍圖上看，區內至少建有76棟建築，包括指揮中樞所在的二層樓，即由3棟、4棟、5棟、6棟組成的細菌研究中心的“四方樓”，佔地約爲15000平方米，內有各種細菌研究室、可供全年使用的凍傷實驗室、監獄、解剖室等，還有處理人體和動物屍骸的3個焚屍爐。
1936年時，平房及附屬設施的年度預算爲“人力費300萬日元，各支隊20——30萬日元，試驗研究經費600萬日元”。所以事實上石井四郎掌握着1000多萬日元的預算經費，而在當時即使指揮幾個師團的將官們如果得到如此一筆預算也會高興不已。1938年石井四郎晉升爲大佐。1938年6月30日，關東軍司令部發布了第1539號命令，確定了平房“特別軍事區”範圍及規則，“特別軍事區”總面積約120多平方公里。
731細菌部隊的規模遠遠超過了德國法西斯“波茲南細菌研究院”，是世界上最大的殺人工廠。731細菌部隊人員配備比其它培訓部隊高出一等，配有一名中將和四名少將，全員時爲2600人。1939年末，關東軍副參謀長遠藤三郎少將來到平房，看到石井部隊的“驚人規模”並與此1933年背蔭河細菌實驗場相比，不由發出“大有不勝今昔之感”。
石井四郎“上下班”往來於哈爾濱與平房之間，乘坐的是由專用司機駕駛的配有裝甲板的高級轎車。他在哈爾濱市的住所是沒收來的俄羅斯人的大邸宅，石井四郎和他的妻子及七個孩子在此過着奢侈豪華的生活。石井四郎的一個女兒石井春海在近40年後還留戀地回憶：“那實在是一座別緻的住宅，就像從《飄》那樣羅曼蒂克的電影中搬下來的一樣。”食人惡魔石井四郎在中國東北過着闊氣放浪的生活，他仍舊錶現出強烈的自我顯示欲，貪婪地挪用“公款”，狂飲、逛藝妓館。
石井四郎千方百計地將日本幾乎所有的細菌學者建立聯繫，使他們爲這支細菌部隊給予援助。而且，日本的大學也幾乎都被動員起來了,除東京的陸軍軍醫學校外，還有京都帝國大學、東京帝國大學、東京的傳染病研究所等等。而且在中國東北與石井四郎共過事的那些部下，戰後很多人都成了大學裏的醫學部部長、主任教授、大學校長，或是創造戰後日本經濟奇蹟的各業界中技術骨幹力量，擔任着重要職務。如731細菌部隊氣性壞疽、炭疽班班長植村肇，戰後任日本文部省教科書主任調查官;731部隊的長友浪男，戰後曾任日本北海道副知事 ;731部隊防疫研究室的金子順一，戰後曾任日本防務廳主任研究員;1644部隊防疫研究室的村田良介，曾任日本厚生省國立預防衛生研究所(現爲國立傳染病研究所)第六任副所長和第七任所長;731部隊凍傷課課長吉村壽人，戰後曾任日本京都府醫科大學校長。據最新資料披露：共有79名日本細菌戰犯在戰後受到重用。
細菌戰爭
1939年5月，日軍與蘇、蒙的軍隊發生衝突，石井四郎視爲進行細菌戰試驗的最好機會，他制定了具體實施方針政策案。6月份石井四郎在海拉爾儲備了2000多枚載有疽、傷寒、霍亂菌的炮彈，準備發射到蘇軍陣地。到了7月份，關東軍司令官植田謙吉爲挽回日軍的敗局，終於答應了石井四郎所求。欣喜望外的石井四郎將731細菌部隊當時僅有的400餘名各種從事細菌戰人員抽調一半，以“關東軍防疫班”名義參戰。並將22. 5公斤沙門菌和傷寒菌投入哈拉哈河中。在7、8月份，石井四郎又將早在6月份儲存在海拉爾的細菌彈運至前線，發射到蘇軍的陣地上。1939年10月1日，731細菌部隊作爲衛生部隊在日軍軍史上首次獲得的戰功獎狀。由第6軍司令官荻州立兵中將親自頒發，石井的正面半身照片附着報紙選擇性的報道了。石井個人功四級金鵄勳章。
731細菌部隊的特設監獄可關押四五百人，該部隊的細菌部隊長川島清供認：“每年有600名左右的‘特移處理’者被送到這裏”。保守推測從1939年8月到1945年8月，大約超過3000人當作“實驗材料”遇害。而這個數字不包括1939年8月以前被害者，及在安達、海拉爾等地被731細菌部隊支隊殺害者，還沒計算在中國內地投撒細菌而被害的人數，戰敗前後釋放帶菌動物所造成的人員死亡數。
1940年7月，石井細菌部隊組織了第一批遠征隊，在石井四郎親自帶領下，在浙江寧波上空投撒傷寒、霍亂、鼠疫菌;10月4日在衢州、22日在寧波飛撒細菌;11月和12月又在金華、上虞、湯溪等地投撒細菌。1941年春，石井細菌部隊按照關東軍司令部下達的的命令，派出第二批遠征隊，由第二部隊長太田澄大佐帶領，開始時爲60人，後增加到100餘人，其中有30名細菌學專家。遠征隊在常德一帶撒佈染有鼠疫菌的跳蚤，引發該地區鼠疫流行，死於鼠疫達400多人。4月21日又在新登縣上空投下細菌，11月4日在常德市區投撒鼠疫菌，12月19日，日機在諸暨上空散佈鼠疫菌。
1941年夏，爲掩護日本的細菌戰罪惡活動，日本細菌部隊啓用“滿洲第731部隊”的番號。用鐵製的彈殼裝細菌或跳蚤，常會因爆炸時發生高溫而殺死細菌或跳蚤;低空投放，飛機又易被擊落，石井四郎一直爲此頭痛。1942年春天一個深夜,石井四郎突然召集731部隊高級軍官開會，當衆宣佈想出了用陶土製造彈殼的方法，這種陶土製的彈殼，被稱之爲“石井式瓷制細菌彈”。
1942年8月1日，石井四郎因貪污實驗經費被撤職降級，調到南京任第一軍的軍醫部長。然而，石井四郎後來對此解釋爲：如果他繼續從事研究，他的仕途也就走到頭了，陸軍軍醫最高軍銜只能爲了獲得更高的官銜，他需要有實戰的經歷。
1942年5月，中日展開了浙贛會戰，到8月戰鬥結束。日軍在作戰中俘虜了數千名中國軍人，俘虜收容所分別設在玉山等兩處，每處關押1500餘名。8月下旬，石井四郎從南京飛抵衢縣，他首先想到是要利用這3000餘名的俘虜，來傳播劇烈的傳染病。於是在給俘虜的3000多個饅頭中注入腸傷寒菌、副傷寒菌，在餅乾上也塗上了這些細菌。然後將這些饅頭、餅乾給又累又餓的俘虜食用，最後釋放了這3000餘名俘虜。數日後，在日軍迅速撤離後的該地區，傳染病迅猛地蔓延起來。在第731部隊的基地發表了成果報告，其中記載：“派遣隊在現地調查的結果，傳染病突發並流行中最有效果的是副傷寒菌。”
1942年9月，石井四郎到山西，大肆佈置細菌戰，山西的日軍曾多次使用細菌武器。1944年夏，石井四郎奉命離開山西回國。1945年3月，石井四郎奉命重返731細菌部隊，再次被任命爲部隊長。石井四郎馬上利用職權，把曾調查自己貪污案件的、曾任731部隊總務部長的中留金藏中佐，調到太平洋戰場，使其不到一個月就喪了命。
日本戰敗前夕，石井四郎嚴令督促全部隊拼命突擊生產，石井建議將731細菌部隊儲存的細菌和數噸含毒菌的跳蚤、老鼠放撒到蘇聯各都市，然後，致人於死命的傳染病就會迅速蔓延全歐洲,但石井的意見未被上司採納。日本投降，石井四郎扔下部屬，搶先逃命回國。而731細菌部隊奉照石井逃離前的殺人滅跡的指令，除炸燬“四方樓”以銷燬罪證外，還殺害了所有供實驗用的被關押的人。而隱居在千葉老家的石井四郎由於害怕成爲戰犯，他連假葬禮都準備好了，他的助手內藤良一陸軍中佐與美軍談判，以提供人體實驗和細菌研究資料爲條件，換取了美國對731部隊有關人員免除戰爭責任，逃脫了審判。以後居住在東京新宿區，英國的一名大學講師宣稱他曾經去馬里蘭州和美軍探討細菌戰的可能性，但是日本記錄表明他一直在東京靠經營診所而默默無聞的活着。他改信了基督教，經常免費的給周圍的孩子治病。常常說：作爲醫生救助生命真的很快樂。1959年10月9日，石井四郎因患喉癌病死。
