羅姆人約於公元1000年離開印度，經阿富汗、波斯、亞美尼亞、土耳其等地，到達歐洲。(至今仍有羅姆人散居伊朗等地。)14世紀時羅姆人已到達巴爾幹半島，16世紀時已遍佈歐洲各地，包括蘇格蘭、瑞典等地。另有羅姆人經敘利亞到達北非，再越過直布羅陀海峽到達西班牙。同時印度北部至今仍有和羅姆人相似的民族居住。
羅姆人長途遷徙的原因至今仍是歷史界之謎。有學者稱，羅姆人的祖先是低種姓的印度教徒，應徵入僱傭兵軍隊後，升爲剎帝利(即戰士)種姓，同時被派往西面以抵制伊斯蘭教國家的擴張。另有學者稱，穆斯林征服印度北部後，其俘虜淪爲奴隸並發展出自身獨特的文化，成爲羅姆人的前身。但羅姆人到達中東後，爲何不折返印度，反而繼續前進，進入歐洲，則是一個不解之謎。
羅姆人後來也大量遷入美洲。
吉普賽人來到中國的時間大約在元代。吉普賽人在波斯被稱作“羅哩”，在中亞，也稱柳裏、古裏，均由波斯語“Lari”轉化而來，有勇敢、魯莽、歌手、乞丐之意。
蒙古人崛起以後，成吉思汗子孫多次西征，不斷在中東地區擴張。他們俘虜了大批當地居民，一部分作爲奴隸，一部分補充入蒙古軍中。這些人被帶回中原以後，就有一部分吉普賽人來到中國，被稱爲“羅哩回回”。
羅哩回回最早見於元成宗大德六年(1302年)的文獻中，他們被元代統治者列入色目人階層，作爲西域流戶之一，比漢人南人享有更多的特權。他們人數不多，仍以部落爲單位，保持着歌舞流浪、搶奪的傳統，從西北到東南沿海的廣大地域，均留下他們的足跡。
明代學者高啓曾經爲寧國路涇縣(今安徽皖南地區)的典史胡鬆撰寫過一篇墓誌。上面曾有這樣一個故事：作爲西域流戶的羅哩回回，有一個數百人的部落，在流浪過程中不斷掠奪百姓財富，侮辱民女。元代制度：蒙古色目毆打漢人南人者不得復。因有不能還手的法律約束，老百姓敢怒不敢言。胡鬆作爲地方軍事之長，當然有保護百姓之責，於是他設計以招待他們的名義，將他們全體部落人員引入一個寺廟當中，然後關上大門，派兵團團圍住，將他們的部落首領叫出來，對他說：“你們欺壓百姓，他們不能還手是因爲他們是民，而我是天子委派的官，有權依法處理你們，你們如果好好離開，我就以酒食相送，否則就讓你們知道本朝法律的厲害。”吉普賽頭人大爲驚愕，遂率部落離開，沒有一個敢聲張的。
直至明代，羅哩回回侵擾民衆、殺人搶劫的事件仍屢屢發生。嘉靖三十八年(1559年)秋，羅哩回回鄙掠秦州地區清水鄉(今甘肅天水地區)，典史喬學中率民衆抗擊，中流箭身亡。萬曆及崇禎年間，歷史上也有羅哩賊掠清水鄉的記載。
清代以後，羅哩回回不見於文獻，或作爲回族，或作爲漢族，被中華文明所同化，均融入中華民族的大家庭中。
