由於唐玄宗李隆基晚年的昏聵，內用佞臣李林甫、楊國忠，外用叛將安祿山、史思明，755年造成安史之亂，國家勢力一潰千里，使得伊斯蘭勢力進佔西域，從而使中華文化近500年無法佔領西域，才使得伊斯蘭一統中亞、西域，造成今天的新疆各族都被伊斯蘭化。
安史之亂後唐朝勢力的衰退並退出西域。
753年前後，正是唐朝經營西域的全盛時期，但是此後隨着國內政局的的劇烈變化，唐朝在西域的勢力也大大衰退，由高峯跌入了低谷。755年(天寶十四載)，唐朝國內爆發了有名的安史之亂，由唐朝蠻族將領安祿山、史思明率領的東北邊疆叛軍長驅南下，攻陷東、西兩京，唐玄宗愴惶逃出長安，南下四川盆地。玄宗的兒子肅宗在靈武繼位之後，調集西北邊軍勤王平叛，守衛西域的安西、北庭節度使屬下的邊兵也被大批調往內地。
據記載，756年(至德元載)有三支西域唐軍被調回內地，其中李嗣業、段秀實率精兵五千，安西行軍司馬李棲筠率兵七千，馬磷精兵三千，三支軍隊共一萬五千人返回鳳翔，參加了收復長安的戰爭，以後在此基礎上組成了戰鬥力很強的鎮西北庭行營。(見《新唐書》各人傳記)
除了西域邊兵之外，唐朝還徵發了西域各國本地的軍隊幫助平叛。《資治通鑑》卷218記載，756年肅宗在徵發拔汗那兵馬的同時，又使拔汗那"轉諭城郭諸國，許以厚賞，使從安西兵入援。"明確見於記載的有于闐王尉遲勝率領的本國兵馬五千(《舊唐書·尉遲勝傳》)。另外與拔汗那一起發兵的還有大食等國。最晚到 757年(至德二年)正月以前，他們就已經行進到了河西地區(《資治通鑑·卷219》)。到了758年(乾元元年)秋天，吐火羅葉護烏那多與西域九國首領來朝，請求"助國討賊"，肅宗派他們赴朔方行營效力[《冊府元龜》卷973 《肋國討伐》，參見《新唐書·吐火羅傳》]。西域邊兵大批內調，對平定安史之亂起了重要的作用，但是卻大大削弱了唐朝在西域的勢力。
這時西域的外部威脅主要是大食和吐蕃，西域防禦能力的衰退，給他們提供了入侵的時機。但是大食勢力並沒有趁機東進，而是派兵助唐叛亂，這說明大食從一開始就無意(或無力)進入蔥嶺以東的地區。對吐蕃而言，這時唐朝不僅僅是撤回了安西、北庭的邊兵，而且也調回了隴右、河西防備吐蕃的軍隊，入侵隴右、河西要比進 攻西城便捷得多，也有利得多，於是吐蕃大舉進 攻河西。在這種形勢之下，西域反而得以保全，孤軍堅守了將近半個世紀之久。
到763 年(廣德元年)時，吐蕃軍隊已經盡陷蘭、廓、河、都、洮、岷、秦、成、渭等州，佔領了河西、隴右的大部分地區(《資治通鑑·卷223》)。此後西域守軍與內地的聯繫斷絕，但仍然奉唐正朔，堅守西域(吐魯番出土的《高耀墓誌》(發掘簡報見《新疆社會科學》1985年，第4期)有廣德四年(相當766年)年號。實際上廣德只有兩年(763-764年)，765年代宗改元永泰(765-766年)。墓誌仍然沿用廣德年號，說明在765年以前就己失去聯繫，不知長安改元永泰。)。而且四鎮在這時還保持着一定的兵力，765年(永泰元年)左右，河西唐軍抵擋不住吐蕃的進攻，遣使前往四鎮，“索救援河西兵馬一萬人”(敦煌文書P.2942《河西節度使判集》)，這至少說明西域的形勢這時要比河西穩定得多。
大概到了768年(大曆三年)左右，西域守軍又與朝廷恢復了聯繫，朝野上下對他們“忘身報國”的精神感動得“酸鼻流涕”、唐代宗下詔褒獎，並向西域唐軍通報內地情況，讚揚他們“不動中國，不勞濟師，橫制數千裏，有輔車首尾之應。以威以懷，張我右掖，凌振於絕域，烈切於昔賢。微三臣(指河西節度使周鼎、安西、北庭都護曹令忠、爾朱某)之力，則度隍逾隴，不復漢有矣。”
其實就歷代原王朝而言，經營西域不外乎內外兩方面的原因。就內部來說，控制了西域既可張揚國威，又保證了絲綢之路貿易的繁榮;就對外來說，控制了西域就可以牽制和削弱北方遊牧民族的勢力，並進而保障河西，隴右的安全，防止南、北兩個方向遊牧民族勢力的匯合。吐蕃攻陷關隴之後，已深入唐朝心腹地區，西域地區也就失去了它原有的戰略意義，西域的存亡對整個唐朝邊防來說已經沒有多少實際的意義，所以西域雖有“奉國之誠”，朝廷卻因“事勢不及相恤”，(《全唐文》卷464 《慰問四鎮北庭將吏敕書》)不得不採取了任其自生自滅的態度。
783年(建中四年)唐朝將領朱泚又發動兵變，佔領了長安。唐德宗出奔奉天，遣使向吐蕃請求援兵，吐蕃藉機提出以徑、靈等四州以及安西、北庭作爲交換條件。德宗應允了吐蕃的條件，與吐蕃簽署了誓約，並且準備派遣沈房、韓朝彩等人前往西域辦理交割事宜。擬將西域將士、官吏、僧道、耆壽、百姓等撤回內地，然後將西域交割給吐蕃。令四鎮、北庭將士“遞相慰勉，葉力同心，互相提摘，速圖近路，復歸鄉井，重見鄉親。”同時“如有資產已成，不願歸此，亦任便住，各進所安”(《全唐文》卷464《慰問四鎮北庭將士敕書》)。但是實際上由於吐蕃軍隊在戰爭中觀望不進，陰持兩端，而且又趁機劫掠武功，所以唐德宗聽從了李泌的意見，以吐蕃沒有履約爲由，拒絕將四鎮北庭交給吐蕃。
從已有的線索分析來看，西域唐軍並不知道交割西域這件事。唐德宗發佈撤軍敕書的時間是784年(興元元年)(據《舊唐書·吐蕃傳》)，但是在於闐丹丹烏里克遺址中卻發現了有建中八年(相當787年)年號的漢文文書，唐德宗建中年號只有四年(780一783年)，784年改元興元，785年又改元貞元，直到787年(貞元三年)西域仍在沿用建中年號，說明不知道兩次改元的消息，換句話說，沈房等人可能根本就沒有到西域。李泌在上疏中還說：“安西、北庭，人性驍悍，控制西域五十七國及十姓突厥，又分吐番之勢，使不得併力東侵”，並以此作爲反對將西域交給吐蕃的另一個理由。其實就當時的客觀情況而言，安西、北庭即便起到了“分吐蕃之勢”的作用，這種作用也很有限。西域之所以能夠長期堅持不墜，主要原因並不在於它自身如何強大，而是由於吐蕃勢力在此期間正全力經關隴地區進 攻關中，沒有全力進攻西域。唐德宗最初痛痛快快的就答應了吐蕃的要求，正好爲李泌的說法打了一個大大的折扣。總之，一直到了788年至789年(貞元四、五年)之間，唐朝駐守在安西四鎮，北庭、西州的軍隊還控制着蔥嶺以東的西域地區。
在西域邊軍大批內調，四鎮、北庭孤軍堅守期間，西域發生了兩個重大的歷史事件，一是回鶻(Uighur)汗國的西進，一是葛邏祿的南下。這兩個事件都對西域歷史進程產生了重要的影響。
回鶻原來是臣屬於東突厥的遊牧部落聯合體。開元末年，漠北東突厥(後突厥)汗國漸次衰亡，回鶻勢力逐步興盛起來。744年(天寶三載)，回鶻葉護骨力裴羅自立爲骨咄祿毗伽可汗，佔據了漠北草原，取代東突厥成爲漠北草原遊牧部落的共主。此後，回鶻汗國的勢力迅速向西延伸，到達了東、西突厥的傳統分界線金山一帶。原來居住在金山附近的葛邏祿部落在回鶻的壓力下開始向南遷徙。
突騎施蘇祿政權被唐朝消滅之後，唐朝雖然不斷地冊立突騎施各部首領，但由於突騎施內部四分五裂，內戰頻仍，一直沒有建立起一個統一的政權。到大曆年間(766-779年)，南下的葛邏祿部落就已經佔據了原來由突騎施控制的西突厥十姓故地。《新唐書·突厥傳》說：“至德(756-758年)後，突騎施衰，黃、黑二姓皆立可汗相攻，中國方多難，不暇治也。乾元中(758- 760年)，黑姓可汗阿多裴羅猶能遣使者入朝。大曆後，葛邏祿盛，徙居碎葉川(今中亞楚河)，二姓(即指突騎施黃、黑二姓)微，至臣役於葛(邏)祿。”比較清楚地構畫清楚了葛邏祿南遷的過程。唐朝在西域的守軍在這一時期大體上只能孤守據點，所以葛邏祿部落很順利地臣服了突騎施以及西突厥部衆。
葛邏祿南遷之後，西域形勢發生了較大的改變。大食帝國仍然控制着蔥嶺以西的西域地區;四鎮、北庭以及西州還掌握在唐朝守軍的手中;吐蕃政權西據伊吾，東有隴右，佔據河隴地區，隔斷了四鎮與朝廷間的聯繫;而回鶻汗國則佔據了金山以東的漠北草原，並進而左右着北庭地區的局面。
由於吐蕃的入侵阻隔了西域與內地的交通，這時唐朝西域守軍與唐朝政府的信息往來以及西域各國與中原地區的貿易交往都不得不改道，經由北庭，通過回鶻控制的“回鶻道”到達長安。安西、北庭因爲不得不“假道”回鶻，所以被迫“附庸”回鶻(據《舊唐書·吐蕃傳》)，以作爲自存之計。但是由於回鶻人“徵求無厭”，激起了葛邏祿、白服突厥以及北庭附近的沙陀部落的反抗，葛邏祿、白服突厥勾結吐蕃同進攻北庭。
789年(貞元五年)冬天，吐蕃軍隊以葛邏祿、白服突厥作爲嚮導，聯合大舉進攻北庭。回鶻大相頡幹迦斯率軍由漠北西進，援救北庭。回鶻軍隊與吐蕃軍隊在橫口遭遇，回鶻大敗，恰好這時頡幹迦斯得到了回鶻可汗被暗殺的消息，於是在 790年(貞元六年)6月撤軍返回漠北。失去回鶻的援助之後，北庭很快就被吐蕃攻陷，節度使楊襲古率殘兵二千人逃往西州。
剩餘唐軍繼續在分散的繼續堅守，最後消失在歷史的長河中。
