遼道宗大安三年(1087年)，耶律大石出生於上京，他是遼太祖耶律阿保機八世孫，從小好學，善於騎射。兼通漢文、契丹文。天慶五年(1115年)，耶律大石中進士，入翰林院，任翰林承旨，他是《遼史》中記載的遼朝唯一一個契丹進士。後歷任泰、祥二州刺史，遼興軍節度使。
1122年(遼天祚帝保大二年)，金兵大舉南侵，攻克中京，天祚帝不敢留守，西逃入雲中。時大石等留守南京，遭到金、宋夾攻。爲了安定人心，堅持抵抗，大石擁立耶律淳即位，稱天錫皇帝，後世稱北遼。耶律淳任命大石爲軍事統帥，負責守衛。
大石分析當時形勢，決定向金稱臣，同北宋結好。但是，北宋君臣認爲這是奪回燕雲十六州的好機會，出兵二十萬攻打南京。大石率軍迎戰，敗宋軍於白溝河，不久耶律淳病死，其妻蕭德妃攝政，宋兵復來攻，奇襲南京城，在巷戰中遼軍再次取勝，使得兵心復振。
1123年四月，大石率軍在奉聖州龍門壁附近抵抗失敗被俘，逼迫爲金兵帶路偷襲天祚帝的青冢大營。後從金營逃脫，九月投奔天祚帝。天祚帝並不能原諒大石擅自另立皇帝的作爲，也不能接受大石''養兵待時''的意見，這使得大石深自疑慮。1124年夏，在天祚帝準備出兵與金決戰時，大石殺死了蕭乙薛、坡裏括二將，率領親兵200人逃離。
1134年，東喀喇汗國阿赫馬德汗死，其子易卜拉欣汗不得人心，造成康里人和葛邏祿人叛亂，被迫邀請西遼出兵協助平亂。大石很快平定了康裏和葛邏祿，並把東喀喇汗國降爲附庸，割取其北疆一帶爲西遼直轄領地。當年，大石定都於八剌沙袞(今吉爾吉斯托克馬克)，改年號康國元年。
關於耶律大石本人的宗教信仰，不同宗教的信徒有着不同的說法，《世界征服者史》的作者志費尼認爲他''祕密成爲了一位穆斯林''，另一位歷史學家伊本·阿西爾又說他是摩尼教徒，甚至還有景教徒稱頌他是傳說中的祭司王約翰。其原因也許是因爲他表現出了極度的寬容性。在統治區域內，他沒有強行推進任何信仰，並且對不同的宗教一視同仁。伊斯蘭教、佛教、景教、摩尼教、薩滿教等宗教都在西遼贏得了不少信徒。對於其屬國和附庸部落，大石要求他們按時繳納貢金，並派遣一名''沙黑納''(監國)監管，他們的頭人要掛銀牌表示臣服。其餘方面一切依照原有模式治理。另外，他也採取了遼朝南北面官制，對南面的農耕居民和北部的遊牧居民按其習俗分別治理。每戶交一第納爾稅收。
由於他的這些寬容措施，西遼盡得民心，很快發展成爲中亞地區首屈一指的強國，連成吉思汗的重要輔臣耶律楚材也盛讚其''頗尚文教，西域人至今思之''。
1141年西遼的控制區域東至高昌，西抵裏海，成爲了中亞的霸主。1143年，耶律大石病逝，享年五十七歲，廟號''德宗''。
