胤祥的生母章佳氏，在康熙帝后妃中並沒有顯赫的地位，她出身一般，是滿洲鑲黃旗參領海寬的女兒。而且她享壽也不長，康熙三十八年(1699年)去世，身後留下了14歲的胤祥、13歲的皇十三女和9歲的皇十五女。
胤祥在康熙帝的三十六個兒子中，排行十三，幼年喪母之後，胤祥便由胤禛的生母烏雅氏撫養，胤禛比胤祥大八歲，可能是命運的安排，胤祥一生和他的四哥最爲親善，並影響了他的一生。
胤禛是烏雅氏的第一個兒子，不過這個兒子並不是自己親手撫養的，而是給了孝懿仁皇后撫養。皇后只生過一個女兒，不幸早夭，故而將胤禛抱去撫養以填補無子之痛。烏雅氏雖然捨不得兒子，但皇后能看上自己的兒子，這也是天大的面子，家世平凡的烏雅氏，又有什麼可以抱怨的呢。
胤禛作爲哥哥，自然承擔了教育弟弟胤祥的任務。由於康熙早年已經確立了太子，名分已定，其他皇子自然沒有非分之想。胤禛將主要的時間花在讀書上，對這個小自己八歲的弟弟，自然也花了更多的時間照顧。成年後，胤祥還時常回憶起皇兄教自己數學的經歷。
幼時的胤祥，虎頭虎腦，一幅淳樸的形象，備受康熙喜愛。對於皇父，胤祥也是無與倫比的崇拜。一次康熙帝與諸子在宮內遊玩，年幼的胤祥也跟着同遊。康熙與衆皇兄走過之後，胤祥未能跟上，一個人被落在後面。
呆萌的胤祥，突然做出了驚人之舉，他趴在地上，像條寵物狗一樣“尋履跡伏地嗅之”，想以此追蹤父皇的蹤跡。
在康熙的心目中，胤祥總是很體貼，也很聽話，時刻都能想父皇所想，認爲他“生秉粹質，至性過人”，對他也格外寵愛。
康熙三十七年，十三歲的胤祥第一次跟隨父親去盛京，拜謁遠在遼東的大清先祖們的陵寢。此後無論是巡遊江南，秋圍塞外，視察河工，康熙總是將胤祥帶着身邊。
康熙一生共有六次南巡，胤祥陪同了四次。康熙四十二年，胤祥跟隨父皇南巡。由於胤祥書法不錯，康熙特命胤禛與胤祥一起書寫對聯，在羣臣的注目下，胤祥一氣呵成，文墨工敏，羣臣無不稱讚。
然而，胤祥的命運和性格，在康熙四十七年皇太子胤礽被廢之後，發生了翻天覆地的改變。
蘇州人何焯，早年落魄，在蘇州靠教授私塾爲生，後來經過李光地的推薦，以草澤遺才而入南書房，並奉旨在八阿哥胤禩府中擔任老師。
何焯在給友人的信中提到：“十三殿下乃康熙帝所鍾愛也”。這還不夠，有着一顆非凡八卦之心的何焯，在給他弟弟的信中，又生動地描述了楊國維被選中陪皇十三子讀書，而康熙一直認爲楊國維詩文無人能出其右，現在讓他陪伴十三殿下，“將來遭遇不可知也”。
何焯是八阿哥胤禩的老師，而胤禩又是皇位繼承人最有力的競爭者，連何焯都如此看，一時間，十三阿哥要成爲太子的風聲，傳的沸沸揚揚。
如此一來對胤祥很不利，形勢急轉而下，胤祥被冷落了。對胤祥的冷落，表現在方方面面，以前康熙出行，身邊總少不了胤祥，此後不管去何處，再也不見胤祥的蹤影。
康熙四十八年，康熙大封皇子，胤祉，胤禛、胤祺被封爲親王，其他諸皇子，或爲郡王，或爲貝子。沒有授封的成年皇子只有胤祥，此時他已經二十四歲。
康熙五十一年，康熙遍賜銀兩，上至親王，下至御前侍衛都得到了封賞，就連爭奪太子之位而被拘禁的胤禩也得到了賞銀，但胤祥一兩銀子也沒得到。
康熙冷落胤祥，其中的原因，是他以爲這個讓他喜愛的皇子，也開始覬覦太子的位置。晚年的康熙杯弓蛇影，被兒子們傷透了心。他最厭惡的就是皇子們流露出來的野心，曾放出狠話：“如有鑽營爲皇太子者，即國之賊也。”
胤祥自小就沒有野心，固然沒有想當太子的意思，可是各種傳聞終究到了康熙的耳朵裏。愛之愈深，恨之愈切，自己最喜歡的皇子，曾經在地上嗅着氣味追尋皇父蹤跡的胤祥，竟然也有如此心機。失望悲切之下，康熙開始冷淡胤祥，並告誡其他大臣皇子警惕他。
在其他皇子的請安折上，康熙的批示明確流露出了對胤祥的厭惡，認爲他是“不大勤學忠孝之人”，“爾等若放任之，必在一處遇到他，不可不防”。康熙生病之後，在病榻之上還傳諭旨給託和齊，讓他留心胤祥：“現在朕龍體欠佳，流言蜚語四起。這些言語皆出自正藍旗，你一定要切實留意。”
皇子和羣臣心裏都明白，老皇帝雖然沒有點名，但他所說的正是屬於正藍旗的胤祥。
在康熙的晚年，胤祥彷彿是個被遺忘的人。胤祥默默旁觀其他皇子的激烈角逐，他超然於世外，除了皇四兄，他不與其他人來往。
至於流行於各網絡及影視中的胤祥被康熙“十年圈禁”一說，純屬文學作品杜撰，不足採信。有大量史料爲證，如皇子請安折、胤祥出席康熙六十大壽等。這些都足以證明，胤祥在康熙四十七年(1708年)至康熙六十一年(1722年)的14年中擁有行動自由。
