胤祥的生母章佳氏，在康熙帝后妃中并沒有顯赫的地位，她出身一般，是滿洲鑲黃旗參領(lǐng)海寬的女兒。而且她享壽也不長，康熙三十八年(1699年)去世，身后留下了14歲的胤祥、13歲的皇十三女和9歲的皇十五女。

胤祥在康熙帝的三十六個(gè)兒子中，排行十三，幼年喪母之后，胤祥便由胤禛的生母烏雅氏撫養(yǎng)，胤禛比胤祥大八歲，可能是命運(yùn)的安排，胤祥一生和他的四哥最為親善，并影響了他的一生。

胤禛是烏雅氏的第一個(gè)兒子，不過這個(gè)兒子并不是自己親手撫養(yǎng)的，而是給了孝懿仁皇后撫養(yǎng)。皇后只生過一個(gè)女兒，不幸早夭，故而將胤禛抱去撫養(yǎng)以填補(bǔ)無子之痛。烏雅氏雖然舍不得兒子，但皇后能看上自己的兒子，這也是天大的面子，家世平凡的烏雅氏，又有什么可以抱怨的呢。

胤禛作為哥哥，自然承擔(dān)了教育弟弟胤祥的任務(wù)。由于康熙早年已經(jīng)確立了太子，名分已定，其他皇子自然沒有非分之想。胤禛將主要的時(shí)間花在讀書上，對這個(gè)小自己八歲的弟弟，自然也花了更多的時(shí)間照顧。成年后，胤祥還時(shí)常回憶起皇兄教自己數(shù)學(xué)的經(jīng)歷。

幼時(shí)的胤祥，虎頭虎腦，一幅淳樸的形象，備受康熙喜愛。對于皇父，胤祥也是無與倫比的崇拜。一次康熙帝與諸子在宮內(nèi)游玩，年幼的胤祥也跟著同游。康熙與眾皇兄走過之后，胤祥未能跟上，一個(gè)人被落在后面。

呆萌的胤祥，突然做出了驚人之舉，他趴在地上，像條寵物狗一樣“尋履跡伏地嗅之”，想以此追蹤父皇的蹤跡。

在康熙的心目中，胤祥總是很體貼，也很聽話，時(shí)刻都能想父皇所想，認(rèn)為他“生秉粹質(zhì)，至性過人”，對他也格外寵愛。

康熙三十七年，十三歲的胤祥第一次跟隨父親去盛京，拜謁遠(yuǎn)在遼東的大清先祖?zhèn)兊牧陮嫛４撕鬅o論是巡游江南，秋圍塞外，視察河工，康熙總是將胤祥帶著身邊。

康熙一生共有六次南巡，胤祥陪同了四次。康熙四十二年，胤祥跟隨父皇南巡。由于胤祥書法不錯(cuò)，康熙特命胤禛與胤祥一起書寫對聯(lián)，在群臣的注目下，胤祥一氣呵成，文墨工敏，群臣無不稱贊。

然而，胤祥的命運(yùn)和性格，在康熙四十七年皇太子胤礽被廢之后，發(fā)生了翻天覆地的改變。

蘇州人何焯，早年落魄，在蘇州靠教授私塾為生，后來經(jīng)過李光地的推薦，以草澤遺才而入南書房，并奉旨在八阿哥胤禩府中擔(dān)任老師。

何焯在給友人的信中提到：“十三殿下乃康熙帝所鐘愛也”。這還不夠，有著一顆非凡八卦之心的何焯，在給他弟弟的信中，又生動地描述了楊國維被選中陪皇十三子讀書，而康熙一直認(rèn)為楊國維詩文無人能出其右，現(xiàn)在讓他陪伴十三殿下，“將來遭遇不可知也”。

何焯是八阿哥胤禩的老師，而胤禩又是皇位繼承人最有力的競爭者，連何焯都如此看，一時(shí)間，十三阿哥要成為太子的風(fēng)聲，傳的沸沸揚(yáng)揚(yáng)。

如此一來對胤祥很不利，形勢急轉(zhuǎn)而下，胤祥被冷落了。對胤祥的冷落，表現(xiàn)在方方面面，以前康熙出行，身邊總少不了胤祥，此后不管去何處，再也不見胤祥的蹤影。

康熙四十八年，康熙大封皇子，胤祉，胤禛、胤祺被封為親王，其他諸皇子，或?yàn)榭ね酰驗(yàn)樨愖印]有授封的成年皇子只有胤祥，此時(shí)他已經(jīng)二十四歲。

康熙五十一年，康熙遍賜銀兩，上至親王，下至御前侍衛(wèi)都得到了封賞，就連爭奪太子之位而被拘禁的胤禩也得到了賞銀，但胤祥一兩銀子也沒得到。

康熙冷落胤祥，其中的原因，是他以為這個(gè)讓他喜愛的皇子，也開始覬覦太子的位置。晚年的康熙杯弓蛇影，被兒子們傷透了心。他最厭惡的就是皇子們流露出來的野心，曾放出狠話：“如有鉆營為皇太子者，即國之賊也。”

胤祥自小就沒有野心，固然沒有想當(dāng)太子的意思，可是各種傳聞終究到了康熙的耳朵里。愛之愈深，恨之愈切，自己最喜歡的皇子，曾經(jīng)在地上嗅著氣味追尋皇父蹤跡的胤祥，竟然也有如此心機(jī)。失望悲切之下，康熙開始冷淡胤祥，并告誡其他大臣皇子警惕他。

在其他皇子的請安折上，康熙的批示明確流露出了對胤祥的厭惡，認(rèn)為他是“不大勤學(xué)忠孝之人”，“爾等若放任之，必在一處遇到他，不可不防”。康熙生病之后，在病榻之上還傳諭旨給托和齊，讓他留心胤祥：“現(xiàn)在朕龍?bào)w欠佳，流言蜚語四起。這些言語皆出自正藍(lán)旗，你一定要切實(shí)留意。”

皇子和群臣心里都明白，老皇帝雖然沒有點(diǎn)名，但他所說的正是屬于正藍(lán)旗的胤祥。

在康熙的晚年，胤祥仿佛是個(gè)被遺忘的人。胤祥默默旁觀其他皇子的激烈角逐，他超然于世外，除了皇四兄，他不與其他人來往。

至于流行于各網(wǎng)絡(luò)及影視中的胤祥被康熙“十年圈禁”一說，純屬文學(xué)作品杜撰，不足采信。有大量史料為證，如皇子請安折、胤祥出席康熙六十大壽等。這些都足以證明，胤祥在康熙四十七年(1708年)至康熙六十一年(1722年)的14年中擁有行動自由。