在康熙帝的眾多后妃中，胤祥的生母章佳氏并不據(jù)有顯赫的位置。她出身一般，是滿洲鑲黃旗參領(lǐng)海寬的女兒。初入宮，冊(cè)封妃。她于康熙二十五年生皇十三子胤祥，二十六年生皇十三女，三十年生皇十五女。在四年零兩個(gè)月內(nèi)，連續(xù)生了三個(gè)孩子。這在玄燁中年以后的嬪妃中再無(wú)二例，說(shuō)明她一度很受皇帝的寵幸。但是，她享壽不長(zhǎng)，康熙三十八年(1699)去世。這時(shí)，她的兒女尚幼，胤祥14歲，皇十三女13歲，十五女9歲。估計(jì)章佳氏本人死時(shí)也還年輕。章佳氏死后，玄燁降諭禮部：“妃張雅氏(章佳氏)性行溫良，克嫻內(nèi)則，久侍宮闈，敬慎素著。今以疾逝，深為軫(zhěn)悼，其謚為敏妃。”

幼年喪母，胤祥和兩個(gè)妹妹只好由其他嬪妃代為撫養(yǎng)。據(jù)說(shuō)，撫養(yǎng)胤祥的是德妃烏雅氏，即后來(lái)繼承皇位的雍正帝胤G的母親。這種陰錯(cuò)陽(yáng)差的安排，早早就把他與胤G的命運(yùn)聯(lián)系在一起。兩兄弟自幼晨夕聚處，感情深篤，胤G奉命教胤祥算學(xué)，日事討論。每逢塞外扈從，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄;兄扈從塞外，弟也間或有句相贈(zèng)。胤G長(zhǎng)胤祥8歲。這種密切的手足之情，伴隨他們終生，經(jīng)受了嚴(yán)峻的考驗(yàn)，而胤祥人生的得與失，喜與悲，榮與損，起與落，又無(wú)不以此種關(guān)系來(lái)貫穿。

在清朝皇室中，皇子皇女幼殤的比例很高，康熙帝玄燁的子女也不例外。他的55個(gè)子女內(nèi)，長(zhǎng)大成人的只有28人。55位子女的平均壽命，只有2695歲。胤祥的兩個(gè)胞妹雖長(zhǎng)大成人，也都?jí)勖挥馈Ｋ拇竺妹?皇十三女)20歲受封為和碩溫憲公主，遠(yuǎn)嫁蒙古翁牛特部博爾濟(jì)吉特氏杜凌郡王倉(cāng)津，三年后因難產(chǎn)死去，時(shí)年23歲。他的小妹妹(皇十五女)18歲時(shí)受封和碩敦恪公主，下嫁蒙古科爾沁部博爾濟(jì)吉特氏臺(tái)吉多爾濟(jì)，一年后去世，年僅19歲。這樣，兩個(gè)與胤祥血緣最近的親人就過(guò)早離世了。

胤祥6歲開(kāi)始在皇宮內(nèi)就學(xué)讀書(shū)。學(xué)習(xí)內(nèi)容包括滿漢文化，儒家經(jīng)典，以及書(shū)法繪畫。他的師傅法海，是康熙帝玄燁的舅舅佟國(guó)綱的第二子，換句話說(shuō)，法海是玄燁的表弟，也即胤祥的表叔。法海是當(dāng)時(shí)滿洲人中不可多得的博學(xué)碩儒。他23歲考中進(jìn)士，授為翰林院庶吉士，又奉命在南書(shū)房行走，成為玄燁身邊的文學(xué)詞臣。康熙三十七年(1698)，玄燁選派他在懋勤殿輔導(dǎo)皇十三子胤祥、皇十四子胤禎(雍正繼位后改為允)。胤禎是胤G胞弟，胤祥與胤禎一同就學(xué)，同樣反映了他與胤G的特殊關(guān)系。這時(shí)，胤祥13歲，胤禎11歲。他們?cè)诜êｉT下一學(xué)就是10年，兩兄弟后來(lái)才學(xué)俱佳，與法海執(zhí)教有很大關(guān)系。

胤祥幼時(shí)很得父皇寵愛(ài)。13歲時(shí)，胤祥第一次離開(kāi)京城，隨父皇玄燁前往謁陵。此后，玄燁經(jīng)常帶他四出巡幸。玄燁一生先后六次南巡，在諸皇子中，隨行次數(shù)最多的，就是胤祥。玄燁第三、四、五、六次南巡，他都參與其間。他還隨同玄燁巡幸過(guò)京畿、陜西西安、山西五臺(tái)山，或往塞外避暑圍獵。這說(shuō)明，他在青少年時(shí)代，曾深得父皇的寵愛(ài)。玄燁有那么多皇子，眾皇子對(duì)他猶如群星拱月，為什么卻對(duì)胤祥偏愛(ài)？

第一，他自幼溫文爾雅，在父親面前顯得很乖巧。《欽定八旗通志》記載：胤祥“幼偕諸王侍圣祖于宮廷。嘗隨行，以稚弱未能前視，圣祖過(guò)，尋履跡伏地嗅之，其孺慕誠(chéng)切如此”。大意是說(shuō)，胤祥幼時(shí)與諸兄一起侍從皇父于宮廷，因年齡小、個(gè)子矮，他幾乎看不見(jiàn)在眾人簇?fù)硐乱换味^(guò)的父親。為了表示對(duì)父親的孝敬和仰慕，他不禁爬在父親剛剛留下的腳印上一個(gè)勁地聞起來(lái)。這個(gè)記載或者有所夸大，但印證胤祥一生的行止，和他死后被追謚為“賢”來(lái)看，他在為人之道上，無(wú)論是對(duì)父母、對(duì)兄長(zhǎng)、對(duì)臣民，都很符合儒家傳統(tǒng)推崇的典范。

第二，他經(jīng)過(guò)系統(tǒng)教育，加上本人的勤奮努力，才華橫溢。能文能詩(shī)，書(shū)畫俱佳。康熙四十一年(1702)，玄燁南巡，皇太子胤i、皇四子胤G、皇十三子胤祥隨駕。某日，玄燁在行宮召集大臣和皇子們研習(xí)書(shū)法。玄燁一時(shí)興起，談起自己習(xí)練書(shū)法的體會(huì)：“學(xué)書(shū)須臨古人法帖，其用筆時(shí)輕重疏密，或疾或徐，各有體勢(shì)。宮中古法帖甚多，朕皆臨閱。”說(shuō)罷，他意猶未盡，又親書(shū)大字對(duì)聯(lián)當(dāng)場(chǎng)展示。隨即，他邀請(qǐng)眾人觀賞皇四子胤G和皇十三子胤祥書(shū)寫的對(duì)聯(lián)，據(jù)說(shuō)，諸臣環(huán)視，“無(wú)不歡躍欽服”。如此驚嘆的舉動(dòng)，自然有阿諛?lè)暧某煞郑珒晌换首由瞄L(zhǎng)書(shū)法確是事實(shí)。這一年，胤祥17歲，已學(xué)習(xí)書(shū)法多年，如果不是心里有底，玄燁又怎么會(huì)讓他同皇兄一起當(dāng)場(chǎng)獻(xiàn)技呢？

第三，他繼承了滿洲人的傳統(tǒng)技藝，騎馬射箭樣樣精通。有記載提到，他“精于騎射，發(fā)必命中”。有一次出巡狩獵，一只猛虎突出林間，他神色不動(dòng)，手持利刃向前刺之。見(jiàn)者無(wú)不佩服他的神勇。

胤祥出生時(shí)，父親給他取了一個(gè)寓意深刻的名字，依據(jù)的是《禮記·中庸》中的“國(guó)家將興，必有禎祥”，給他取名胤祥，給他的弟弟(皇十四子)取名胤禎。然而，祝福歸祝福，亦如出生在普通百姓家的子弟一樣，胤祥的人生道路也充滿了撲朔迷離的變數(shù)。