早丧，抚养胤祥的是德妃乌雅氏，即后来继承皇位的雍正帝胤禛的母亲。
这种阴错阳差的安排，早早就把他与胤禛的命运联系在一起。两兄弟自幼晨夕聚处，感情深笃，胤禛奉命教胤祥算学，日事讨论。每逢塞外扈从，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄。可以说胤祥是个再铁杆不过的四爷党。
胤祥自幼聪明多才，六岁开始在皇宫内就学读书。学习内容包括满汉文化，儒家经典，以及书法绘画，同事又精于骑射，善兵事，可以说是一个不可多得的全才。
胤祥幼时很得康熙宠爱。13岁时，胤祥第一次离开京城，随父皇玄烨前往谒陵。此后，玄烨经常带他四出巡幸。玄烨一生先后六次南巡，在诸皇子中，随行次数最多的，就是胤祥。玄烨第三、四、五、六次南巡，他都参与其间。他还随同康熙巡幸过京畿、陕西西安、山西五台山，或往塞外避暑围猎。
可圣心难测，康熙四十七年一废太子，胤祥不知为何，失宠于康熙。虽然四十七年之后康熙每次出巡还都将胤祥带在身旁，却再没有了往日的宠爱。胤祥也因此郁郁寡欢，卸了所有差事，虽没有被明令圈禁，也是整日躲在府中闭门不出。
此刻康熙听四阿哥提起十三阿哥，沉吟了片刻才说道：“我听说去年冬天老十三的腿疾又发作了，可好些了？”
四阿哥一听康熙这么问不由心中一喜，忙说道：“回汗阿玛，十三弟的腿已无大碍，骑马行走都已如常了。”
康熙点了点头说道：“也该有人帮帮你了，照准了，跪安吧。”
“也该有人帮帮你了！”四阿哥听了康熙这句话真的比被赏了什么都兴奋，这似乎表明了康熙的一种态度。
比起因被赏了双俸又被赏了西瓜，还起复了十三阿哥而志得意满的四阿哥，八阿哥九阿哥十阿哥三个人脸上的表情着实精彩。
“我说什么来着！当时我就说是老四干的吧？除了他，还有谁能干出这么绝的事儿来？”十阿哥嚷嚷道。
“老四这手也忒狠点了！一下子把咱们的银子都抽走了不说，还捅到汗阿玛那去了。几十文？这可倒好，我库里那些香皂直接扔永定河里去得了！八哥，你说句话啊！”
“哼，还有什么好说的，两位没听见他在汗阿玛面前说什么来着？咱们卖的二十两，他的只要几十个大钱！这不就是说咱们重利盘剥吗？这可是要把咱往死里捏啊！依我说，他不仁，也别怪怎么不义，干脆咱俩一不做二不休……”十阿哥说着单手做刀状往下切了一下。
“住口！还敢胡说，你想让我步大阿哥后尘吗？”八阿哥一拍桌子吼道，显然是动了真怒。
大阿哥胤禔是康熙庶长子，且年轻时经常从军南征北战，可以说战功显赫。按着立嫡立长立贤的顺序，若是皇太子被废了大阿哥就是最热门的争储人选，可这哥们生生把自己的一手好牌打的稀烂，胤禔利令智昏，