在事业和家庭都不顺利的时候，他的心情必然要有一个宣泄。当他去霸上祭祀到平阳公主家歇脚的时候，看到了表演歌舞的卫子夫，心理的宣泄口找到了。在换衣服的时候就临幸了卫子夫，然后赏赐平阳公主千金，把卫子夫带回宫中。但是此时卫氏家族的命运还没有改变多少，汉武帝把卫子夫带回宫中后好象就忘了她，再没有见她。直到一年后，汉武帝要淘汰宫人，卫子夫哭着要求出宫，汉武帝才想起她，再次临幸，卫子夫在这之后有了身孕，才尊贵起来.这说明女人的眼泪确实是杀伤力巨大的武器，连汉武帝这样的花丛老手也不能幸免。从此之后卫家的命运彻底改变了，少儿改嫁为詹事陈掌妻，少儿姊君孺也改嫁太仆公孙贺，卫青做了太中大夫，也就是说卫少儿成了司局长的夫人，她的姐姐成了国务院副总理的妻子，弟弟成了司局长，这时的霍去病应该只有3，4岁，一下子从奴仆的后代成了高干子弟，应该说生活发生了巨大的改变。霍去病的童年和少年时代应该是幸福的，应该是在父母的宠爱下度过的，这时卫家的地位一直在提升，先是在元光五年(公元前130年)，舅舅卫青官拜车骑将军，兵出上谷，直捣龙城，成为四路出塞军队中唯一获胜的军队，以功封为关内侯，然后就是对于卫氏家族来说另一个重要的年份，元朔元年（公元前128年）.在这一年，先是霍去病的姨妈卫子夫生下皇子刘拒，被封为皇后，走上当时女性的顶峰，然后是秋天舅舅卫青奉命率骑兵三万人从雁门出击，击败匈奴，然后在第二年卫青率领所部从云中出击，又经云中郡至朔方郡（今内蒙河套以南伊克昭盟等地）之高阙向西扫荡追击，直至陇西郡（今甘肃西南部）。这次漠南之役，卫青所部汉军纵横数千里，击败匈奴，赶跑白羊，楼烦两王，遂以河南地为朔方郡，夺取了匈奴入侵中原的前哨鄂尔多斯草原.战后，封卫青为长平侯，食邑三千八百户。此时的卫家已经是身份尊贵，今非夕比了。

这时的霍去病应该是12，3岁，正是一个拥有梦想的年龄，舅舅的巨大成功无疑对他是一种榜样，也许这是这个时候，少年立下远大的志向，驰马北疆，对于少年是一个并不远的目标。

过了4年到了元朔五年(公元前124年)，车骑将军卫青率所部三万余骑从高阙出击；同时，以卫尉苏建为游击将军、左内史李沮为强弩将军、太仆公孙贺为骑将军、代相李蔡为轻车将军，各率所部从朔方出击，皆受卫青指挥。这次战役大败匈奴部众，右贤王率领残部数百骑远遁，此战之后汉武帝拜卫青为大将军，后迁大司马，成了大汉军队的实际总指挥，卫青的三个儿子也都被封侯，也正是在这一年，霍去病登上了历史的舞台。