汉武帝野史中记载，汉武帝的第一任皇后陈阿娇是他姑母馆陶公主的女儿。汉武帝在四岁的时候，他的姑母问他可愿娶阿娇为妻，汉武帝说，假设娶得阿娇为妻，就为阿娇造一个黄金屋子，用来给阿娇住。金屋藏娇就是这么来的。正史上没有记载这个事情，但是在野史上有好多关于这件事情的传闻。 汉武帝的其次任皇后是卫子夫，在野史上，汉武帝是在如厕的时候看上卫子夫的。据野史传闻，卫子夫的头发分外美丽，容貌虽然不是分外美观，但却有我见犹怜的气质。汉武帝最宠爱的第三个女人是李夫人，她分外美观，后来却因病去世了。在野史上记载，汉武帝一向思念李夫人，后来有个道士来报告汉武帝可以用一种石头来招到李夫人的魂魄。汉武帝派人找到了那种石头，于一个晚上在帐幕后面看到了李夫人的影子。这只是个野史传闻，真假很难分辩。
