胡琏到11师当营长后，娶了上司曾伯熹的妹妹曾广瑜。后来，曾广瑜的堂妹也嫁给了胡琏，胡琏娶了一对姐妹花，在国军内部传为笑谈。
黄埔四期的胡琏，在1930年进入陈诚的视野，被任命为11师的营长。11师是陈诚“土木系”的基干部队，当时有“宁去11师当营长，不去别处当团长”的说法。
在11师的营长中，二十岁出头的胡琏，属于很年轻的，师参谋长曾伯熹认为他“年轻有为，前途不可限量”，便将妹妹曾广瑜介绍给他。
曾广瑜是来自江西赣南米商家庭的客家千金，她不仅长相温婉动人，还饱读诗书，气质出众。初见之下，胡琏内心便泛起层层涟漪，对她一见钟情。
为了拉近与曾广瑜的距离，胡琏频频找她约会，曾广瑜对他本就有好感，加之又是哥哥介绍的，因而每次都应约。
胡琏和曾广瑜频繁往来，感情在一次次的相处中迅速升温，很快便成为了亲密恋人。1932年，胡琏与曾广瑜成婚。
婚后，曾广瑜接连为胡琏生了三个儿子和一个女儿，分别取名为胡之光、胡之辉、胡之耀和胡之冰。
淞沪会战打响后，已升任团长的胡琏，随十八军开赴战场，战后，胡琏因功升任旅长。此后，胡琏长期在外，极少有时间回家，曾广瑜独自留在江西，挑起了抚养子女的重担。
随着江西大部县城的沦陷，曾广瑜不得不带着孩子们四处辗转，最终来到会昌，在简陋的欧阳祠栖居下来。
为了维持生计，曾广瑜每日天不亮就起床，在土地上垦土种菜，夜晚则在昏暗的烛光下，一针一线地编织毛衣，再拿到集市上去售卖。
有人或许会说，胡琏都当上旅长了，曾广瑜日子有这么难过吗？
相较国军的其他部队，陈诚当过首任军长的十八军风气较好，实行“经费公开”，军官们虽然也捞油水，但较之其他部队的军官，要差上不少，也不敢太过分。
罗卓英当十八军军长时，有一任参谋长就因手头拮据，和老婆闹了矛盾后，遭到嘲笑，一气之下服毒自尽。
抗战爆发后，军政部长何应钦，实行所谓的“战时薪”，导致军官们的收入锐减。方天当十八军军长时，参谋长梅春华的薪水不足以维持一家人的生计，不得不动用军部的骡马，往来贩运货物赚钱。方天和梅春华不和，将此事捅到了军委会，导致梅春华被老蒋下令枪决。
梅春华的军参谋长身份尴尬，没有一线部队长吃香，但由此例也可以看出，十八军的高级军官，并无外界想象的那样阔绰。
曾广瑜娘家的条件不错，在她嫁给胡琏后，曾家看好胡琏，时常给钱给物。但在日军侵入江西后，曾家的生意受战火波及，一日不如一日，直至破产。
曾家本来还有一个强力的支柱，那就是曾伯熹。曾伯熹是黄埔三期生，“土木系”的骨干，陈诚重点培养的对象。
淞沪会战的罗店血战中，十八军的运输队被日军飞机炸的厉害，临时征调的司机纷纷逃命，曾伯熹带着几十个汽车兵，带着他们冒着炮火开车往前线运送弹药。
在一次送弹药途中，曾伯熹乘坐的卡车被日军炸毁，曾伯熹身负重伤，车上的其他乘员被炸死。
伤愈后的曾伯熹，身体状态一直很差，本来打算提拔他当师长的陈诚，只得让他去后方担任师管区的司令。
1939年，曾伯熹大口呕血不止，陈诚让他挂名第九战区长官部的高参，回乡养病。根据曾伯熹的病情描述，应该是得了严重的肺结核，这在当时属于绝症，曾伯熹休养数月后，病死家中，年仅34岁。
曾伯熹的死讯传来，陈诚伤感的说：“本打算等文源（曾伯熹）病好后给我当参谋长，谁知却是这样的结果。”
胡琏能得陈诚的重用，曾伯熹是他的大舅哥，也是原因之一。
曾家生意破产，曾伯熹病死，曾广瑜失去娘家这个依靠，胡琏又长期在外，自然过得很是艰难。
有一天，胡琏的好友前来探望，看到曾广瑜如此辛苦，犹豫了许久，终于开口说：“嫂子，如今这兵荒马乱的，你一个人带着孩子，实在太难了。我看不如让胡兄再娶一房，也好帮你分担分担，你也能轻松些。”
曾广瑜听后，心念一动，有了主意。等胡琏从前线回来探亲，曾广瑜向他提起了这件事。胡琏的说法是，他是见曾广瑜辛苦，便同意纳一房姨太太，好帮衬妻子，至于这个说法的真实性，那就见仁见智了。
见胡琏同意，曾广瑜便四处打听，精心挑选，最终将自己年轻活泼的堂妹曾广仙介绍给胡琏。曾广仙和回来探亲的胡琏匆匆见面后，很快就敲定了婚事。
婚后，曾广仙也为胡琏生育了四个女儿，分别是胡之玉、胡之玲、胡之洁和胡之清。
曾广瑜与曾广仙本就是姐妹，自然不会有争风吃醋的现象。胡琏共有三任妻子，年少时，在父母做主下，娶了一个家乡女子，婚后，夫妻感情不佳，以离婚收场。
胡琏与原配离婚后，第二任妻子便是曾广瑜，后来又娶了曾广仙。胡琏对待这两位夫人一视同仁，毫无偏袒，每次外出写家信时，他总会亲切地称呼她们为 “瑜仙二位”。
