可惜的是，庾琛功劳很大，但仅仅是百六椽之一，而且为人实诚，没有多少心计。
而琅琊王家在朝任要职，又有兵权，后来司马睿登基为帝，江南流传着“王与马，共天下”的说法，庾家的功绩则被人淡忘，几乎化为乌有。
从司马睿称晋王起，庾琛仅仅担任了一个可有可无的祭酒之职，怏怏不乐，心有不满。
不过，也没太在意，只要司马睿能延续晋祚，保江南一隅国泰民安，庾家能继续重振门庭，也就行了。
但是，就连这一点小小的愿望都实现不了。
因为自那时起，王家就开始排斥异己，打压对手，庾家也未能幸免，只得退避三舍，不敢争锋。
而司马睿也似乎忘记了从前的情分，懒得搭理，看着庾家被欺凌而无动于衷。
“父亲这时候，心中就埋下了怨愤，尤其是接下来的一件事，因为鲜卑荀氏女子的情感纠葛，更让他和司马睿矛盾激化，彻底丧失了最后的一点情份。”
庾翼沉浸在天书一般的故事之中，这些事情他从未听说过，但对这个鲜卑女子有些兴致，插话道：
“荀氏？好耳熟，哦，元皇帝后宫中的荀贵人就是鲜卑人，是明皇帝的生母，她们是什么关系？”
“她们是同一个人！”
这个惊人的回答让庾翼瞠目结舌，充满迷惑，接着，庾冰又娓娓道来……
这荀氏乃青州鲜卑人氏，年方十六，美艳无双，绝色无比，只因赵人和鲜卑争夺牧场发生争斗，石勒借助匈奴势力抢夺了她们部落的牧场和马匹，并大肆杀戮。
她才随家人逃至中原，经过颍川，走投无路，被庾琛救助，随后将其一家人安置在别院。
时日一长，二人情投意合，互生爱慕，荀氏便要委身于庾琛，但怕妻子反对，便迟迟没有迎娶过来，只是按时给她送去衣食。
随司马睿南渡后，庾琛封了官职，为官之人纳妾也是惯例，而且日子过得安稳，妻子也想通了，主动劝说丈夫迎娶荀氏，生儿育女，为庾家壮大门庭。
庾琛便同意了，当时朝廷正在筹划登基大典，便想过一阵子，等稍稍闲下来，再择个良辰吉日。
此时司马睿还未称帝，只是自立为晋王，王导兄弟为了晋室能在江南士族百姓中得到拥戴，便安排司马睿在建康巡游，金戈利甲，刀枪如林，排场很大。
江南诸人纷纷围观，其中就有荀氏，不料，就此生出了祸端！
司马睿在銮驾中一眼看见了荀氏，被她的异族美貌所倾倒，便安排心腹探得荀氏落脚之处，当晚便抢入宫中，强纳为妃。
荀氏无奈之下，只得屈从，她还真争气，先后生了明皇帝司马绍和司马裒。
司马睿非常欣喜，因为自己虽然嫔妃虽多，但一直颗粒无收，还以为身上有了暗疾，所以对荀氏格外宠爱