在江陵，李亿还有一个原配夫人裴氏，见丈夫去京多时仍不来接自己，于是三天两头地来信催促。
无可奈何的情况下，李亿只好亲自东下接眷。李亿有妻，鱼幼薇早已知道，接她来京也是情理中事，鱼幼薇通情达理地送别了李郎，并牵肠挂肚地写了一首：《江陵愁望寄子安》的诗，诗云：
枫叶千技复万枝，江桥掩映暮帆迟。忆君心似西江水，日夜东流无歇时。
子安是李亿的字，那时从长安至江陵，往返一趟大约需两个月时间，而李亿此次又是出仕后首次回家，必然有一番会亲宴客，上坟祭祖的活动，又耽搁了几个月。鱼幼薇独守空房，从红枫秋月，一直等到春花渐落，才见良人携妻来到长安。
一路上李亿陪尽小心，希望妻子裴氏可以接纳他新娶的偏房鱼幼薇，无奈出身名门的妻子始终不肯松口。
一进林亭别墅的大门，裴氏就怒不可遏地喝令随身侍女，把出来迎接的鱼幼薇按在地上，用藤条毒打了一顿。
鱼幼薇不敢反抗。幼薇心想：“让大娘出了这口恶气，能容我待在亿郎身边端茶倒水的伺候，我也就心满意足了。”
李亿虽然心疼，可是看见妻子的盛怒之状，也不敢相劝。只好由着她毒打幼薇，出出气。
毒打之后，李亿斥责幼薇，“不长眼的贱人，主母才来就惹主母不高兴，还不快快滚下去！”幼薇残喘的爬起来，低头退了下去。
裴氏眼见丈夫看幼薇的眼神露出疼惜之意，便大声呼和：“不得了了，如今我打个妾室也不行了！好吧，你休了我扶她做正就是！”
李亿一听这话，裴氏似乎接纳了幼薇，赶紧大声答道：“行，行，行！主母教训妾室，别说是一顿鞭子，就是你即刻要了她的命也是可以的！今天才来你就发了这顿脾气，火大伤身，赶紧洗漱休息吧。看这一路车马劳顿的！”
裴氏见丈夫服软，冷哼一声回屋休息了。李亿赶紧跟上伺候。裴氏家族的势力遍布京城，以后若想仕途顺畅，少不得要借助裴氏家族的力量。
李亿随裴氏歇下，早起，看裴氏睡得正香，想起挨了鞭子的幼薇，李亿拿了点鞭疮药悄悄去探视幼薇。
李亿拿药之时，裴氏已醒，见李亿蹑手蹑脚的样子，便不动声色的看着。见他出去后，裴氏悄悄起床跟在其后。发现他进了幼薇的房间，裴氏也不声张，只是尾随其后。
待到看明白李亿原来是要给幼薇上药。裴氏一下子坐在地上哭嚎起来，“原来你这么心疼这个狐狸精啊！看她这惺惺作态的样！今天有她无我，有我无她！……”
李亿被闹得无法可处，便劝说夫人道：“妇人有不妒之德！”
裴氏大声嚷嚷道：“那是些没有根基的妇人！我不管，你今天若不休了这个贱人，我马上就给我爹写信，让你在官场之上寸步难行！”
李亿一听大乱分寸，见事涉及自己的前途，不得已给幼薇写下休书。
幼薇无奈只好回屋收拾东西走人，当幼薇手拿小包袱走出房门时，裴氏大声呵斥道：“打开包袱！”幼薇无语的摊开包袱，裴氏见里面不过几件换洗衣服，冷哼道：“哼，算了，看在你伺候大爷一场的分上，就让你裹带些走吧！”幼薇抬头看了看裴氏，欲言又止。
凄凉回到家中的幼薇看到母亲不由痛哭，母亲惊问其故。幼薇啼哭着把事情经过说了一遍，母亲也只有叹气的份。
第二日早起，看着女儿肿胀的眼睛，鱼母劝道：“李亿对你并非无情之人，如今迫于无奈休你回家，我想日后他会给你个交代的。女儿啊，看你一身的鞭伤，你好好歇几日，我去看青楼楚馆可有活计出来。”
母亲走后，幼薇一人躺在床上回想与李亿的这段情事。想来想去，甜蜜温情不过三月，接着便是五个月的等候，结果等来的却是一顿毒打、一封休书。幼薇清泪直流。
事情果如鱼母所言，李亿对鱼幼薇不能忘情，迫于妻威休了幼薇后，李亿便想为幼薇重新想个容身之所。
后见咸宜观僻静肃穆，便出钱重新修缮道观，并捐助了大笔香油钱。然后将幼薇托付给观主照顾。
观主为掩人耳目为幼薇取名玄机，收为观下道姑。安置好幼薇，李亿轻抚幼薇道：“薇儿暂且忍耐，他日必有重逢之时！”
李亿本想寻机私会幼薇，不想裴氏如不打盹的老虎每日里虎视眈眈的盯着。
无法脱身的李亿不得已抛开幼薇转而为仕途奔忙。裴氏动用家族力量为李亿谋得扬州的官职，并且迅速敦促李亿动身赴任。对于男人来说，女子不过是衣服，丢了这件再买新的。如今前程似锦，岂有为件“衣服”耽搁自己前程之理？
李亿无法兼顾到幼薇，只好丢下幼薇带着家小扬州赴任。
走时甚至无法通知幼薇，于是蒙在鼓里的幼薇还在咸宜观苦苦等候李亿来相会。
幼薇空有骄人美貌，满腹才学，都只在清规戒律中虚耗。
幼薇本想在观里清守，终有一天能守个云开见月明。
却不知观前一别就是永诀，此后，幼薇至死也没有再见过李亿一面。
自从观里来了鱼玄机道姑，香火忽然鼎盛起来。进来出去的人都偷偷的拿眼瞄玄机。玄机窃喜之余，却行正走端，不苟言笑于人前。于是咸宜观里来了个冷艳的道姑的消息不胫而走。
当时的道观说是清修之所，不如说是个社交之地，文人雅士，富豪显贵都借着上香之名，在观里约朋见友。甚至有些风流道姑便在观里与人私会苟合。
咸宜观因观主严苛，奉行清规戒律，所以香火一向不旺盛。而李亿也就是看中这里的偏避和肃穆，这才把幼薇托付给了戒律森严的观主。即便他无暇顾及到幼薇，李亿也希望幼薇为他守身如玉。