吕芮很快就找回來了，丰安城破，她便装易容辗转回到河东，投奔养父吕本中，改名换姓后嫁给了一个做药材生意的富商做填房，颇受用了两年舒心的日子，
不想天有不测风云，一贯谨慎的丈夫一次外出办货时，因为喝醉了酒跟人斗富，小小地显露了一下腰间的钱袋子，于是，他的回家路就成了不归路，一伙劫匪劫了他的财，怕他报官顺手又取了性命，
她守了一年寡，熬不住闺中寂寞跟家中小厮私通，被婆婆拿住一顿痛打，剥夺了衣裳首饰，剪掉头发赶回了娘家，此刻吕本中已经病逝，她在娘家也不受待见，凄凄苦苦地熬了半年，正准备着远嫁江南，去给一个五十多岁的新安商做侍妾呢，
吕芮听说杨昊要接她回去，把自己关在屋里哭了一夜，第二天一早她就上了吊，所幸被送水的丫鬟及时发现救了下來，
前去接人的刺马营特使假借杨昊的口吻威胁她养母说：“限十五日内将吕芮送去丰州，否则你一家人性命不保。”
她养母着了慌，哭着求她，要她上路，为了怕路上出意外，令她的堂哥堂嫂亲自护送，
吕芮见了杨昊痛哭不已，忏悔说：我先是对你不忠，继而又不能守贞，再后來贪慕虚荣改嫁他人，最后连淫戒也破了，无廉耻地与贱奴私通，我还有何颜面见你，这不是现世报吗，你接我回來，是要看我无地自容，惩罚我吗，
杨昊扶起她，说：昔日我亡命天涯，丢下了你，是我的过错，你一个犯官之妇，为求活命还能怎样，你当日错信谣言，认为我已死，为了存身，这才改嫁，夫死妇改嫁，并无不妥之处，你这个人虚荣好淫，我岂不知，可我怪过你吗，你既说这是现世报，下半生就该多多收敛，再不可贪慕虚荣，贪淫好色，否则何止是现世报，我让你立时报，
吕芮的堂兄吕芳和嫂子顾大华念及旧日曾对吕芮行恶，恐杨昊见责，逡巡不敢进城，不久郡公府里传出吕芮被封为孺人，又有管家驱车來请，二人这才欢天喜地赶去拜望，
那时，西宁郡公