回到家中，赵朝贵翻出他和王漉从前的老照片带回北京。有一次赵朝贵望着王漉的照片出神，不料被刘文秀发现了。刘文秀逼问着照片上的人是谁，还叫来了父母，大闹了一场，王漉的照片也被撕得粉碎，无辜的赵朝贵被迫立下重誓说：“我要是跟别的女人有事，断子绝孙天打五雷轰。”望着王漉被撕碎的照片，赵朝贵的心也碎了。

这件事更加深了赵朝贵对岳父一家的怨恨，长期积累起来的郁闷，使他的脾气也渐渐暴躁起来，开始和岳父母吵架斗嘴。出于报复心理，赵朝贵只要在岳父母那里受了气，就把怨气转嫁到刘文秀和孩子的身上。而刘井瑞夫妇知道后自然又会和赵朝贵吵闹一番，一家人的关系搞得越来越紧张。

赵朝贵把母亲从老家接来后，准备带她到大医院去检查一下。把母亲接到家的当晚，他请了刘井瑞全家一起到饭店里吃饭。在酒席上，刘文秀对婆婆冷言冷语，婆婆想抱抱孩子刘文秀都不让。刘井瑞夫妇也对亲家不冷不热，赵朝贵夹在中间更不好受。那晚上，赵朝贵喝了不少酒。回家后，赵朝贵终于发作了，跟妻子大吵大闹一顿之后就睡着了。而母亲见儿子和儿媳吵架，也不好劝架，只好默默地离开他们家。

第二天早晨赵朝贵是被姐姐叫醒的，这时候赵朝贵才知道母亲在风雨交加的深夜步行了大半个晚上，才找到姐姐家去。赵朝贵站在那里被姐姐数落着，无言地站在那里，他能说什么呢？赵朝贵知道，这一切都是缘于自己是个倒插门女婿。

这次矛盾后，刘井瑞夫妇又极力撺掇刘文秀闹离婚。无奈之下，赵朝贵向妻子提出搬家，单独过日子。

2004年5月20日，赵朝贵的姐姐帮他们在房山区租了一套房子，赵朝贵和刘文秀搬到了房山。想到自己辛辛苦苦干了六年，盖了房子却成了岳父的，赵朝贵心里很不舒服。5月25日晚饭后，赵朝贵对刘文秀说：“你回头跟你父亲说，把房产证的名字改成咱们孩子的名字。”没想到刘文秀却坚决不肯答应，她说：“一是我无法向爸爸开口，二是如果日后咱们离婚了，你把儿子带走，房屋的产权落到你手里，你别做梦了。”