方云报复杜子腾的事情, 没有瞒着父亲，虞老爷也是乐见其成。虽然他曾经气女儿不争气, 但是, 他也知道, 杜子腾道貌岸然又有才华，又格外对女子温存小意, 女儿年少无知, 被他骗了, 也是无奈。
女儿归家，幡然悔悟，可那负心汉却是不可饶恕。杜子腾居然为了五百两的一匹马，就把自己的宝贝女儿给送人了虞员外越想越气。
女儿说了要给自己报个仇，虞员外欣然同意, 还帮女儿从家里挑了最干练的下人派出去。女儿得了杜子腾用妾室的画作博得美名的秘密消息, 虞员外格外兴奋，一听女儿说要四处散播去，他便积极参与，找了妥帖的人去办。
有了虞员外助力, 很多事情便好办了, 后来，方云只要出个主意，老爹就接过去，出钱出力，给自家闺女出气。
杜子腾被搞得焦头烂额, 有那出了订金约画的就上门来问，“听说您家的妾室也会画画啊。”
“不过涂鸦而已，也只是拿着我从前的画稿临摹一番，打发时间罢了。”杜子腾心里暗恨，嘴上还得客气。
有人相信他，就当没这回事。可也有人不信他，毕竟曾经有段时间，杜子腾是被京城的名家批评过画技退步的。人家想想，万一高价买的画真是杜家的妾室所做，那多糟心啊。家中供奉一幅名家画作，最后被人质疑是姨娘画的，那何必花这冤枉钱呢于是，人家就提出退了订金，不再约画了。
若是以往杜子腾不会退了订金，订金收了，在他这里就没有退的道理，不然怎么叫订金。可是，当下议论他的人太多，不得已，他就客气地退了钱。
可是，他这一退钱不要紧，很快就传出了新的传言。有人说他拿了妾室的画作冒充自己的高价骗人，被人找上门去，不得已退了钱，认了错。
这下，更多的人开始怀疑杜子腾了。还有人找他来退一年前买的画。
这可把杜子腾气坏了，若是这般退法，个个来退，他倾家荡产都赔不起。于是，杜子腾顾不上其他了，就不客气地把人请走了。
这个人是方云派来的，故意来捣乱的。他退画不成，就跑去京城里拿着画到处让名家鉴定，他的画作到底是不是杜子腾本人画的。
他出手阔绰，出的起酬劳，几乎京里有点名气的画师都让他造访了一番。多数画师不想得罪人，也确实不能确定，虽然这幅画确实和杜子腾以前留在京里的画作有些区别，但总体风格还是很像的。
但也有些不喜欢杜子腾的画师就说，“看着是有些不大一样。笔迹有些娟秀，倒像是女子所作，不过鄙人也不能太确定。”
于是，这人又跑回妙香镇去，雇了些帮闲的，一群人跑去杜宅外面闹起来，说是去京里鉴定过了，有名的画师说，从杜子腾手里买的画，确是女子所作。
京城在千里之外，又不能找人来对质，杜子腾被折腾了好几天，只能闭门不出，下人买菜都不敢出门，一家人三餐都得对付。
后来虽然捕快来了，驱散了人群。但是，杜子腾的名声也被糟践得不剩多少了。
这件事情又被方云派出去的人刻意四处散播，连京里都议论起来。甚至杜子腾的老师李惟墨都修书一封，让杜子腾上京城来解释，他想着，只要学生前来，他这老师安排京中的文人墨客们来赴宴，席间让杜子腾画上一幅，谣言便不攻自破。
可是，杜子腾接到信，却没有启程的打算，倒是装起病来。当京城的名画师李惟墨收到学生杜子腾的回信，说是因病不能赴京，他失望透了。
其实，从杜子腾少年成名后，开始贪恋享受，疏于练习绘画，身为老师的李惟墨就已经看出这孩子不踏实的地方。他多次劝谏，却无济于事。
至于后来有人批评杜子腾画艺退步，他再次劝说学生，出门游历，增长见识，这次学生虽然听了他的，可是那画艺一直也没有真正的长进。
等后来杜子腾的新画作传回京城，李惟墨看到后，就皱了眉，杜子腾是他的学生，他见过杜子腾多少画作，岂能不了解学生的手笔。但是那些倍受好评的新画，看着却过于娟秀，有些闺阁之风。那时，他就心中狐疑。等听到了传言后，李惟墨豁然开朗，原来想不通的地方在这里。当时，他想，会不会是学生懒惰，让妾室代替自己作画。
但即便如此，他依然希望能给学生最后挽回名声的机会。李惟墨本以为杜子腾就算懒惰了，基本的画技还是在的。可是哪里知道，这人来都不敢来了。说什么生病，李惟墨并不相信。
一个文人爱惜名声，如同鸟儿爱惜羽毛。如果任由旁人在京里败坏名声，却不来澄清，只有两个原因，要么就是杜子腾真的病入膏肓，要么就是他畏惧不敢来。杜子腾还年轻，听说这几年在外面游山玩水，十分逍遥，大约不至于到了病入膏肓的时候。那就是
李惟墨长叹一声，心里做了取舍。