吴伟业身为前朝遗臣，入清之后尽管处处小心，深怕触怒新朝，招来祸患。但一有风吹草动，他就像怯弱的兔子一样，时刻担心被凶猛的野兽所抓获。这种如履薄冰的心情，反映了当时现实生活的严酷。
事实上，在他的后半生中，有三次差点儿受牵连吃官司，那种大祸临头的威胁，时时压迫着他脆弱而敏感的神经，令他惊魂不定。临终前，他仍念念不忘这些事，不无感慨地说：“吾归里得见高堂，可为无憾。既奉先太夫人之讳，而奏销事起。奏销适吾素愿，独以在籍部提牵累，几至破家。既免，而又有海宁之狱，吾之幸而脱者几微耳。无何陆銮告讦，吾之家门骨肉当至糜烂，幸天子神圣，烛奸反坐，而诸君子营救之力亦多。此吾祖宗之大幸，而亦东南之大幸。”（《与子暻疏》）这三个案件中任何一案，都可使他家破人亡。有幸的是，每一次他都躲过了。
从这段记载来看，似乎奏销案在前，海宁之狱在后，这恐怕是梅村记忆之误。
所谓“海宁之狱”，即指陈之遴获罪谪戍辽左事。陈为海宁人，明崇祯十年进士，官中允。明亡后丧节仕清，官至弘文院大学士，故称陈相国。吴伟业的二女儿即嫁给陈的儿子容永（字直方），吴陈结为亲家，关系甚密。据作者《亡女权厝志》载，先是“司农（指陈之遴）再相未一岁，用言者谪居沈阳”，不久“召入京为宿卫”。此事发生在顺治十三年，这时梅村尚在京任职。顺治十四年，梅村丁嗣母丧，辞官南归。不多久，“相国再以他事下请室，家人咸被系”，随后全家徙辽左。“海宁之狱”即指此。从时间看，此事发生在顺治十六年郑成功取镇江之前，而奏销之狱发生在顺治十七年底。应该说海宁之狱在前，奏销案在后。
陈之遴谪戍辽左，梅村自料会受到牵连，这是情理中之事。但他仍不顾一切，将二女儿和外孙留住家中，格外爱护，这也可见他的人品。梅村在《赠辽左故人》、《咏拙政园出茶花》、《寄怀陈直方》等诗中，对陈之遴获罪戍边记叙颇详，而且对陈家父子的不幸遭遇深表同情。
“浮生踪迹总茫然，两拜中书再徙边”（《赠辽左故人》其四），陈之遴于顺治九年授弘文院学士，后调任户部尚书，顺治十二年复授弘文院大学士。他两度为相，位极人臣。但在专制社会里，“伴君如伴虎”，皇帝尊为“天子”，平日喜怒无常，天威难测，一旦得罪，“君要臣死臣不得不死”。据说陈之遴因贿结内监吴良辅，罪拟斩，诏姑免死，革职流徙，家产籍没。陈氏的家园——拙政园，也在籍没之列。据《苏州府志》载：“（拙政园）国初海宁陈相国之遴得之，籍官。”梅村在《咏拙政园山茶花》引中说：“相国自买此园，在政地十年不归，再经谴谪辽海，此花从未寓目。余偶遇太息，为作此诗。”作者借咏拙政园山茶花，以寄托情怀。诗的结尾写道：
杨柳丝丝二月天，玉门关外无芳草。纵费东君著意吹，忍经摧折春光老。看花不语泪沾衣，惆怅花间燕子飞。折取一枝还供佛，征人消息几时归。
这里的“征人”即指陈之遴父子。全诗情调低沉，充满了对陈氏父子思念之情。梅村的二女婿陈直方，右眼瞎，依律有废疾者可赎，结果居两月，竟与诸兄弟同遣，尤值得同情。“诏书切责罢三公，千里驱车向大东”（《赠辽左故人》其一），“短辕一哭暮云低，雪窖冰天路惨凄”（其二）。他们全家，含冤忍悲上路，景况凄惨。作者想象陈氏父子戍守边地，依然思念江南家乡：“可怜庾信多才思，关陇乡心已不堪。”特别是陈之遴这次获罪戍边，还连累到年迈的父母，其五云：
苏州拙政园
路出西河望八城，保官老母泪纵横。重围屡困孤身在，垂死翻悲绝塞行。尽室可怜逢将吏，生儿真悔作公卿。萧萧夜半玄菟月，鹤唳归来梦不成。
西河指辽河。据《大清一统志》载：“辽河在奉天府西一百里。”八城指奉天境内关隘，有抚顺城、东京城、牛庄城等八城。之遴之父陈祖苞，为明朝将领，宁远被围时，他慷慨发誓，愿与山海关共存亡。如今在垂暮之年，还要受牵连而戍边。“生儿真悔作公卿”，真是沉痛之极。这次“海宁之狱”梅村固然化险为夷，未受到直接牵连，但二女儿却因丈夫远戍，内心抑郁不乐，终于染疾不起，过早地去世了。这对诗人来说，也是不小的打击。
再说“奏销案”。所谓奏销是指清查追缴钱粮赋税。据《梅村先生年谱》载，顺治十七年：“里居以奏销事议处。”这次奏销案的起因，依褚人获《坚瓠集》所说：“江南奏销之狱，起于巡抚朱国治欲陷考功员外郎顾予咸，株连一省人士无脱者。”把奏销案归结为个人的恩怨，这是将复杂的政治背景看得太简单了。顺治十八年初，生员倪用宾等揭发吴县知县任唯初贪赃枉法，接着生员金人瑞（即金圣叹）、丁澜等在清世祖遗诏到达吴县时哭府学文庙，进行请愿。朱国治遂以诸生惊扰哭临，意在谋叛，加罪于倪用宾、金圣叹等人，结果八人处死，家产入官，妻孥流徙。江南地区士绅受奏销案牵连的达一万三千余人，闹得乌烟瘴气，人心惶惶。可见奏销案无论在政治上，还是在经济上对江南士绅人家都是一次极其严重的打击。吴伟业因受地方官吏的庇护，在政治上虽未受到迫害，而经济上却蒙受重大损失。他自谓“独以在籍部提牵累，几于破家”，大概说的是实话。
但是吴伟业一生中最危险的是陆銮的告发案。事情是这样的：顺治十年（1653），吴伟业以诗坛盟主的身份，为慎交、同声两社的友好团结，在苏州虎丘主持了盛大的盟会。这是继复社之后江南文士的一次大集会，赴会者达五百人。“会日以大舟廿余横亘中流，每舟置数十座，中列优娼，明烛如繁星。伶人数部，歌声竞发，达旦而止”（程穆衡《吴诗集览》）。梅村有《癸巳春日稧饮社集虎丘即事》诗记其事，其中有“青溪胜集仍遗老，白帢高谈尽少年”之句，说明当时参加大会的多是文坛后生。这次大会梅村出足了风头，却也种下祸根。因陆銮被排斥在社外，心怀不满，于是借附逆案（指归附响应郑成功北伐者）而诬告吴梅村。杜登春《社事始末》有详细的记载：“杭人陆銮借江上以倾梅村，而击两社，上书告密，首及梅村。云系复社余党兴举社事，大会虎丘，将为社稷虑。”后经朝中有势力的当事者“力雪之”，以陆銮诬告反坐了结。
梅村从清廷辞归之后，似乎在家乡平静地度过他的晚年，“人皆以为有后福”，但实际上却并非如此。他数年中接二连三遇到困厄，虽一一逢凶化吉，未受系狱之苦，但心灵上的创伤却是无法弥合的。临终前，他仿佛背着沉重的十字架走向死亡，自叹是一位“大苦人”，这也可以窥见他内心深处的苦楚。