唐寅在孝宗弘治十二年（1499）赴北京会试时，与江阴豪富举子徐经（著名旅行家徐霞客的高祖）同行。考试前，徐经收买主考官程敏政的家人，得到试题，唐寅也知道了这件事。他生性坦诚，不谙世故，竟与朋友闲谈时说起，因此被出卖，同徐经一起下狱，饱受皮肉之苦。事后放归，但已经失去了政治前途。这一波折，等于是青云直上之际突然跌入深渊，苦不堪言。
此后一段时间中，唐寅的诗歌多悲愤之语。这原是难以避免。在那个时候，文人若要得到成功，通常只有掌握政治权力这一条道路。一旦被排挤在权力组织和缙绅社会之外，往往就怨天尤人，无法解脱。但奇怪的是，渐渐地，唐寅又变得自信而轻快了。如《五十言怀》说：“笑舞狂歌五十年，花中行乐月中眠。漫劳海内传名字，谁论腰间缺酒钱？”如此风流洒脱，有名还有钱，难怪接下去要说：“众人多道我神仙！”
凭什么他活得如此快活？不妨读他的《感怀》诗：
不炼金丹不坐禅，饥来吃饭倦来眠。生涯画笔兼诗笔，踪迹花边与柳边。镜里形骸春共老，灯前夫妇月同圆。万场快乐千场醉，世上闲人地上仙。
另据蒋一葵《尧山堂外纪》、顾元庆《夷白斋诗话》，唐寅还有一首类似的绝句：“不炼金丹不坐禅，不为商贾不耕田。闲来就写青山卖，不使人间造孽钱。”他原来是靠卖画为生（亦卖诗、文、字），可以免除其他一切烦劳，所以才那么轻松自在。祝允明在唐寅的墓志铭中说，求他字画人很多，“四方慕之，无贵贱富贫，日请门征索文辞诗画”。画的价钱缺乏记载，秦西岩《故剑编》提到朋友间曾以三两银子转让一幅。明代的物价，大约十两银子即可买一间不错的房屋。假定一幅画三两，如果求画的人多，虽不能大富，日子也可以过得很不错了。
柴门掩雪图（明唐寅）
文人的经济来源，或者说文人的社会身份，同他们的文学创作面貌有直接关系。大略地说，中国自汉代起才有主要从事文艺活动的“文人”，他们依附于宫廷，为帝王所蓄养，因而他们的创作，也是为了取悦于帝王，很少能够表现个人的感情。魏晋至唐前期，出现了一个具有相对独立性的贵族阶级，即门阀士族，他们成为文人的主体，其创作个性意识很强，同时也显示明显的贵族趣味，以超脱为高尚，甚少涉及世俗生活。唐宋时期，官僚成为文人的主体，他们的创作多受社会政治与道德观念的束缚。到了元、明，除了官僚文人，又出现一种立身于市民社会的文人。特别是明代，城市经济发展很快，比较富裕的市民、商人，除了物质的追求，也对文学艺术发生兴趣。风气一旦形成，又有很多人附庸风雅，这就出现了对文学艺术品的市场需求。即使是官僚，也只能参与这个市场，而不能凭权力支配别人。因而，一部分文人（特别是唐寅这样在政治上失足的），就可以把文艺作品当作商品来出售。有了这样一条谋生途径，他们就不须依附于包括官方在内的任何人，获得类似近代自由职业者的身份。而且，这不仅是一种经济来源，也带来相当的社会声誉，意味着一种新的社会成就。那些文人在生活上、精神上不再受社会规范、政治权力、传统道德的严重束缚，其创作也更具有个性和某种自由倾向。可以说，他们正在从旧时代的文人向近代意义上的“知识分子”转化，所以称之为：“走向自由的文人。”
明代这样的文人为数不算少，本书谈及的四位才士，都在其内。祝允明的书法很受世人喜爱，据记载，一大幅真迹曾卖五两银子。在他的文集中，有一首诗是为某个陕西商人悼念其亡妻而作的，看来也卖了钱。徐渭晚年的生活，主要靠出卖诗文书画。有时朋友送珍贵的礼物给他，他就作书画回赠，以免欠下人情。文征明的情况也差不多。
回过来再看唐寅的《感怀》诗。它是对自由自在而平平常常的生活的歌颂。在旧的价值标准破灭以后，唐寅并不寻求某种虚幻的超脱——炼丹或坐禅，而是沉浸于个人的情趣，个人的艺术爱好。“生涯画笔兼诗笔”，可以从两方面来理解。一则如前文所说，这是生活的经济来源；一则如唐寅在《六如居士画谱序》所说：“予弃经生业，乃托之丹青自娱。”艺术本身是人的创造能力的满足，是人的自我完善和提高。当个人爱好与经济来源结合在一起的时候，生活确实有可以满足之处。再者，唐寅不像祝允明，喜欢沉思，老是探究天地宇宙的至理，他觉得人生是实实在在的，只要有了自由，吃饭睡觉，绘画作诗，寻花问柳，夫妻闲谈，就这么老去，就这么到死，便是神仙的生活。这里描绘了个人与社会组织呈游离状态的乐趣，表现了新的人生观念，所以是值得重视的。
当然，靠绘画、文字为生，有时也很辛苦。据李翊《戒庵老人漫笔》说，有人见到唐寅一本记录作品的大册子，上书“利市”二字。又说，某次有人来求文字，唐寅正在病中，勉强起床应付。别人请他休息，他说：“若不如此，则无人来求文字矣。”李翊记载这些事，有讽刺唐寅等一群才士俗气贪财的意思。其实，这里正透露出近代商业社会的气息。要自由生活，总是须付出代价的。靠自己的才能、气力谋生，难道比凭仗权力盘剥老百姓“俗气”吗？