在文学上，他与唐寅、祝允明、徐祯卿并称为“吴中四才子”。

所谓的“明四家”，又称“吴门四家”，是指明代时期的四位著名画家。

而“吴中四才子”，就是人们常说的“江南四大才子”，生活在同一时代，个个都是才华横溢的文人雅士。

在年幼之时，文徵明并不聪慧，甚至还有点呆，两岁不会说话，也走不了路，到了六岁仍然站立不稳，九岁的时候口齿不清，话都讲不清楚，活脱脱一个笨小孩。

而其他三个，唐寅、祝允明和徐祯卿，在孩提时就能吟诗作画，性极聪颖，是闻名整个苏州的神童。

甚至到了成年之后，文徵明也是庸庸碌碌，事事不顺，一生参加了九次乡试，均落榜而归。