又闻谤而不怒，虽谗焰熏天，如举火焚空，终将自息；闻谤而怒，虽巧心力辩，如春蚕作茧，自取缠绵。怒不惟无益，且有害也。其余种种过恶，皆当据理思之。此理既明，过将自止。

袁了凡主张面对谣言时，要不理不睬，淡然处之，而这些谣言将会不攻自破；如果面对谣言极为恼怒，想尽一切办法进行反驳，结果反而会越抹越黑，给自己带来无尽的烦恼和无休止的人事纠缠。应该说，袁了凡对待谣言的处理方式，不失为明智之举。《汉书·直不疑传》记载：

直不疑，南阳人也。为郎，事文帝。其同舍有告归，误持其同舍郎金去。已而同舍郎觉，亡意不疑，不疑谢有之，买金偿。后告归者至而归金，亡金郎大惭，以此称为长者。稍迁至中大夫。朝，廷见，人或毁不疑曰：“不疑状貌甚美，然特毋奈其善盗嫂何也！”不疑闻，曰：“我乃无兄。”然终不自明也。（《汉书·直不疑传》）

南阳（今河南南阳）人直不疑在做郎（官名）的时候，同宿舍的一位同事回家探亲，误拿了另一位同事的金钱。丢钱的同事就怀疑是直不疑偷去了。直不疑也不辩解，如数给钱。回家探亲者来了以后，把误拿的金钱送还丢钱的同事，丢钱者极为惭愧。从此直不疑被人称为长者。后来直不疑的官职越做越大，竟然有人诽谤直不疑与嫂嫂有私情，直不疑也不找此人争辩，只是淡淡地申明：“我没有兄长。”这种情况并非个例，东汉第五伦也做到了这一点。当时有人诽谤第五伦曾经殴打过自己的岳父，第五伦也不去争辩，只是在汉光武帝刘秀亲自向他询问此事时，第五伦才回答说：“臣三娶妻皆无父。”（《后汉书·第五伦列传》）

正是因为直不疑与第五伦具有如此度量，最后都位居三公（直不疑任御史大夫，又叫大司空，并封侯；第五伦任大司空）；直不疑的享年没有记载，而第五伦享年八十多岁。面对诽谤，淡然处之，不去自寻烦恼，不仅有利于自己的仕途，更有利于自己的健康。