謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　子曰：“政之不行也，教之不成也，爵禄不足劝也，刑罚不足耻也。故上不可以亵刑而轻爵。《康诰》曰：‘敬明乃罚。’《甫刑》曰：‘播刑之不迪。’”

　　顧長康畫謝幼輿在巖石妙。人問其所以？顧曰：“謝雲：‘壹丘壹壑，自謂過之。’此子宜置丘壑中。”