蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　殷仲堪當之荊州，王東亭問曰：“德以居全為稱，仁以不害物為名。方今宰牧華夏，處殺戮之職，與本操將不乖乎？”殷答曰：“臯陶造刑辟之制，不為不賢；孔丘居司寇之任，未為不仁。”

　　謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。