蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　郗司空在北府，桓宣武惡其居兵權。郗於事機素暗，遣箋詣桓：“方欲共獎王室，脩復園陵。”世子嘉賓出行，於道上聞信至，急取箋，視竟，寸寸毀裂，便回。還更作箋，自陳老病，不堪人閑，欲乞閑地自養。宣武得箋大喜，即詔轉公督五郡，會稽太守。

　　孔車騎少有嘉遁意，年四十余，始應安東命。未仕宦時，常獨寢，歌吹自箴誨，自稱孔郎，遊散名山。百姓謂有道術，為生立廟。今猶有孔郎廟。