後來樂恢在本郡當小吏。太守犯法被誅殺,太守的故人害怕被牽連,沒有敢前往的,只有樂恢獨自穿著喪服奔喪,被連坐、抵罪。回來後,再次擔任小吏。
同郡的楊政數次當眾詆毀樂恢,但是樂恢不計舊惡,推薦楊政的兒子為孝廉,因此鄉里歸心於樂恢。樂恢被招去擔任司空的職務,不肯上任,推薦了有德之士杜安,自己退下了。
(《後漢書卷四十三朱樂何列傳第三十三》)