殷羡看罢，大为反感，把那些信往水中一抛，来了个“天女散花”。他扔完信，双手合十，念念有词说：“你们这些信哪，该沉的沉，该浮的浮，爱咋咋，那些跑官者想让俺殷羡给他们当邮差，没门！”这话表面是说任由信件浮沉，也有庸人自然淘汰出局、能者自能脱颖而出的意思。这件事给后人留下两个有名的成语“付诸洪乔（殷羡字洪乔）”和“洪乔之误”，用来形容投寄信件丢失，也有所托非人的意思。

　　​到了他儿子殷浩成长为大名鼎鼎的江左第一名士，殷羡的臭脾气就更无所顾忌了。他担任长沙相时，肆无忌惮地搜刮民脂民膏、贪污受贿，搞得臭名远扬。上司顾忌着殷浩，也不敢拿殷羡怎么样，殷羡反而步步蹿升，最后官至九卿之一的光禄勋。