后来，永平五年（公元年），第五伦因触犯法令被征召，郡中的老少百姓攀住他的车子，拉着马，啼哭着跟随，每天只能走几里路，无法赶路。

于是，第五伦假装住在亭舍里，却暗中乘船离去了。众人知道后，又前来追赶第五伦。

及至第五伦被送到延尉，官民到京城上书为他求情的有千余人。

当时明帝刘庄正审理梁松的案子，也有很多人为梁松申冤。明帝刘庄深为不安，下诏给公车司马令，令其不要再接收为梁松和为会稽太守第五伦申诉的上书。

后碰巧明帝刘庄巡查廷尉监狱，审录囚犯，第五伦得以免罪，放归田里。他亲自下田耕种，不与官宦来往。

数年之后，第五伦又被任为宕渠县令，他举荐乡中佐吏玄贺为官。玄贺后来先后任九江、沛郡两郡的郡守，以清正廉洁著称，所到之处，教化得以推行，官至大司农。

第五伦任宕渠县令四年，迁升为蜀郡太守。

蜀郡田地肥沃，官民富裕。掾史家中的资财多至千万，他们都乘坐漂亮的车子，以高头大马驾车，很多人因为有财产得以担任官职。

第五伦把家境丰足的官吏全部精简掉遣送回家，改选孤弱贫寒有节操的人担任属吏。

从此以后，争相贿赂之风便被禁绝了，官员的职守得到整饬。他所举荐的人多官至九卿或二千石级的官，当时人们都认为他“善于识别人才。”

第五伦任蜀郡太守的第七年，汉章帝新继位，把第五伦从边远郡调入朝廷，代替牟融任司空。

章帝刘炟因为明德马太后的缘故，尊崇皇舅马廖，让他们兄弟都居于要职。马廖倾心与达官显贵交往，官员士大夫也争相前往依附。

第五伦认为马太后家族势力太盛，对自身及朝廷都不利，于是，便想让朝廷压抑削减他们的权力。因此，他上疏说：

“臣下听说忠言不用避讳隐瞒，直臣不逃避迫害。臣下不胜狂妄，冒死上疏表白意见。《尚书》说：‘臣下不应作威作福，否则将使自家受害，国家也会受损。’《谷梁传》说：‘大夫不应在境外与人交往，不应接受一束肉的馈赠。’

近代的光烈皇后（指阴丽华），虽然非常亲爱自己的家人，但终于让兄弟阴就回到自己的封国，流徙和赶走阴兴的宾客。

此后，外戚梁家和窦家，都有人犯法，明帝即位之后，多加以诛杀，自此以后洛阳城中不再有手握大权的外戚，通过书信请托的事也都没有了。

光烈皇后常常告谕诸家外戚说：‘辛苦交结士人，不如一心报效国家，既戴上盆子，又要望天，事情无法两全。’

臣下对这些话常铭记在心，书写在带上。

而今，议论又集中在马家。

我听说卫尉马廖以三千匹布，城门校尉马防以三百万钱，私下送给三辅的士大夫，不论是否相识，无不赠送。还听说在腊祭之日，又送给洛阳每个士人五千钱；越骑校尉马光，曾在腊祭时用羊三百头，米四百斜，油五千斤。

臣认为这不符合经义，心中惶恐得不敢不向陛下报告。陛下本心是厚待他们，但也应设法保证他们的安全。

臣今天说这些话，实在要对上忠于陛下，对下保全外戚之家，请陛下检省裁决。”

当马防被皇上任命为任车骑将军，准备出兵征讨西羌时，第五伦又上疏反对：

“臣下认为对外戚可以封侯使他们富贵，不应当任命官职，委以重任。为什么？对他们绳之以法则损伤恩德，因私人感情思宠他们又违背国家法令。

听说马防如今要西征，臣下认为太后恩德仁厚，陛下极为孝敬，恐怕稍有过失，难以因恩宠而不加惩罚。据说马防请杜笃为从事中郎，赐给他很多钱财绢帛。杜笃在乡里为人们所不耻，寄居在美阳，妹妹是马氏的妻子，依凭这种关系与马家来往，他们所在的县令深为他的不守法令所苦，将其收捕论罪。如今到了马防那里，议论的人都有怀疑，觉得奇怪，何况又以他为从事，我恐怕将会因此议论朝廷。

如今应该选拔贤德有能力的人辅助马防，不应让他自己请人，有损于他的事业和前途。我有这些想法，怎敢不上奏给陛下您。”