1860年9月，太平军李世贤部攻打宁国、徽州。

徽州是皖南名城，守城者是副都御史张芾。但张芾对军事很陌生，面对汹涌而至的太平军惊恐无状，连连向曾国藩求救。而身为徽宁池太广道员的李元度，主动请缨，因徽州是其辖地，理应出面救援。

李元度作为文人，带兵多年，却胜少败多，曾国藩对他身上的书生气放心不下。但鉴于李元度立功心切，曾国藩也有心成全，于是临行前与之约法五章：

第一戒浮，不用好说大话而无打仗经验的文人；第二戒自负，切莫自视过高，师心自用；第三戒滥，保举要有节制；第四戒反复，不要意气用事，朝令夕改；第五戒引用私人。

李元度接受五戒之后率其新募平江勇于8月14日抵达徽州，25日就被李世贤部攻下，李元度弃城逃跑。

消息传来，曾国藩十分后悔，明知李元度不是独当一面的将才，却让其担当重任。徽州失守，导致安徽局势十分危急，太平军乘胜直奔曾国藩所在的祁门老营。

刚开始，曾国藩还十分担心李元度的安危生死，但徽州城破十天后，曾国藩收到了李元度的信，知道他没有死。这反而使曾国藩对李元度弃城而逃的行为十分气愤，认为他“大节已亏，此后难于自立矣”，按照常规，这种行为必然会受到惩处。

于是，曾国藩亲拟奏折，“请旨将李元度革职拿问，以示惩儆”。

当时，祁门老营中的不少幕僚都替李元度说情，这中间还发生一段Сhā曲。曾国藩的门生李鸿章见劝说不了曾国藩，表示宁愿离开祁门，也拒绝拟稿。

后世学者也都认为曾国藩在参劾李元度一事上做得太过分了。其实，人们不知道，像李元度这样弃城逃跑并非小事，按大清律例，守城主将应当与城池共存亡。与徽州同时失守的宁国，守将周天受死守宁国七十余天，援尽粮绝，城破之后以身殉国。而李元度仅仅只守了一昼夜。这样鲜明的对比反差，怎能让人心服？即使曾国藩不参他，又怎么可能保证湘军之外其他官员不参劾他？与其让别人来参劾，不如自己主动参劾，否则到时曾国藩就被动了。弄得不好，曾国藩自己也脱不了­干­系。

曾国藩一纸奏折，让李元度丢职归乡。

1861年，浙江巡抚王有龄奏请李元度在湖南组建一支八千人的队伍，名曰“安越军”，由平江、通城东援浙江。李元度一路追击太平军李秀成部到江西瑞州，得以官复原职，加布政使衔；随后率军入浙，配合左宗棠将李世贤所部击溃，得以补授浙江按察使。

同治元年二月，曾国藩看到上谕后，当即上了一道奏折，参劾李元度三条罪状：一是冒禀邀功；二是徽州丢失后，不候讯结，自行回籍，又不侯批禀，擅自赴浙；三是赴浙途中，节节逗留，有负浙省期望。请旨革去其职，交左宗棠差遣。

这个时候的曾国藩已今非昔比，他说一句，朝廷就批一句。这样，李元度再次丢官。