因此，对丈夫和丽华，圣通是越来越没有办法。她就只好把怨气在别人身上发泄。

洛阳后宫里，就会动不动地就能够听见圣通发脾气泄忿的叫喊声。宫里众人的日子就变得更加难过起来。

就像当年刘植说的那样，天子应该有三宫六院，是妻妾成群。刘秀虽然专情，但也不能够像普通百姓那样，就守着一个妻子圣通或是阴丽华一个人过日子。否则，那些妻妾满室的贵族大臣何以自处？而且只有两个，三个也不行，所以按照朝廷的礼制，大臣们硬是要给他安排得整整齐齐的。

但刘秀觉得这真是耽误人家女孩子，就尽可能地修改“礼制”，把后宫等级从西汉的十五级压缩到了五级：皇后、贵人、美人、宫人、采女；而且只有皇后、贵人才算是有正式品级名位的妻子。

于是，就算这些后宫女子数量不多，又根本得不到皇帝的眷顾，但她们也遭受池鱼之灾，从此不得安宁。

而且，大家都知道皇帝的宠爱究竟在哪里。于是，她们纷纷视皇后为敌，暗暗使花招、播流言，打击皇后。

就这样好歹地又耐过了三年。

本年，建武十七年（公元年）十月十九日，刘秀忽然颁布了一份废后兼立后的诏书，终止了这场家庭风雨。

在诏书中，刘秀指责皇后妻子郭圣通心怀怨恨，多次违反宫廷礼教；她又不能善待其他妃嫔所生的子女；没有皇后应有的品德，弄得后宫女子看见她就像鸽子见了老鹰一样惶恐不安；品行作风就像吕太后、霍成君一样，怎能把子女后宫托付给她呢？所以必须废黜她的皇后位置，改立贤惠善良的阴贵人为皇后。

但刘秀又特别指出这是一件令人十分遗憾的事情，对皇家和国家都不算好事，不需要举行仪式庆祝。

究竟是什么事件成了导火线已经无法得知。但显而易见，后宫众人的非议是促使刘秀下定决心的重要起因。加之丽华所生的最小的孩子临淮公刘衡六月二十九日的夭折，使刘秀的伤心更盛。

也很可能就是这一件什么事情，让刘秀担心十分自己孩子的命运。感到圣通会像吕后，霍成君一样，对待自己的妃子与她们的儿女。那么，当刘秀他一旦不在人世，他挚爱的妻子丽华及其子女，就会遭遇到如同当初戚夫人，赵王如意那样的可怕的命运。

也许正是这样的想法，令刘秀不寒而栗。

因此，他才下定决心把多年以前犯下的错误更正过来，给阴丽华一个公道，恢复她原配正室的地位。

同时，刘秀也深信，妻子丽华才是能够公平与慈善地对待其他妃嫔和子女的最佳皇后人选。

得知废后的非常举措，群臣都不敢劝阻。只有郅恽悄悄向皇上建议，应当妥善地安置废后圣通。

郅恽作为臣下，冒着危险，调停刘秀与皇后和太子之间的关系，实在是需要巨大的勇气。因为这说不定还会惹火烧身。

其时，郅恽对刘秀恳切而推心置腹地进言说：“臣听说夫妻之间的事情，连作父母亲的都不能了解。何况做儿子的，怎么能够干涉父母的事情呢？做臣下的，又怎么能够干涉皇上的感情呢？有些话，臣本来是不该说的，不能说的。但是，微臣还是诚恳地请皇上能够恰当地处理此事，以免天下人议论纷纷。”

刘秀听后，深感郅恽的劝说很近人情，很是有理。