汉孝哀帝建平、元寿年间，在汝南郡南顿县一座还算可以的宅子内，时常可以见到年纪不大的兄弟三人在堂下正襟危坐，听堂上父亲严肃地给他们讲道：“孝景皇帝生长沙定王发，发生舂陵节侯买，买生郁林太守外，外生巨鹿都尉回，回即汝等祖父也，切记！切记！”

堂上之人是南顿县的县令刘钦，堂下的兄弟三人是他的儿子，按长幼排序分别是长子刘縯(字伯升)，次子刘仲(这个大概不是真名，仲只是说明他排行老二)，小子刘秀(字文叔)。另外，刘钦还有三个女儿：刘黄、刘元、刘伯姬。刘钦提到的巨鹿都尉刘回，就是他的父亲，也就是三兄弟的祖父。以上这段话是兄弟三人懂事之后已经听得耳朵生茧的唠叨，这既是他们刘家引以为傲的族谱，也可以说是兄弟们的启蒙教育。

虽然自小被教导家里有辉煌的家族史，但这并不能给兄弟三人带来多少实际上的好处，只是能和同龄人显摆。每次和小伙伴们起争执，刘家兄弟辩不过时，最后总是面红耳赤地叫嚷“吾祖上乃长沙定王”，然后说其高祖又是谁、曾祖又是谁、祖父又是谁。此话一出，小伙伴们不再言语，刘家兄弟便得以胜利者的姿态昂首离开。可当他们走远，总能似有似无地听见有人在背后嘀咕：一代不如一代。

这话极大地刺激了刘家三兄弟的心，尤其是年纪最大的刘縯，使他很早便在心里发下宏愿：一定要光复刘家的门楣。

理想很好，可现实总会给人当头一棒：平帝元始三年(公元3年)，刘钦病故。虽然父亲在世时是个县令，但南顿并非大县，县令的俸禄不过八百石左右，而他们刘氏家族少说也有好几十口人，日子过得肯定和“阔绰”二字沾不上边。但不管怎么样，刘钦毕竟是家中的顶梁柱，现在他不在了，就意味着刘家进入了最艰难的时期。

依照国人的习俗，人死后总希望能入土为安，于是兄弟三人在大哥刘縯的带领下离开南顿县，将父亲的灵柩送回了老家南阳郡蔡阳县舂陵乡。这一年，兄弟中最小的刘秀虚岁只有九岁。

回到舂陵老家，三兄弟都感到一种久违的熟悉感，毕竟他们以往一直跟在常年在外为官的父亲身边，没在老家正经待过多少日子，“故乡”对他们而言或许只是一个词语、一个概念而已。虽然舂陵乡有很多刘家同宗同族的亲戚，他们兄弟也算不上“少小离家老大回”，可依然必须面对在舂陵的家庭安置、邻里关系的处理等种种不适应。

但不管如何不适应，操办完父亲的丧事，兄弟三人都得为以后的生活做打算。传说刘秀出生的时候红光满堂，整个房间都被照亮，是三兄弟里命最好的一个，但他毕竟年纪不大，而俗话说“长兄如父”，既然父亲已不在，大哥刘縯不得不担起支撑整个家族的重任。

这时候，刘縯的年纪也不大，满打满算勉强刚二十岁，可他不愿意让刘家就此沉寂下去。眼见当时社会处于崩溃的边缘，皇帝刘衎只剩下个名号，王莽实际上已经掌握朝廷所有的权力，刘縯估计，长此以往，朝廷必然生变，于是他决心私底下为日后的天下大乱做一些准备。或许是为了让年幼的刘秀摆脱干系，也可能是实在顾不上照顾他，没等刘秀安定下来，认全老家附近的乡亲、邻居，刘縯便把他带到萧县交给叔父刘良抚养。