绿林、赤眉两支起义大军分别在南方和东方打败王莽军的消息一传开，别地方的农民也都活跃起来。黄河两岸的大平原上大大小小起义军有几十路。有一批没落的贵族和地主、豪强也乘机起兵，反对王莽。南阳郡春陵（今湖南宁远北）乡的豪强刘縯（音yin）、刘秀兄弟两人，因为王莽废除汉朝宗室的封号，不许刘姓人官，心里怨恨，发动族人和宾客七八千人在春陵乡起兵。他们和绿林军三路人马联合起来，接连打败了几名王莽的大将，声势就强大起来了。绿林军的几支队伍没有统一的指挥。将士们认为人马多了，必须有个首领，才能统一号令。一些贵族地主出身的将军，利用当时有些人的正统观念，认为一定要找一个姓刘的人当首领，才能符合人心。绿林军里姓刘的人很多，该谁谁做首领呢？春陵兵想推刘縯，可是新市和平林兵的将领怕刘縯势力太大，一定要立一个破落的贵族刘玄做皇帝。刘縯又提出等消灭了王莽、收服赤眉军以后，再立皇帝，也遭到反对。刘縯觉得自己力量不够，也只好同意了。公元23年，绿林军各路将士就正式立刘玄做皇帝，恢复汉朝国号，年号“更始”，所以刘玄又称更始帝。更始帝拜王匡、王凤为上公，刘縯为大司徒，刘秀为太常偏将军，其他将领也各有各的封号。

打那时候起，绿林军又称为汉军。