宋军迅速渡江南犯，暴露了方腊起义的战略失算。起义之初，谋士杨八桶匠(一说陈箍桶)就提出过“长驱渡江”的大胆进攻计划；起义军攻克杭州后，在富阳参力口起义的前太学生吕将，又提出“直据金陵，先立根本”的建议，主张先夺取没有重兵把守的金陵，扼守长江，然后趁势夺取东南州、县，这的确是建立东南根据地的重要一着。方腊却过于乐观地认为，腐败已极的北宗王朝不可能很快地派出重兵，起义军可以从容地夺取江南。因此，大部主力回师南下，只顾攻取两浙州县；而在独挡要冲的北面，只派了方七佛的一支偏师，这样，既失去了夺取金陵以求得更大发展的战机，又分散了兵力，使起义军在宋军大举反扑面前，一开始就处于被动局面。方七佛率部攻陷崇德后，于一月二十四日开始围攻秀州(治嘉兴)，屡攻不下，起义军伤亡很重。二十八日，由统制王禀率领的宋军东路主力，在苏州郊区击败石生的起义队伍后赶到秀州，对正在攻城的方七佛部来个反包围。起义军与数倍于己的宋军展开了拼搏，最后剩下二万余人突出重围，撤回杭州。这时，由统制刘稹率领的宋军西路主力，也正在自宣州(宣城)泾县南下，向歙州地区的起义军进行反扑。事实上，方七佛的秀州之战，便成了方腊起义从进攻转入防御的转折点。二月七日，宋军对杭州进行反扑。当时，只有方腊所部六万人和方七佛所部二万人守杭州，在军力对比上，居于劣势，加之粮草不足，若困守一城，势必更加被动。谋士吕将进言“立即撤出杭州”，认为这是“唯一可行之计”。方腊却不愿放弃血战得来的杭城；只是在后来粮草将尽、伤亡日增的情况下，才先行率部撤离杭州打“外援”，留下方七佛部坚守杭城。二十八日，城内粮草断绝，方七佛被迫率部开城突围，一场激战，只剩下一千余人随着方七佛杀出重围，经富阳等地，退回青溪。二月一日，方腊率部反攻杭州失利南撤。由于沿途均有村民策应，得以进行了有力阻击，使尾随宋军不敢贸然轻进，直至三月二十四日，宋军才以“死伤惨重”的代价，攻入桐庐。三月二十七日，统制王禀派人挖地道，用火药炸塌睦州城墙，起义军撤离睦洲。四月初，起义军相继在睦州南郊，在水渡(今白沙)，在青溪(贺城)一再阻击宋军，四月十九日，起义军主动放弃青溪县城，撤回起义者根据地帮源、样桐一带。与此同肘，歙州一带相继失陪，起义军在末军西路主力反扑下，也转入了艰苦的防御战。刘稹所率西路主力，于三月十三日攻入歙州，十六日东犯，由于沿途不断遭到起义军阻击，整整化了一个多月的时间，才靠近与歙县一山之隔的青溪帮源。当方腊起义军主力在浙西地区节节抗敌之际，浙东地区的形势也转向恶化。首先是处州发生了叛变，窃据处州地区起义队伍领导的洪载，把处州城池拱手献给宋军。