另一部元军攻入百道源西部的赤坂，肥后武士菊池二郎武房率自己所部武士一百三十骑与元军展开战斗。大宰府少贰藤原经资所率领的武士部队，按一族一门的战斗组织形式，轮番与占领赤坂的元军进行殊死战斗，终于迫使这部分元军向鹿原方向后撤。火炮在战斗中发挥了重要作用。在元军撤退时，肥后武士竹崎季长率自己的族人四骑，尾追元军，负伤落马侥幸未死。元日战后，竹崎季长以自己参加战斗的经验和目睹实况为基础，绘画《蒙古袭来绘词》一卷，为研究元日战争留下了比较逼真的史料。在其中一幅画的左面，画有一个正在爆炸火光四射的球形铁火炮，说明火炮在这次战争中的应用。《太平记》中也记载：“击鼓之后，兵刀相接，抛射出球形铁炮，沿山坡而下，形如车轮，声震如霹雳，光闪似闪电，一次可发射两三个弹丸，曰本兵被烧害者多人，城上仓库着火，本应扑灭，但无暇顾及。”

鹿原及鸟饲一带的元军，继续登陆，扩大占领地面。日本北九州各地武士如怡土松浦黨、原田一族、日田、栗尾、山田氏等所率各队武士，先后赶到战场，一队一队轮番进攻元军。尽管武士军队人数不少，但就每一队而言，都教元军为少，因而死伤惨重。

这时，另一部分元军从博多湾东部箱崎方向登陆，占领岸边松林，从背后夹击与百道源元军作战的日本武士。该地守军大友赖泰的武士队伍经不起元军的夹击，开始向东南方撤退。由于大友赖泰部队的撤退，与百道源元军作战的日军腹背受敌，被迫向大宰府水城方向撤退。

二十日，元军与日军激战了一整天，近傍晚时候，博多湾箱崎等地先后落入元军之手，日军被迫全军撤退，但元军紧紧咬住不放，随着撤退的曰军节节进逼。元军左副帅、作战指挥刘复亨为了更好地指挥作战，从高坡走下骑马前进。这个情况被日军前线指挥藤原景资发觉，他立即引马搭箭，将其射落马下。元军统帅受伤，使进攻的势头略受挫折，加之天色昏暗，遂停止进攻。这时，日军方摆脱元军的追击，迅速退往大宰府水城。日军撤退后，没有来得及逃走的老幼妇女，被俘近一千五百余人。

夜幕降临后，战斗基本停止，受伤的左副帅刘复亨，先行上船。元军统帅忻都召集其余将领讨论明天的军事行动。经过一天的战斗，元军对日本武士的勇猛战斗，颇有惧意，而且对一队队参战的武士部队难以估计其准确数字，以为数倍于元军。同时元军虽然占领了滩头阵地，但死伤不少，兵疲矢尽，并且统帅受伤，这些对久经战阵的元军统帅忻都产生了影响，从而不能准确地判断出战争双方的形势。高丽军将领金方庆比较冷静，他看到当时的战争形势对元军比较有利，只要坚持苦战，便能攻克大宰府，保住阵地以待援军。所以，他建议：“我军虽少，但已入敌境，人自为战，即孟明焚舟、淮阴背水计也。”但是另有打算的忻都否决了金方庆的意见，他认为：“小敌之坚，大敌之擒。策疲兵入境，非完计也，不若班师。”于是忻都决定，全军撤退到船上，明日班师。