宋太宗雍熙3年，辽军以十余万兵力大举入侵北宋，宋兵分东西两路迎击敌人。东路由曹彬统帅，西路由潘美统帅，杨业(故事中杨继业的原型)为副帅，与辽兵接战于朔州。其时辽兵势大，不可硬攻，但随军王侁、刘文裕邀功心切，主张强取。他命令副帅杨业进军，杨业以为不可，哭谏也未被采纳，只能服从。出兵前他与王侁、潘美约定，请他们在陈家谷口安置伏兵接应。

王侁等在陈家谷口设置了伏兵，但一直到中午也没见到杨业，以为他取胜继续追击去了，便带兵撤离。潘美虽加阻止但态度不够坚决。此时杨业与辽军作战已伤亡大半，原以为有人接应，谁知到了陈家谷口却空无一人，最后被俘。杨业被俘后叹息说：“朝廷待我甚厚，本当讨敌安边，以报国家，不料被奸臣所逼，致使王师败绩，我还有什么脸面活着！”即拒绝进食，三日而亡。他死后，宋廷给潘美贬官三级，将王侁、刘文裕罢官。旌表杨业“尽力死敌，立节迈伦，诚坚金石，气激风云，求之古人，何以如此！”(《宋史·杨业传》)，评价相当高，并给杨家以丰厚馈赠，令杨家其余六子都入朝为官。

这就是历史上的杨业与潘美纠葛的来龙去脉，故事多以此演绎，把潘美做了过分的丑化。

潘美在此事中能负什么责任呢？他应负有领导责任，责任就在他身为统帅，未能有力节制王侁的轻敌妄动，此外实在不能再追究他什么了。

“潘仁美”是古人一个“戏说”，“戏说”不同于历史，这一点应清楚分别为好。