刘邦虽然最终取得胜利，却面临着国内外的重重威胁，西汉初年的疆域与秦朝时相比大大缩小了：

北方的匈奴在冒顿单〔mòdúchán漠独蝉〕于的统率下，往东并吞了东胡，向西占据了黄河以西地区，进而赶走了月氏和乌孙，使西域大部分国家不得不服从它的统治。向南不仅夺回了“河南地”（河套及其以南地区），而且一度推进到今陕西、山西的北部。公元前200年，汉高祖刘邦亲率大军出击，结果在平城（今山西大同市东北）以东的白登山被冒顿围困了七天，派人向冒顿的妻子送了厚礼才趁机突围。汉朝缺乏对付匈奴的军事实力，只得采取“和亲”政策，将皇族女子或选来的民女冒充公主嫁给单于。但匈奴的侵扰并没有停止，它的一些部族驻地离汉朝的首都长安只有700里，轻骑兵一昼夜即可到达。

东南原闽中郡境内的越人君长在秦末恢复自立，并起兵助汉。汉高祖五年（公元前202年），闽越首领无诸被立为闽越王，在今福建以闽江下游为中心建立了闽越国，都东冶（今福州市）。汉惠帝三年（公元前192年），封勾践后人摇为东海王，以东瓯（今浙江温州市）为国都，所以又被称为东瓯王。这两个政权表面上服从汉朝，实际上并不受约束。汉朝廷面临内外敌对势力，无暇旁顾，只能容忍。

岭南原来担任秦朝龙川县（治所在今广东龙川县东）令的中原人赵佗，在秦末代理南海郡的尉（军事长官）。秦亡后，赵佗起兵并吞了南海、桂林、象郡，在公元前206年自立为南越王。大约在公元前181年前后，南越灭安阳王，又扩展到今越南北部和中部，直到北纬13°今巴江一带。汉高祖十一年（公元前196年），派陆贾出使南越，封赵佗为南越王。赵佗虽然接受了汉朝的封号，不再自称皇帝，但依然保持着独立地位。在西南，随着秦朝的解体，已经在云贵高原设置的行政机构也撤到了四川盆地，西汉初期一直没有恢复。