由于秦始皇横征暴敛，民不聊生，各地人民投奔吴芮。他听从部下意见，起用刑徒（秦朝对反抗朝廷人面上剌字的犯人）支持项羽，出兵横扫赣，湘，桂一带，史书上载:“番阳令吴芮，甚得江湖民心，号曰番君。布往见之，其众已数千人。番君乃以女妻之，使将其兵击秦。”一年间，吴芮不仅在鄱阳湖流域行仁政发展经济，而且势力范围扩大了数倍。公元前204年，吴芮取下长沙后，在滨临湘水的这块沃土上，建设起了古城长沙。当时北方兵荒马乱，吴芮辖区相对来说平静，吸纳了大量商家南下长沙。距今1500多年前的北魏人郦道元的《水经注》，是我国古代著名的地理学著作。《水经注·湘水》中说：“汉高祖五年以封吴芮为长沙王，是城即芮所筑也。”这是现有的历史文献中关于长沙城最早的，也是最权威的记载。之后吴芮被项羽封为衡山王。史载“番君吴芮率百越佐诸侯，又从入关，故立芮为衡山王，都邾。”
　　 吴芮在洞庭湖一带巡视时结识好友张良(张良，字子房，战国时韩国<今河南颖川>人，为刘邦出谋划策，是屡建功业的开国元勋），在其劝导下，拥戴刘邦。项羽失败后，吴芮以吴国君王之后的身份，和韩信等人拥刘邦为帝。上表书说：“楚王韩信、韩王信、淮南王英布、梁王彭越、故衡山王吴芮、赵王张敖、燕王臧荼昧死再拜言大王陛下：先时，秦为亡道，天下诛之。大王先得秦王，定关中，于天下功最多。存亡定危，救败继绝，以安万民，功盛德厚。又加惠于诸侯王有功者，使得立社稷。地分已定，而位号比拟，亡上下之分，大王功德之著，于后世不宣。昧死再拜上皇帝尊号。”这份出自张良手笔的请愿书被列入史记。刘邦也感谢吴芮的帮助，诏曰：“故衡山王吴芮，从百粤之兵，佐诸侯，诛暴秦，有大功；诸侯立以为王，项羽侵夺之地，谓之番君。其以芮为长沙王。”
　　 吴芮完成父辈之托，本以为可以大展宏图，但是没有想到却面临着政治斗争的旋涡。吴芮公开吴王之后代的身份，埋下隐患。韩信反叛汉王，使刘邦对异姓王不信任。有一次刘邦试探性地对吴芮说：“吴，古之建国也。昔荆王兼有其地，今死亡后。朕欲复立吴王，其议可者。”吴芮说：“沛侯濞重厚，请立为吴王。”叫刘邦的侄子刘濞去做吴王。吴芮按照张良计谋，保存实力。他一方面命其第五子吴元（姬妾生的儿子）带一部份家眷回到瑶里生活，另一方面，将自己的部分精锐亲兵分到刘贾帐下。刘邦一共封了八个异姓王，吴芮对封王并不感兴趣，他不主张汉王分封绪候，他也知道，刘邦封王在战争年代是为了收买人心，根据历史教训，他开始低调行事。把自己大部分地区的领地让刘邦封给他的子女。张良辞官隐居后，在吴芮家中生活了一个多月。他的女婿英布野心勃勃，不听劝导，立意谋反，吴芮闻讯后立即通报荆王刘贾，要刘贾小心，后刘贾在鄱阳被英布鸠杀。