刘伯温在青田过了2年的隐居生活，本来希望远离世间是非争夺。但是，他的智慧和才能实在太高，他的名声实在太大了，他甚至被民间百姓渲染成了一位活神仙般的人物，这就无法避免政敌的嫉妒和皇帝的猜疑。洪武六年(1373年)，刘伯温的政敌胡惟庸当了左丞相，指使别人诬告刘伯温，说他想霸占一块名叫"茗洋"的"有王气"的土地做自己的坟墓，图谋不轨。早就对刘伯温放心不下的明太祖，听到诬告后果然剥夺了刘伯温的封禄。刘伯温非常惶恐，于是亲自上南京向明太祖谢罪，并留在南京不敢回来。后来，胡惟庸升任右丞相胡惟庸天下第一大奸臣可与秦桧相提并论，刘伯温更加忧虑，终于一病不起。
　　 洪武八年(1375年)，有病在身的刘伯温由皇帝朱元璋所派使者护送回家，不久在家忧愤而死，终年65岁。
　　 刘伯温在南京时，胡惟庸曾派太医为刘伯温诊病送药，但刘伯温吃了他的药后，病情加剧。因此，当时人们怀疑刘伯温是胡惟庸下毒致死。他死后139年，即明武宗正德九年（1514），被追赠太师，谥号文成，因而后人又称他刘文成。文成县是1948年析置的新县，县名就是为了纪念刘基。
　　 刘伯温不但是一位谋略大师，也是一位著名的学者和文人，他的著作很多，流传于世的有《郁离子》10卷和《诚意伯文集》20卷。其中。代表作《郁离子》一书在中国思想上和文学史上都占有重要地位。
　　 刘伯温死后，葬于青田武阳夏山。据说，刘伯温死前曾预言胡惟庸必败，到时明太祖会为自己平反昭雪，他还特留下一封密奏给儿子，要他在日后明太祖想起自己的时候再上奏。5年后，胡惟庸果然垮台。又10年后，刘伯温果然被平反。明太祖还赐给刘氏家族金书铁券，特批刘氏成员可凭此免一次死罪。