刘渊死后，其子刘聪继位。次年，刘聪遣石勒、王弥、刘曜等率军攻晋，在平城(今河南鹿邑西南)歼灭十万晋军，又杀太尉王衍及诸王公。永嘉五年(公元311年)，匈奴兵攻陷西晋京师洛阳，俘虏了晋怀帝。纵兵烧掠，杀王公士民三万余人。史称「永嘉之乱」。

永嘉之乱后不久，怀帝被匈奴人所杀，其侄愍帝被拥立于长安。但这时皇室、世族已纷纷迁至江南，西晋王朝名存实亡。到了公元316年，匈奴兵攻入长安，俘虏了愍帝，西晋至此宣告灭亡。而实际上，永嘉之乱早已决定了西晋覆灭的命运。从武帝篡魏，到愍帝出降，西晋国祚仅历五十一年。西晋表面上虽是亡于胡人之手，其实自西晋建立以来，其施政缺失甚多，使政局混乱，内战不休，速亡乃自然不过的事。