永安元年（304）八月，刘渊在左国城（今山西离石）起兵反晋，刘渊，字元海，新兴（今山西忻县）匈奴人。幼年拜上党崔游为师，综览汉籍，尤好《春秋左氏传》、《孙吴兵法》。在随从祖右贤王刘宣时，谋求恢复匈奴势力，被推为大单于。晋永安元年（304），王浚与司马腾起兵征讨司马颖时，刘渊因为献良策，被司马颖拜为北单于、参丞相军事。八月，刘渊起兵反晋，自称大单于。同年十月，刘渊对众宣称：“昔汉有天下之长，恩结于民。吾，昔汉氏之甥，约为兄弟；兄亡弟绍，不亦可乎！”于是，建国号为汉，刘渊即汉王位，尊蜀汉刘禅为孝怀皇帝，建元元熙。十二月，刘渊在大陵（今山西文水）击败司马腾，又派刘曜等攻太原，占据泫氏、屯留、长子、中都等地，并攻掠河南各州郡。