皇太弟司马颖奏请任命匈奴左贤王刘渊为冠军将军，监理五部匈奴的军政事务，在邺城统领军队。刘渊的儿子刘聪，很是骁勇，膂力过人，能拉开三百斤张力的大弓。他又博览经史典籍，很会写文章，二十多岁的时候到京都游玩，京都的名士都愿意与他结交。司马颖因为他聪颖，就任命他为积弩将军。
晋“八王之乱”开始，中原混战。刘渊的堂祖父右贤王刘宣对他的族人说：“左贤王英明威武，上天如果不想让匈奴复兴的话，一定不会白白生出这个人。现在司马氏骨肉相残，四海扰动，如同像鼎中的沸水一样。复兴呼韩邪单于的大业，现在正是时候了!”于是一起谋划，推举刘渊为大单于，派同党呼延攸到邺城去告诉他。
刘渊请求司马颖让他回乡参加葬礼，司马颖不答应。刘渊就让呼延攸先回去，通知刘宣等人，让他们召集五部匈奴以及其他小民族，佯称援助司马颖，实际上打算叛变。
幽州刺史王浚和东嬴公司马腾起兵以后，刘渊劝司马颖说：“现在幽、并二州的镇守将领十分猖狂，部下有十多万人，恐怕禁军和附近郡县的军队都无法抵挡，我请求为殿下回去说服五部匈奴来救国难。”司马颖说：“真的能发动五部匈奴吗?即使能发动他们，鲜卑、乌桓，也不容易抵挡。我想侍奉皇帝回洛阳，以避开他们的锋芒，然后再向天下发送檄文，宣布他们为叛逆，以此来制服他们。你认为怎样? ”刘渊说：“殿下是武帝的儿子，为王室立过大功，威武恩德远近著称，四海之内，谁不愿意为殿下拼命呢?又有什么难以发动的?王浚是个小人物，东嬴公是皇室远亲，怎能与殿下相比!殿下一旦离开邺城，就是向人示弱，能不能到洛阳还不知道。即使到了洛阳，殿下的威望权势也不会再有了。希望殿下勉励部下，镇伏他们，我请求为殿下用两部匈奴摧毁东嬴公，三部匈奴杀王浚，斩下两个小子的头颅，指日可待。”
司马颖很高兴，任命刘渊为北单于、参丞相军事。
晋永兴元年(公元304年)，刘渊回到左国城。刘宣等人奉上大单于称号，二十天之内，召集了五万人，在离石县建都，封刘聪为鹿蠡王。
王浚与鲜卑、乌桓等族军队攻打邺城，司马颖离开邺城，侍奉惠帝返回洛阳。刘渊听说后， 感叹说：“不采纳我的意见，反倒自行逃跑，真是奴才啊!然而我和他有言在先，不能不救他。”于是打算发兵攻打鲜卑、乌桓。刘宣等人劝谏说：“晋朝人奴役我们，现在他们骨肉相残，是上天抛弃他们，要复兴我们呼韩邪单于的大业啊。鲜卑、乌桓，是我们的同类，可以支援我们，怎能攻打他们呢?”刘渊说：“好!不过大丈夫应当做汉高祖、魏武帝，呼韩邪单于有什么可效仿的?”
刘渊将都城迁到左国城。胡人、汉人归附他的越来越多。刘渊对群臣说：“过去汉朝能长久统治天下，是用恩德凝聚百姓。我是汉朝刘氏的外甥，与汉朝相约为兄弟，哥哥亡故而弟弟继承，也是可以的啊。”于是建国，国号为汉。刘宣等人请求奉上皇帝尊号，刘渊说：“现在四方还没有平定，暂且像汉高祖当年那样称汉王。”于是即王位，宣布大赦，改年号为元熙。
