致令天下大乱，盗贼蜂起。前因成都王聚五路之兵以讨孙秀，刘渊为五路兵之一，奉檄攻入洛阳，其后便随成都王重返邺城。成都王却使刘渊为禁军统领，乘势拘于邺城，不再遣其还归凉州。
刘渊时有叔祖父名叫刘宣，乃是匈奴单于羌渠之子，于扶罗单于之弟，刘豹之叔。刘宣为人纯朴少言，好学有修养，曾拜著名学者孙炎为师。孙氏对刘宣极为赏识，谓其为武帝时之金日磾，言其学识之博。刘宣饱读诗、书，精汉文经史曲籍，且为人极有抱负。每读《汉书》萧何、邓禹传时，即掩卷长叹道：“向使英雄遇高祖、光武帝时，则必超萧何、邓禹之所建功业，方算有所作为。”晋泰始年时，刘宣经并州刺史推荐参见晋武帝，武帝大加赞赏，任为匈奴右部都尉，此后又历任匈奴北部都尉、左贤王。当侄子孙刘渊为北部都尉时，刘宣便尽力佐之，为其总理后方部族政务。后值张方劫掠惠帝到长安，洛阳残败之时，因见天下大乱，刘宣感觉时机已到，于是召集五部头领，秘密商议道：“自高祖刘邦以来，我族先人与汉朝约为兄弟，休戚与共，四五百年。至两汉败亡，魏、晋兴起，我单于空有其名，但无尺寸之地，自王侯以降，如同庶民。今司马氏骨肉相残，天下动荡，乃我建国复业之机也。左贤王刘渊姿仪出众，才能超人绝世，天若不兴单于，何虚生此伟人哉？”
于是众口一词，共同推举刘渊为大单于，并遣呼延攸到邺城告知刘渊，请其早为归计，以图大业。刘渊遂以会同族人为先父送葬为由向成都王请归，司马颖不允。刘渊即令呼延攸先回，告诉刘宣等人招集五部人众，会同宜阳郡诸胡，对外宣称响应成都王司马颖，实欲自创基业。司马颖击败长沙王司马乂，引兵返回邺城，便命刘渊为屯骑校尉；其后惠帝亲征司马颖，两军战于荡阴之时，成都王又命刘渊为代理辅国将军，负责北城防守诸事。结果惠帝六军战败，反为张方所虏，司马颖又命刘渊为冠军将军，封为卢奴伯，愈加重用。
至并州刺史、东赢公司马腾与安北将军王浚起兵来讨之时，刘渊见司马颖大惧，于是趁机献计道：“今彼二镇骄横强暴，兵众十万，恐殿下宿卫军及邺城之兵不能与之相抗。臣请回去为殿下劝说我匈奴五部人马，一同来赴国难，则谁能敌之？彼时为臣我率匈奴五部攻之于后，殿下驱邺城之兵遏其锋于前，则必克之，有何难哉！”司马颖虽然愁眉稍解，依然心怀忧虑道：“五部人马果能前来乎？即能来战，鲜卑、乌丸之人强捷如风，必易抵挡乎？孤欲送皇上回洛阳，以避其锋芒，再以叛乱之名告示天下，檄诸侯以制服之，公谓如何？”
刘渊答道：“殿下乃武帝之子，有大功于国，威恩广布，天下人皆仰风范，谁不欲为殿用命？当此之际，募兵何难？王浚乃是庶族小人，东嬴公亦是宗室旁枝，何能与殿下抗衡！殿下若离邺宫，是示弱于人也，何能到得洛阳？纵然能之，亦恐威权委于他人，不复在殿下之手。彼时但凭一纸檄文，尺寸之书，谁肯冒死尊奉！况以东胡之兵，强悍岂能超过我匈奴五部之人。望殿下激励六