生下刘渊。他自幼就十分聪慧伶俐。母亲去世时，他年仅七岁，就像大人一样号哭不绝，哀感四邻。宗族部落的人都为之赞叹。当时的司空王昶听到此事，也派人送来办丧事用的财物，以褒奖刘渊的孝道。刘渊所在的匈奴部落，因久在中原，汉化程度较高，故刘渊自幼就拜上党士人崔游为师，学习《毛诗》、《京氏易》、《马氏尚书》等儒家经典。他特别喜欢读《春秋左氏传》和《孙子兵法》，并大体上可以将二书内容背诵出来，他勤勉好学，博览《史记》、《汉书》及诸子百家。他曾对同学朱纪、范隆说：“每当我读《汉书》列传时，常常鄙视随何、陆贾没有武功，周勃、灌婴缺乏文治。承上启下，开创大业，全在于人。做不到博学广识，是君子的耻辱。随何、陆贾在汉高祖开国之世而不能建军功封侯，周勃、灌婴辅佐汉文帝却不能设学立教，真是可惜啊！”于是刘渊又学习武事，并且武艺超众，擅长射箭，体力过人。成年后，身高八尺四寸，胡须三尺余长，体态魁伟，一表人才。屯留人崔懿之、襄陵人公师彧以善于相面著称，见到刘渊后，大惊失色说：“此人形貌非凡，平生头一次看见。”于是对刘渊非常崇敬，甘居其下与之交结。太原士族王浑也虚襟与刘渊交友，命其子王济拜见刘渊。

　　曹魏咸熙年间（264—265），刘渊作为任子居住在洛阳，当时输政的司马昭对他十分礼遇。西晋建立后，时为越骑校尉的王浑屡次向晋武帝谈起刘渊。晋武帝遂召见刘渊，与之交谈后，非常高兴，对王济说：“刘渊仪表堂堂，虽由余、金日c 也无法与之相比！”王济回答说：“刘渊仪表，诚如圣① 本节材料依据《晋书·载纪·刘元海》，凡引此传者，不另作注。

　　旨，但他的文武才干却远在由余、金日c 之上。陛下如果用他负责对东吴征伐，平定江南，指日可待。”武帝深以为然。但孔恂、杨珧却进言道：“臣下观察刘渊的才能，感到当今之世恐怕无人与之匹敌。陛下如果让他掌握少量兵马，则平吴事难成；若授以威权，则平吴之后，恐怕他将据有江南，不复称臣。与我族类不同者，其心必然不同。以刘渊统帅其部族，臣下尚且为陛下担忧寒心。如果以有天险为凭依的江南资助刘渊，怎么可以呢！”晋武帝默然不语，任用刘渊事亦按下不提。

　　西晋咸宁年间（275—280），关陇地区氏族在树机能领导下起义，朝廷屡次镇压均告失败。晋武帝为一举扑灭起义烈火，决定选拔得力胜任的将帅出征。尚书仆射上党人李憙劝武帝说：“陛下如果能够征发匈奴五部的兵力，授刘渊以一将军名号，令其西征平叛，凉州指日可定。”孔恂说：“李公的话，还没有点破消除危患的道理。”李憙勃然大怒说：“以匈奴的强悍善战，刘渊的通晓用兵，再加上奉宣圣威，消除叛乱，还有什么可说的呢！”孔恂说：“刘渊如果能够平定凉州，斩树机能，恐怕凉州才真正有危难罢了。那时蛟龙如得云雨，将遨游长空，不再是池中之物。”晋武帝认为孔恂言之有理，未采纳李憙的建议。

　　两次仕进受阻，刘渊深知其原委。后来东莱游侠王弥离开洛阳回乡里，刘渊在九曲之滨与王弥饯行，哭泣着对王弥说：“王浑、李憙与我同乡，对我的为人深知熟知，常向皇帝称赞推荐，离间之谗言因此随之而生。这一切本不是我之所愿，却深受其害。我并不想为官仕进，这一点只有你清楚。恐怕今生只能死在洛阳，与你永别了。”说罢慷慨长叹，歔欷不已，纵酒长啸，声调激昂，在座者天不为之凄然泪下。当时，齐王攸也在九曲，闻讯后驰马探视究竟。见此状，遂进言晋武帝说：“陛下不除掉刘渊，臣下惟恐并州不得长久安宁。”王浑劝谏道：“刘渊为人忠信，臣下愿为他担保。再则大晋刚刚宣称要以德招抚四方，殊俗共存，为什么要以没有根据的怀疑而杀匈奴的侍子，以示晋德不弘呢？”晋武帝说：“王浑的话是对的。”

　　拥晋以图发展刘豹死后，晋武帝命刘渊代为左部帅。刘渊由洛阳回到了并州。他摆脱了人质的地位后，在自己所辖的部族和地区施展政治才能，史称他“明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰无不至者。幽冀名儒，后门秀士，不远千里，亦皆游焉。”从而为他以后成为匈奴族的主要首领打下了坚实的基础。

　　太康十年（289），西晋改五部帅为五部都尉，刘渊任北部都尉。杨骏辅政期间，又以刘渊为建威将军、五部大都督，封汉光乡侯，正式承认了刘渊在匈奴五部中的领导地位。元康末年，刘渊坐部人叛逃出塞，被免官。时成都王颖镇邺，表请任刘渊为行宁朔将军、监五部军事，使其脱离五部，在邺城任官。

　　刘渊被免官和仕宦于邺城，是西晋政权出于“非我族类，其心必异”的民族歧视的心理，企图限制刘渊势力的发展、防患于未然的措施。这一措施引起了长期以来受到中原封建王朝的排斥打击的匈奴上层贵族的不满。当时正值司马氏诸王相攻，“惠帝失驭，寇贼蜂起”，西晋政权对少数族的控制能力大大削弱。刘渊的从祖，原北部都尉、左贤王刘宣遂召集匈奴五部上层贵族，对他们说：“过去我们的祖先与西汉约为兄弟，同甘共苦。自汉亡以来，魏晋更替，我们的单于却徒有虚号，而没有国土可言；至于诸王侯，地位降同编户齐民。现在司马氏骨肉相残，四海鼎沸，正是我们振兴国家、恢复先祖大业的大好时机。左贤王刘渊才能和气宇超众拔群。上天如果不是想要光大尊崇单于，绝不会白白地降生此人。”于是众人密谋，共同推尊刘渊为大单于。又派呼延攸到邺城，将众人之谋告知刘渊。刘渊遂请求成都王颖，佯称回部落参加葬礼。颖不答应。刘渊无奈，只好让呼延攸先回去，告诉刘宣等人纠集五部，再招聚宜阳附近的诸胡族，表面上声称助成都王颖讨逆，实则为以后起兵做准备。