刘渊既然一时不能回部落，只好暂时依附于司马颖。时司马颖废太子覃而自兼皇太弟，又任丞相，在邺城形成与拥戴惠帝的东海王越相对峙的政治中心。刘渊在表面上的恭顺，使他赢得了成都王颖的信任，任命他为太弟屯骑校尉。后来，东海王越率洛阳禁军讨颖，颖又以刘渊为辅国将军、督北城守事。东海王越与成都王颖战于荡阴，越大败，成都王颖取得了挟天子以令诸侯的地位。刘渊也因此迁冠军将军，封卢奴伯。

　　成都王颖虽取得胜利，但地位并不巩固。东海王越系统的并州刺史东赢公司马腾、安北将军王浚发兵讨伐成都王颖。面对强敌，刘渊劝告颖说：“现在二镇强盛，有众十余万，恐怕宿卫军队及邺城附近的士庶难以抵御。我愿为殿下返回五部发兵，以赴国难。”颖说：“五部发兵是否能确保呢？即使可以发兵，司马腾和王浚手下的鲜卑和乌丸骑兵强悍善战，抵挡其进攻又谈何容易！我打算奉惠帝返回洛阳，避强敌锋锐，然后传檄文于天下，以其叛逆之罪令四方共讨之。你看如何？”刘渊回答说：“殿下是武皇帝之子，有特殊功勋于王室，素有威信恩德，享重名于四海，谁不想为殿下捐躯献身？发四方之兵是易如反掌。王浚区区小人，司马腾是宗室疏属，怎能与殿下抗争？！但殿下一旦离开邺城，示弱于人，是否能抵达洛阳呢？即使到达洛阳，恐怕殿下也难以掌有实权。光凭一纸檄文，谁又肯事奉呢？况且东胡虽强悍，较之匈奴五部却稍逊一筹。但愿殿下能够勉励安抚士兵，镇之以静，我可以为殿下用二部击败司马腾，用三部打垮王浚，二人之首级指日可取。”成都王颖听了这番话，非常高兴，遂拜刘渊为北单于，参丞相军事，派遣他回部落纠集五部，以抵御司马腾和王浚的进攻。

　　刘渊回到左国城，刘宣等人尊他为大单于。短短二十天，刘渊就招集了五万余众，集中于离石（今山西离石县）。

　　这时，王浚派部将祁弘率领鲜卑兵攻打邺城，司马颖迎战失利，遂挟惠帝南奔洛阳。刘渊闻讯，说：“司马颖不听我的劝告，稍败就向洛阳奔逃，真是个奴才。但我与他先有许诺，不能不去救援。”于是命令右于陆王刘景、左独鹿王刘延年等率步骑二万，准备进攻鲜卑。刘宣等人再三进谏说：“晋朝不讲道义，视我们犹如奴隶，右贤王刘猛因此不堪忍受而率众反抗。只因当时晋朝纲纪未弛，遂使右贤王兵败，功业未成。这是我们的耻辱。如今司马氏骨肉相残，这是天厌晋德，授之于我。你躬行积德，正应当带领我们的部族去恢复祖先的大业。怎么能攻伐可以引为外援的鲜卑、乌丸而拯救仇敌呢？上天命我灭晋，不可违背。天予不取，反受其咎，愿单于不要再迟疑了。”刘渊深以为然，激愤地说：“对！大丈夫在世，当如崇山峻岭，岂能甘为蝼蛄！哪有帝王之运长在一姓之理？大禹出自西戎，周文王生于东夷，他们之所以为王，只是有德罢了。而今我有部众十余万，皆能以一当晋十人，击鼓征讨腐败的朝廷，必将摧枯拉朽。上可以成汉高祖一统天下大业，下可以像曹氏拥有半壁河山。只是恐怕晋人未必都能拥戴我。不过，汉朝长期统治天下，恩德深入人心，故刘备树汉家旗号，以一州之地而能与曹氏抗争。我是汉朝刘氏的外甥，与刘氏约为兄弟，兄亡而弟承，难道不可以吗？姑且称国号为汉，追尊汉后主，以招抚民心。”于是刘渊迁都于左国城，远方来归附的人有数万之多。

　　建立汉国永兴元年（304），刘渊在左国城正式登上汉王位。他以复汉为名，追尊汉后主刘禅为孝怀皇帝，立汉高祖刘邦以下三祖五宗神主而祭之。对于“乱汉”的黄巾军、阉党、董卓及曹氏父子予以口诛笔伐。又大赦境年，建年号元熙，立其妻呼延氏为王后。依据汉制设置百官，以刘宣为丞相，呼延翼为御史大夫，刘宏为太尉，其余部将授官各有差。

　　既然刘渊公开打出反晋旗号，据并州一隅之地建立政权，与西晋王朝分庭抗礼，故并州刺史司马腾立即派将军聂玄征讨刘渊。两军战于大陵（今山西交城东南），结果聂玄大败。司马腾闻讯大惊失色，慌忙带领二万余户逃离并州。刘渊派遣建武将军、族子刘曜攻下了太原（太原市南）、中都（山西榆次）、屯留（山西屯留南）、泫氏（山西高平）、长子（山西长子）等军事要镇，控制了晋东南地区。永兴二年（305），司马腾又派遣司马瑜、周良、石鲜等率兵讨渊，屯军于离石汾城。刘渊命令武牙将军刘钦等率六军进攻司马瑜，凡四战，皆胜，司马瑜等落荒而去。

　　为扭转败局，西晋王朝任命刘琨为并州刺史。刘琨不同于司马腾，具有一定的武干谋略。他到任伊始，即以州治晋阳（山西太原西南）为据点，抚循劳徕，甚得人心。刘琨还派人离间刘渊与其统属的其他少数族之间的关系，使得叛刘渊附晋的“杂虏”达万余落。刘琨的活动，对刘渊构成重大威胁。刘渊遂委任前将军刘景为使持节、征讨大都督、大将军，攻击刘琨于版桥，结果反为刘琨所败。刘琨进一步巩固了他在并州的政治、军事地位。

　　面对刘琨的威胁，侍中刘殷、王育进谏刘渊说：“殿下自起兵以来，已近一年，而仍居偏方，王威未振。望能命众将四出，择机决战，灭刘琨，定河东，建帝号，率军南征，攻克长安以为都城，以关中之众席卷洛阳。若如此，成高皇帝（刘邦）的大业，易如反掌罢了。”刘渊大喜，说：“正合我意！”于是在永嘉二年（308）正月，他遣抚军将军刘聪等十将南据太行，辅汉将军石勒等十将东下赵魏，将军事活动扩大到西晋王朝的腹地——中原地区。