贺拔岳死后，军中无人统帅，人心离散，在大都督赵贵的建议下，众人共推宇文泰为统帅，派杜朔周星夜奔夏州告之。宇文泰闻讯，即率帐下轻骑驰赴平凉，为防事变，令杜朔周帅众先据弹筝峡（今甘肃平凉西北）。宇文泰行至安定（今甘肃泾川北），正遇高欢派来招抚贺拔岳部众的侯景，宇文泰以言语折之，辞气俱下，侯景不敢前往平凉，中途而归。先是，孝武帝正将谋取高欢，闻贺拔岳被害，遣武卫将军元毗为使前往宣旨抚慰，并调岳所领部众还洛阳，及元毗到平凉，宇文泰已被众将推为统帅。

　　宇文泰统领岳军后，一面命诸军戒严，准备进讨侯莫陈悦，一面上表孝武帝，并与元毗及诸将刑牲盟誓，相约共扶王室，孝武帝遂下诏以宇文泰为大都督，统领岳所部人马。

　　宇文泰得到孝武帝的正式承认后，立即准备进攻侯莫陈悦。先是，原州（治高平，今宁夏固原）刺史史归，素为贺拔岳所亲信，及贺拔岳死，竟反投于悦，悦遣王伯和、成次安领兵二千助史归镇守原州。因此，宇文泰首先派都督侯莫陈崇帅轻骑一千奔袭原州，擒史归、王伯和及成次安等，缚送平凉。永熙三年（534）三月，宇文泰调发诸军，毕集原州，准备攻悦。四月，军出木狭关（今宁夏固原西南），正逢大雨雪，平地积雪二尺，宇文泰知悦怯而多猜，遂倍道兼行，出其不意直扑悦之大本营水洛城（今甘肃庄浪东南）。悦闻泰军至，留万人守水洛城，自领大军退保略阳（今甘肃秦安东北陇城镇）。宇文泰军到水洛，守军出降，泰即率轻骑数百奔略阳，悦又退保上邽（今甘肃天水）。时南秦州刺史李弼亦在悦军中，见悦败势已定，乃暗中派使者诣泰，请为内应。其夜，悦弃城出，军中惊溃，士卒纷纷来降，宇文泰纵兵奋击，大破悦军，悦仅与子弟及麾下数十骑遁走灵州，宇文泰急令镇守原州的宇文导在前面堵击，又以都督贺拔颖领一军尾追，至牵屯山（今宁夏固原西）追及，侯莫陈悦自杀于野。随后，宇文泰又遣都督刘亮攻取盘踞豳州（治定安，今甘肃宁县）的悦党孙定儿，克之。又以重兵威逼，迫使氐王杨绍先称藩，送妻、子为质。十一月，遣李虎、李弼等讨伐曹泥，明年，曹泥降，灵州遂平，宇文泰徙其豪强置于咸阳（今陕西咸阳东北），以加强控制。

　　宇文泰平定秦、陇后，实力增强，孝武帝以泰为侍中、骠骑大将军、开府仪同三司，关西大都督，略阳县公，承制封拜，成为仅次于高欢的有力人物。

　　建立西魏永熙三年（534）五月，孝武帝欲起兵伐高欢，事泄，高欢有所戒备，中军将军王思政对孝武帝说：“高欢的篡逆之心，已昭然若揭，洛阳非用武之地，一旦遭到进攻，难以守御，宇文泰心存王室，不如前往关中，凭借宇文泰的力量与高欢抗衡。”孝武帝深以为然。先是，秦、陇刚平，夏州长史于谨曾劝宇文泰上书孝武帝，徙都关中，效曹操之举，挟天子以令诸侯，宇文泰接受了这一意见，将高欢结好自己的书信都封交孝武帝，以示忠于王室之心。及孝武帝欲伐高欢，又遣大都督梁御率步骑五千屯于黄河、渭水合口处，以为声援，令秦州刺史骆超率轻骑一千入洛阳，不久，又遣大都督李贤领精骑一千赴洛阳。因此，当孝武帝向大臣征询徙都关中的意见时，上下几乎都表示同意。七月，孝武帝遂从洛阳率轻骑入关，迁都长安，加授宇文泰大将军、雍州刺史，兼尚书令，军国之政，皆由泰定。是年十月，高欢另立元善见称帝，徙都于邺（今河北临漳西南邺镇），北魏分裂。

　　初，孝武帝与高欢有隙，畏欢权重，欲结援宇文泰，借泰之力量击欢，及徙都长安，政由泰出，仍受制于人，心中不悦，与宇文泰渐生嫌隙，不满之情溢于言表。永熙三年（534）十二月，宇文泰以毒酒害死孝武帝，立元宝炬为帝，是为西魏文帝，明年正月，文帝于长安城西即位，改元大统，宇文泰为丞相、都督中外诸军事、大行台，军政大事尽出于泰手。从此，北魏分为东西，高欢与宇文泰皆居相位，军国大事总属相府，成为实际的统治者，元氏皇帝不过是傀儡而已。

　　西魏立国后，形势极为险峻，其时，天下三分，东有高欢大军压境，南有萧梁不时构衅。尤其是高欢，视西魏为劲敌，急欲将其扼杀于襁褓之中，而东西魏力量对比又十分悬殊，东魏地广国富，人口逾二千万，兵强马壮，高欢能调动的军队不下二十万；西魏地狭国贫，人口不满千万，宇文泰直接掌握的军队不过三万余人。同时，西魏立国之初，关中即遭大饥，人心浮动。宇文泰也看到了这种形势，大统元年（535）三月，他命各衙署斟酌古今以来的治国经验，且可以用于现实者，制订颁行了二十四条新制。并提拔了武功大姓苏绰为大行台左丞，参与机密，拟订治国大纲，革新政治。

　　创建府兵宇文泰首先进行的是改革军制，建立府兵制度。

　　大统三年（537），宇文泰开始整军。先是，东魏连年入侵，永熙三年（524）八月，高欢帅师攻克潼关，进逼华阴（今陕西华阴西南）；大统元年（525）春正月，东魏大行台尚书司马子如率军再攻潼关，见宇文泰已有准备，遂挥师攻华州（治华山，今陕西华县），赖着刺史王罴的拚力死战，才打退了东魏进攻；大统二年三月，高欢又亲率万骑袭取夏州，徙五千户而归。不久，又袭取灵州，徙五千户而归；大统三年正月，高欢又领军屯蒲坂（今山西永济县蒲州镇），于黄河上架设浮桥，准备渡河攻潼关。高欢恃戎马之强，年年进攻西魏，虽然未曾得手，但宇文泰知道，长此下去，实力处于劣势的西魏必然难以支持，当务之急，是要提高士气，增强战斗力，开拓兵源，扩充军队。