公元525 年，柔玄镇民杜洛周在上谷起义，高欢率其心腹好友前往投奔。但不久就对杜洛周心怀不满，想谋杀杜洛周。事情暴露，差一点丧了性命。他又转投葛荣，最后投奔到了尔朱荣的门下。他为取得尔朱荣的信任，向尔朱荣献计，颠覆朝廷取而代之：“方今天子愚弱，太后淫乱，孽宠擅命，朝政不行。以明公雄武”乘时奋发，讨郑俨、徐纥而清帝侧，霸业可举鞭而成。”（《北齐书·神武纪上》）尔朱荣听了十分高兴。从此高欢受到重视，“每参军谋”。有一次，尔朱荣向左右说：“一日无我，谁可主军？”旁边的人都回答可用其侄儿尔朱兆。尔朱荣不以为然，他认为尔朱兆只可统帅三千骑，而可代他地位的人只有高欢。

　　公元530 年，尔朱荣为魏孝庄帝所杀。后尔朱兆又杀孝庄帝，另立长广王晔为帝，改元建明。高欢被封为平阳郡公。他与尔朱兆之间屡有冲突，但由于势力未丰，故只好忍气吞声与之合作。

　　当时，葛荣降户二十余万流入并、肆（山西忻县西北一带），为胡人虐待，穷困无以为生，前后进行二十六次反抗，都遭到残酷的镇压，被诛杀者将近半数。尔朱兆深以为患，问计于高欢。高欢乘机要求统帅这支降户队伍。从此，高欢摆脱了尔朱兆的控制，以六镇降户作为自己争夺权位的本钱，与尔朱兆展开了角逐。尔朱兆勇而无谋，远不是高欢的对手。公元532 年，高欢以少胜多，在邺城附近的韩陵，大败尔朱氏。不久，高欢进洛阳，废节闵帝元恭而立孝武帝元修。孝武帝封高欢为大丞相、大柱大将军、大师，世袭定州刺史。高欢实际上控制了朝政，他专横拔扈，很快与孝武帝发生矛盾。孝武帝不堪忍受，于公元534 年，西奔长安，投依宇文泰。高欢改立元善见为帝，是为孝静帝，迁都于邺。史称东魏。高欢立元善见，不过是找到另一个傀儡而已。他居千晋阳，遥控邺地朝廷。“军国政务，皆归相府”（《北齐书·神武纪下》）。

　　宇文泰，武川镇人。其祖先是匈奴族宇文部，因长期与鲜卑人相处，混杂而居，也就鲜卑化了。

　　破六韩拔陵起义时，宇文泰之父宇文肱也曾参加，但不久叛变了，杀破六韩拔陵得力将领可孤，降于北魏。后又转而投入鲜于修礼起义军中，在定州被北魏军所败，战死于阵中。宇文泰也曾随父参加过起义，后鲜于修礼被葛荣杀害，他又转投葛荣。宇文泰少有大度，工于心计，虽年仅十八岁，却得到葛荣重视，任以将帅。但他以为葛荣成不了大事，一直想叛逃。不久，尔朱荣镇压了河北起义军，葛荣被俘牺牲，宇文泰也为尔朱荣所俘，尔朱荣杀了他的三兄宇文洛生，又准备杀他。他向尔朱荣讲了自己的身世，叙说被迫加入起义军的经过，才得免一死。

　　以后，宇文泰跟从尔朱荣，在镇压北方人民大起义中逐渐显赫起来。公元534 年，尔朱荣手下大将贺拔岳被侯莫陈悦杀死，贺拔岳部众推宇文泰为主，攻杀侯莫陈悦，关西遂为宇文泰所据有。

　　公元534 年，魏孝武帝逃出洛阳，投奔宇文泰。不久，双方发生矛盾，宇文泰鸩杀孝武帝，予公元535 年另立孝文帝之孙元宝炬为帝，即西魏文帝，都长安，史称为西魏。宇文泰为太师、太冢宰，掌握着军政大权。

　　自此，依靠武力起家的高欢和宇文泰两大势力集团之间，展开了激烈的战争。一度繁荣兴盛的洛阳城，又一次化为灰烬，人民在战争中蒙受了巨大的灾难。

　　小关之战和沙苑之战东西魏之间的战争，小的不计，大的战争就有五次。小关之战和沙苑之战，都是其中较大的战争。

　　公元538 年，关中地区天灾严重，人至相食。高欢先发制人，于公元537年正月，乘机发动了对西魏的战争。令前锋窦泰率步骑万余人直趋潼关，令高敖曹率军攻上洛（今陕西商县），高欢自己则率军赴蒲坂，造浮桥三座，声言要渡过黄河。蒲坂地于黄河弯曲处，隔河与潼关相对，为河东通往关中的要冲。宇文泰为了迎战魏军，进抵广阳。面对东魏三路大军夹击的形势，西魏将领都反对舍近袭远，主张分兵迎击。宇文泰则力排众议，主张舍其余两路，集中兵力，先消灭窦泰一路。他认为高欢造浮桥准备渡河，无非是虚张声势，真正的目的是为了牵制我军主力，使窦泰军得以乘虚西入。再者，窦泰常为高欢前锋，屡战屡胜，必有骄心，不如径袭窦泰。泰军一破，高欢就不战自退了。如若先攻蒲坂，高欢扼前，窦泰袭后，那就表里受敌了。宇文泰这一作战方案，得到了他的从子直事郎中深的全力支持。

　　宇文泰为了迷惑东魏军，扬言欲保陇右，退还长安，暗地里则率军东出，日夜兼程，行抵小关。窦泰闻宇文泰军突至，自恃骁勇，赶忙从风陵渡过黄河前进。宇文泰选择了牧泽这一有利地形，四面埋伏，引诱窦泰进入泽中泥淖地重围。窦泰铁骑不得驰突，西魏军万弩齐发，窦泰军死伤大半，窦泰自己身上也中数箭，料知无法脱围，自刎而死。

　　高欢在蒲坂，闻窦泰军败，大恸，几乎晕倒，只好撤去浮桥，退回晋阳。只有高敖曹一路进展比较顺利，攻下了西魏上洛城，正欲向蓝田关进发，高欢恐孤军深入，传令招还。这一战役，历史上称为小关之战。

　　同年，东西魏之间还展开了一次大的战争。

　　这一次，是新胜的西魏主动出击，宇文泰亲自率领李弼等十二将领，以北雍州刺史于谨为前锋，连克盘豆、恒农两郡，虏俘了东魏陕州刺史李微伯及八千余名将士。黄河之北原来归附东魏的诸城也纷纷反叛，归于西魏。高欢即发兵二十万，由壶口直趋蒲津（黄河津渡，在山西永济境），令高敖曹将兵三万出河南，迎战西魏军。