永熙三年（534）五月，魏孝武帝下诏调发河南诸州兵，声言要亲自进攻南方的萧梁王朝，而实际上是想突袭晋阳，搞掉高欢。

　　魏孝武帝同高欢关系紧张，发生在一年以前。几个对高欢专权不满的朝臣向孝武帝建议加强禁卫军，以防备晋阳。本来就不愿受高欢摆布的孝武帝，很快按照他们的意见设置了都督部曲，并大量选拔骁勇，增允武直，还把一部分军国大权转移到高欢的反对派手里。同时，他还秘密地和拥兵关陇的贺拔岳建立联系，任用贺拔岳的哥哥贺拔胜都督荆州等七州的军事。不久，孝武帝杀死在朝中任司空官职的高乾，撤销高欢亲信韩贤建州刺史的职务，将高欢安插在洛阳的党羽一一地清除掉。

　　高欢识破孝武帝的用心，立即调集二十四万大军，声称应诏南讨，分兵四路，大举南下。七月，高欢引军渡河，迫使孝武帝丢弃洛阳，亡命长安，投奔到贺拔岳的继任者宇文泰那里。八月，高欢占据洛阳，大肆屠杀反对派。但孝武帝的西走，也使高欢失去了政治资本。他前后写过四十多封信件，请求孝武帝东还，均遭拒绝。十月，高欢改立年仅十一岁的元善见为帝，是为魏孝静帝。不久，他以洛阳处以四战之地，难以为都，下令北迁邺城。高欢命令下达后三天，洛阳城民四十万户被驱出家园狼狈就道。高欢留在洛阳处理后事，事毕还晋阳，从此军国大权一概归入相府。北魏被一分为二，以邺城为都的北魏王朝居于宇文泰制下的北魏长安王朝的东方，故史称东魏。东西对峙，败多胜少天平二年（535），高欢镇压了并、汾地区的刘蠡升起义。孝昌年间（525—527），受六镇起义的影响，居住在离石（今山西离石）以西，安定（今甘肃泾川）以东广大山区的稽胡族人民不堪政府压迫，在刘蠡升领导下举行起义。刘蠡升自称天子，在汾州境内的云阳谷一带建立政权。刘蠡升力量日益发展，对以并汾为基地的高欢造成严重威胁。高欢先后三次发重兵进行讨伐，甚至不惜采取欺诈手段，终于将义军战败。赵蠡升被杀，五万多户胡汉人口被高欢俘获。

　　魏孝武帝逃到长安后不久，与宇文泰发生矛盾，被毒死。宇文泰改立元宝炬为帝，是为西魏文帝。宇文泰以丞相的职务控制大权。西魏同东魏比较，在经济、军事实力方面处于明显的劣势。高欢建立东魏后，有志消灭西魏统一北方，开始频繁地向西部用兵。

　　天平三年（536）正月，高欢亲自率领一万骑兵袭击西魏的夏州（今内蒙乌审旗南），逼降其刺史斛拔俄弥突。不久，高欢又派兵将准备投降的西魏灵州刺史曹泥、凉州刺史刘丰解救到东魏。两次战争高欢共虏获西魏一万多户人口。

　　西魏大统二年（东魏天平三年）是关中地区的大灾年，“人相食，死者什六八”（《资治通鉴》卷一五七）。高欢利用这一有利形势，在当年年底大举进攻宇文泰。他以大都督窦泰趋潼关，以司徒曹昂包抄蓝田，自己亲率主力进屯蒲坂。次年正月，宇文泰抓着东魏军队骄傲轻敌的弱点，潜军出小关，突袭窦泰。攻潼关的东魏军没有防备，结果全军覆没，窦泰兵败自杀。高欢听到窦泰的败讯，急忙拆掉为渡河而建置的浮桥，撤军而还。不久，高昂也身受重伤，返回东魏。

　　天平四年（537）九月，高欢不甘心小关的失败，选择宇文泰东出潼关到恒农（今河南灵宝北）“就谷”之机，一面派高昂围攻恒农，截断宇文泰的归路，一面亲率十万大军，自蒲津（今山西永济西）而西，先后渡过黄河、洛水，屯军许原，准备一举攻陷长安，消灭西魏政权。但是，高欢没有想到，宇文泰会很快摆脱高昂，引兵入关，又轻骑渡渭，将大军隐蔽在渭曲沙苑（今陕西大荔南）一带。高欢的部将由于地理环境不熟，且又麻痹轻敌、纪律涣散，结果二十万之众竟然被不足一万的西魏人马打败。这一战是高欢统兵历史上所遭遇的最惨重的失败，全军将士死伤八万余人，各类武器、铠甲损失十八万多件。

　　沙苑之战后，宇文泰在关中陇上地区的统治得到进一步巩固，高欢逐渐丧失对西魏的战略优势，靠东魏的力量统一北方的目标已很难实现。东西魏对峙的局面正式形成。

　　高欢退军后，西魏乘胜攻占了蒲坂和洛阳的金墉城。元象元年（538）七月，高欢得知宇文泰与魏文帝要来洛阳祭拜园陵，遂命令侯景、高昂率军反攻金墉城，自己亲率大军担任后继部队。宇文泰亲自赶来救援守城的西魏军队，在河桥（今河南孟县西南）被侯景打败，几乎被俘。但西魏大军及时赶到，反败为胜。高昂全军覆没，本人为追兵所杀。河桥一役，东魏将士被俘一万五千余人，落水而死的近万人。

　　高欢在同西魏的几次大战中连续告败，具体原因因战争而异，各不相同，但都是次要的原因。政治上的逐渐腐败，官吏贪污成风，东魏境内阶级矛盾、民族矛盾不断激化，才是造成这一结果的根本原因。

　　东魏立国之初，高欢也想对北魏末年泛滥成灾的腐败吏治予以廓清。天平二年（535），他为在邺城的文武百官规定了给禄标准，并派人检查各州郡县政府官吏执法的情况。但是，随从高欢起家的鲜卑族权贵不顾禁令，依然肆意贪污，高欢无可奈何。有个叫杜弼的行台郎中实在看不过去了，要求高欢惩办贪官污吏。高欢对他说了实话：“官场上贪污的风气，由来已久。武将中有很多人因家眷在关中，受到宇文泰的招诱，去留未定。江南的萧衍专搞礼乐制度，对汉族士大夫有很大的吸引力。我如果对他们过分强调纲纪，不予宽容的话，一旦都离我而去，我怎样立国呀？”等到杜弼再来提建议时，高欢则翻了脸。他命令士兵把弓拉开，刀竖起来，让杜弼从刀锋箭头中间钻过去，然后对杜弼说：“箭也不射你，刀也不砍你，你还害怕。我的军人们却是真刀真枪，百死一生，功劳这么大，贪污点算什么！”高欢以放纵贪污立国，使东魏的吏治、官风腐败到了极点。