在打败费也头的当天夜里，尔朱兆兴致勃勃地来到高欢的营寨，要来个通夜宴饮。席间，尔朱兆向高欢请教治理他辖下的二十万六镇降户的办法。所谓六镇降户，就是参加河北起义的六镇兵民残余力量。起义失败后，尔朱荣把他们强徙到山西的并州（今山西太原地区），肆州（今山西忻县地区）一带。由于受到契胡军人的欺凌，无法生活，六镇降户经常起来反抗，前后二十六次造反。尔朱荣、尔朱兆杀死了很多人，但是骚乱仍然不断发生。所以这些六镇降户成了尔朱兆最头疼的问题。而高欢却对他们很感兴趣。他要与尔朱氏分手，苦于兵力不足，而六镇降户正是他所需要的力量。他知道凭借自己同六镇的特殊关系，不但有能力控制他们，而且能把他们训练成一支驰骋天下的劲旅。于是，高欢对尔朱兆说：“二十多万人，怎么能都杀死呢？你应该选个可靠的人把他们编制和统率起来，再有人闹事，你就惩罚这个将领。有人认真管，闹事的人自然会少了。”尔朱兆说：“好主意！可让谁来管呢？”高欢还没有说话，他的一个下属抢着提名高欢。高欢一拳打掉那个下属的牙齿，还要求尔朱兆处死他。高欢演出的苦肉计，居然骗取了尔朱兆的信任。尔朱兆把统率六镇降户的权力移交给他。高欢害怕尔朱兆酒醒后反悔，立即出营向六镇降户宣布尔朱兆的任命，并命令他们到汾水以东的阳曲川集合。六镇降户向来痛恨尔朱兆而对高欢有一定的好感，所以能够比较服从他的调遣。

　　高欢为摆脱尔朱兆的控制，借口并肆地区频岁霜旱，缺少粮食，要求带领六镇降户到太行山以东的今河北地区就食。因为事先买通了尔朱兆的左右，他的要求很快得到了满足。

　　在东去的路上，高欢将尔朱荣妻子从洛阳带来的三百匹战马劫走，还杀死了尔朱兆派遣统领降户家眷的部将。这些作法，不但壮大自己的实力，而且进一步得到了降户们的拥护。

　　普泰元年（531）二月，高欢率军经上党（今山西长治北）穿大王山，到达河北的滏口（今河北磁县西北石鼓山），驻扎下来。

　　当时，河北地区的政治形势错综复杂，尔朱氏集团和他们的反对派争夺异常激烈。尔朱氏的亲信刘诞和侯渊分别据有相州（今河北临漳县地区）和定州（今河北定县地区），控制殷州（今河北隆尧地区）大权的则是尔朱氏家族的成员尔朱羽生。反尔朱氏的力量主要集中在幽州和冀州：幽州（今北京地区）刺史刘灵助自称燕王，声言要为孝庄帝复仇。占据冀州（今河北冀县地区）的河北大族封隆之、高乾、高昂兄弟更与尔朱氏势不两立。他们杀死尔朱兆派来的监军白鹞，并将前来偷袭的尔朱羽生打败。此外还有很多坞堡势力也拒绝与尔朱氏合作。

　　高欢要实现在河北站稳脚根，最终同尔朱氏决裂的计划，就必须同反尔朱氏的河北大族建立联系，以取得他们的支持。因此，他一面自称与高乾、高昂兄弟同宗，一面放出进攻冀州治所信都的口信。由于高欢尚未脱离尔朱氏集团，河北大族搞不清楚他的真实用意。高乾特意来到滏口摸底，他劝说高欢与尔朱氏决裂，并邀请他进据冀州。这时，赵郡大族李元忠也赶到滏口。李元忠是殷州西山的大坞堡主，统领堡户多达数千家。他表示有能力控制殷州的局面，并同意归附高欢。同时尔朱氏也想拉拢高欢，通过他们操纵下的北魏政府进封他为渤海王、东道大行台、冀州刺史等职务。

　　高欢占据冀州后，开始着手对六镇降户的控制和改造。高欢极意笼络他们，自称是鲜卑人，同他们讲话也一律用鲜卑语。他还千方百计地加深六镇降户对尔朱兆的仇恨。高欢故意散布消息说，尔朱兆要把他们弄到并州去当奴仆，还要征发他们去打仗。一时间，六镇降户人心惶惶，无不切齿痛恨尔朱兆。他们表示拥戴高欢作首领，并决心跟高欢起来造反。高欢看到时机成熟，便向他们讲：“你们这些人不懂得纪律。一个军队，人数再多，没有法度迟早要垮台的。我当统帅，首先要立下纪律，不许欺负汉族人，不许违犯我的军令。”高欢说完，六镇降户全都跪倒在地，高喊道：“不管生死，一切全听将军的安排。”

　　高欢为什么向他所统率的六镇军队提出不许欺负汉人的问题呢？原来，自孝文帝从代北平城迁都洛阳以后，北魏政府对六镇鲜卑采取歧视政策，这就形成了六镇人对汉化和汉人的仇视心理和报复情绪。河北是汉人居住区，高欢要在河北立足，必须解决鲜卑人与汉人的矛盾。所以，高欢经常劝说鲜卑人要加强纪律，尊重汉人。他对鲜卑军人讲：“汉人是你们的奴婢，男人为你们种地，女人为你们织布，让你们得到温饱，你们为什么要欺负他们？”他自己以身作则，行军路过汉人农田的时候，都要牵着马，步行而过，不让军马踏坏庄稼。高欢还规定，汉族老百姓家的东西，一概不许侵犯。

　　在当时战乱的年代里，象高欢这样能注意申明纪律、约束军队的统帅，可谓是凤毛麟角了。由于高欢治军严明，他的军队的名声最初还是比较好的。同时，高欢还努力加强同河北大族的关系。他称高乾为叔父，并和自己的儿子以子孙之礼拜见他们。高欢注意尊重他们的民族感情，凡是高氏兄弟在场，他同军队讲话都改用汉语，还允许他们保留自己的军队。为消除对鲜卑军人的对立情绪，他对汉族老百姓讲：“鲜卑人接受你们的粮食和布匹，是受你们雇佣，替你们来打仗，让你们能过上安宁日子的。你们不要恨他们。”这种缓解民族矛盾的做法比较得人心。