平吴后，“自以大族，恃帝恩深”的荀勖，对张华“憎恶之，每伺间隙，欲出华外镇”。晋武帝起初并未听信荀勖谗言。有一次，晋武帝问张华谁可成为辅政大臣的合适人选，张华回答说：“明德至亲，莫如齐王攸，宜留以为社稷之镇。”而武帝一直猜忌其弟齐王攸，不欲他权势过重，而想出齐王攸之国。张华的意见当然不合圣意，故“微为忤旨，间言遂行”，遂于太康三年（282）春正月，出任使持节、都督幽州诸军事，领护乌桓校尉、安北将军。

　　张华到镇前，鲜卑慕容涉归大肆侵掠辽西，占领昌黎。张华一到镇，即于三月派安北将军严询征伐慕容涉归，在昌黎附近大败之，杀伤数万人。张华在军事胜利后，并未继续穷兵黩武，以武力征服作为调整民族关系的杠杆，而是以安抚来使慕容氏款服。慕容涉归子慕容廆往谒张华，张华以礼相待，“以所服簪帻遗廆，结殷勤而别”（《晋书·慕容廆载记》）。正由于张华“抚纳新旧，戎夏怀之，东夷马韩、新弥诸国依山带海，去州四千余里，历世未附者二十余国，并遣使朝献。于是远夷宾服，四境无虞，频岁丰稔，士马强盛”。

　　张华在外藩取得的出色政绩，得到朝野人士的赞赏。时朝议欲征召张华入朝，任为尚书令，进号开府仪同三司，这一动议使贾充党羽侍中冯紞不安。冯紞曾反对伐吴，“吴平，紞内怀惭惧，疾张华如仇”（《晋书·冯紞传》）。加之张华曾对武帝非议过冯紞的哥哥冯恢的品行才能，所以冯紞利用“深有宠于帝”的地位，对张华竭尽中伤之能事。冯紞曾侍从武帝，借议论锺会叛乱说：“臣以为锺会之所以叛乱，颇与太祖（司马昭）有关。”武帝听后大为不解，问冯紞缘由。冯紞回答说：“锺会才浅识薄，而太祖却夸奖太过，称赞他有谋略，授以高官显爵，使他处于要帅重地，掌握精兵强将，因此使锺会自以为谋略万无一失，却功名不符，未受重赏，遂心怀不满，飞扬跋扈，起兵反叛。”武帝听后表示赞同。冯紞又进一步说：“既然陛下已经同意我的看法，那么就应以冰冻三尺，非一日之寒为诫，不要让像锺会那样的人再重蹈覆辙。”武帝问：“现在还有像钟会那样的人吗？”冯紞让武帝屏退左右后，遂以隐喻的方式诋毁张华说：“过去曾为陛下出谋献策，为国家建立了大功的大臣，可谓人人皆知。现在出据方镇、掌握军队的人，陛下都应对其严加防范。”于是武帝遂“纳冯紞之间，废张华之功”（《晋书·五行志》），非但未采纳朝议征召张华为尚书令，反而剥夺了张华的方镇统兵权，以重儒教为由，任命他为有职无权，形同虚设的太常卿。不久后，又以太庙屋栋折为由，免张华官。而后一直到武帝死，张华始终郁郁不得志，未任职官，仅“以列侯朝见”，尽管这样，他仍能做到宠辱不惊，既不为自己申理称冤，又不以牙还牙，以眼还眼，与佞幸小人争一日短长。

　　武帝死后，惠帝即位。张华的处境稍有好转。永熙元年（290）秋八月，惠帝立其子广陵王司马廆为皇太子，是为愍怀太子。惠帝“盛选德望以为师傅”（《晋书·愍怀太子传》），张华因而被任为太子少傅。当时杨太后的哥哥杨骏操持朝政，他“自知素无美望”（《晋书·杨骏传》），所以对张华等德高望重的大臣，猜忌而“皆不与朝政”。张华心胸豁达，没有为此而耿耿于怀。永平元年（291）三月，贾后与汝南王亮、楚王玮合谋诛杀杨骏，又欲废杨太后为庶人。在朝议时，群臣“皆承望风旨”，赞成废黜太后。张华则既不以贾后旨意为己见，又不计多年来官场失意之恩怨而对武帝遗孀杨氏落井下石，他认为“夫妇之道，父不能得之于子，子不能待之于父。皇太后非得罪于先帝（武帝）者也。今党其所亲，为不母于圣世。宜依汉废赵太后为孝成后故事，贬太后之号，还称武皇后，居异宫，以全贵终之恩”。尽管他的意见未被采纳，其为人之坦荡正直却由此可见一斑。

　　辅佐朝政杨骏被诛后，统治阶级内部再次出现权力再分配的矛盾。当时政出多门，权柄不一。大司马汝南王亮和太保卫瓘二公辅政，权倾朝野。野心勃勃的贾后虽挟持昏主惠帝，有皇权这张王牌，却因二公执政而不能专恣。元康元年（291）六月，贾后让惠帝手写密诏，指使卫将军楚王玮诛杀了汝南王亮和太保卫瓘等人。但局势却一发而难以控制，时“内外兵扰，朝廷大恐，计无所出”。为了维护至高无上的皇权和统治秩序的稳定，张华明知楚王玮并非矫诏而杀二公，仍参与了贾后在诏书问题上大作文章的密谋。他派人对贾后说：“楚王既诛二公，则天下威权尽归之矣，人主何以自安！宜以专杀之罪诛之”（《资治通鉴》卷八二），又亲自劝说惠帝：“玮矫诏擅害二公，将士仓卒，谓是国家意，故从之耳。今可遣驺虞幡使外军解严，理必风靡。”贾后遂用张华计，“遣殿中将军王宫说玮矫诏，乃收玮诛之”（《晋书·楚王玮传》）。事后，张华以首谋有功，拜右光禄大夫、侍中、中书监、金章紫绶。

　　张华受皇权至上观念的支配，主观上为了巩固和加强皇权而参与了诛杀楚王玮的密谋，这从封建道德观念的角度看，是无可非议的。但在客观上，他的这一行为却有助纣为虐之嫌，在一定程度上玷污了他的洁身自好的名誉。献计诛杀，不仅背离了他所奉行的“委命顺理，与物无患”的处世准则，而且也使他再次卷入名副其实的朋党之争中，不得不与贾后一党相沉浮。贾后则出于扩大自己政治势力的考虑，认为像张华这样出身庶族，宗族势力薄弱，“儒雅有筹略，进无逼上之嫌，退为众望所依”的人，是辅政大臣的最佳人选，而对张华“依以朝纲，访以政事”。从而使张华在政争中处于进退维谷的地位，以至于愈陷越深，难以自拔。为了宠络和控制张华，贾后不顾张华十余次推让，进封他为壮武郡公。元康六年（296），又晋升他为司空，领著作。