解缙却似乎并无明显觉察，他的书生气并没有改掉多少。这一年饶州鄱阳教书先生朱季友将所著批评宋儒之书上呈，解缙知道后大怒，坚决要求将“谤毁圣贤”的朱季友置于法。结果朱季友被押还乡里，杖一百，销毁所著文字，不许称儒教学。解缙很有些儒家正统卫道士的味道，他见到汉王宠遇日隆也要站出来讲话：“是启争也，不可。”这都是朱棣最不爱听的话，他给予汉王宠遇也有些出于无奈，“靖难”中为使汉王拚死出力，他曾暗示许以立储，如今未能兑现，难免有所容让，解缙却偏要揭穿这件隐私，朱棣自然十分恼火，骂他“离间骨肉”。再加上朱高煦等人不断进谗，解缙渐遭疏远，最终成为这场夺嫡斗争中的牺牲品。

　　据《明史》记述，“四年赐黄淮等五人二品纱罗衣，而不及缙”。似乎由此而表现出矛盾公开化。但据《明太宗实录》记，永乐四年（1406）三月初一，朱棣亲临太学致祭奠礼，同一天，“赐翰林院学士兼右春坊大学士解缙等六员二品金织罗衣各一袭”①。这是解缙在朝时最后一次赐衣。第二年再赐黄淮等人西洋及高丽布时，解缙已被出为广西参议了。

　　解缙的出任是很突然的。永乐四年（1406）三月，他还主持了会试和廷试，他同祭酒胡俨一同去观放进士榜时，还在一起开玩笑，说：“大丈夫必得黄榜书名可耳。”因为胡俨不是甲科出身，胡俨也开玩笑相讥道：“彼固① 《解文毅公集》卷十《莲竹轩记》。

　　① 《明太宗实录》卷五二，永乐四年三月辛卯。

　　亦有侥幸得之。”②此后便发生了解缙反对出兵安南之事。如果说解缙在立嫡问题上的所为还是针对汉王其人的话，那么反对出兵安南则是与朱棣直接的矛盾，而朱高煦等人则将解缙立储之议传播开来，并反告解缙泄禁中语，书生气十足的解缙便抵挡不住了。这些才是解缙被出任外职的直接原因，至于说他廷试读卷不公，则只是找寻藉口罢了。也有人说此事与黄淮有关，黄淮“量颇隘，同列有小过，辄以闻”①。

　　惨死狱中永乐五年（1407）二月，解缙出任广西布政司右参议，离开了内阁近侍的位置。这是一次很奇特的改任，带有明显的贬黜性质，因此史书中大都将此记为“谪贬”。但是《明太宗实录》中用了一个“黜”字，这似乎更准确些，因为解缙是从正五品的翰林学士出任从四品的布政司参议，从任官品秩变化看，还不能说是谪贬。当时胡俨也由内阁改任祭酒，这二者当然不能相比，但明朝的史家则将他们并记为阁臣外任的例子。②像解缙这样一个书生气十足而又树敌颇多的人，一旦离开近侍的位置，他的厄运也就开始了。

　　解缙整装上路，礼部郎中李至刚却又告他“怨望”。解缙虽然也可能会有些牢骚不羁之辞，但李至刚的做法则是明显的报复。当初朱棣曾书写了一些廷臣名字，让解缙评论，他一一作了实事求是的评论。别人大都有赞有贬，惟独李至刚，只是“诞而附势，虽才不端”，基本上否定了。李至刚的报复使解缙被改官交阯，督饷化州。

　　关于这次改任交阯的记述有些含混，因为直到这一年六月初一才正式设置交阯布政使司，解缙却不可能拖延到六月再行，因此当时解缙很可能是以广西布政司参议的身份去督饷化州。

　　解缙似乎也并不在意这次出任，离开朝廷反而使他恢复了文人性格，他在交阯三年，除去公务之外，依然是撰文赋诗，与友人唱和。

　　永乐八年（1410）解缙入京奏事，当时正值朱棣北征，未在京师，他谒见过监国的太子朱高炽后便回交阯去了。朱棣是十一月回到京师的，汉王朱高煦便告解缙“伺上外出，私觐太子，径归，无人臣礼”。汉王的目的在攻击太子，但结果是置解缙于死地。

　　朱棣早在永乐七年（1409）二月便已离开京师前往北京；解缙不应不知道，他却在第二年赴京，又恰恰在朱棣归京师前夕离去，这一巧合也给汉王的诬陷提供了依据。

　　解缙离京后，道由江西、广东往交阯，一路上同翰林检讨王偁游览山川名胜，吟诗作赋，甚至为人撰写墓志，丝毫没有预感到祸之将临。途经广东时，因交通不便，他又忽萌开凿赣江（章江）的念头，并且写成奏疏上呈。朱棣回京后得到朱高煦的奏报已经十分恼怒，随即又接到解缙请凿赣江的奏疏，他怒道：“人臣受事辄引而避去，乃更欲劳民如此！”①命逮解缙、王偁下诏狱。

　　② 叶盛：《水东日记》卷二《解胡观放榜对答》。

　　① 夏燮：《明通鉴》卷十九，宣宗宣德二年八月甲子。

　　② 王世贞：《弇山堂别集》卷七《阁臣外任》。

　　① 查继佐：《罪惟录》列传第二十《解缙传》。

　　这是永乐九年（1411）六月，解缙的仕宦生涯结束了，从此开始了他长达三年半的狱囚生活。

　　解缙初入狱时曾遭到严刑拷打，因而辗转牵连到大理丞汤宗，宗人府经历高得旸，中允李贯，赞善王汝玉，编修朱纮，检讨蒋骥、潘畿、萧引高及李至刚等人，都被逮入狱。王偁、王汝玉、李贯、朱纮、萧引高、高得旸等人先后瘐死狱中。

　　掌锦衣卫诏狱的都指挥佥事纪纲是个凶残的酷吏，但他是诸生出身，颇好风雅，对解缙的才学久有所闻，渐渐与他熟识起来，解缙在狱中便不再多吃苦头。按照解缙的性格，这狱中三年应该有不少诗文之作，但文集中却鲜有所见，只有一篇《翰林蓝君日省墓志铭》，从行文中可知作于永乐十一年（1413），正是他在诏狱中时。①另有一首题为《忧患中寄友》的诗写道：“手扶日月归真主，泪洒乾坤望掖庭。身死愿为陵下草，春风常护万年青。”②可能也是狱中之作。