1218 年年底，楚材扈从成吉思汗西征，基本上随同大本营一起行动。他经常担任的工作有两件，一是汉文书记，二是星象占卜。此外，他还在塔剌思城管理过河中豪民子弟屯田，但为时不久。他对天象的解释和对人事的预卜，深得笃信萨满教的成吉思汗的信任。据汉文史料的记载，西征班师也是因为成吉思汗听了楚材对异象的解释。当成吉思汗进至东印度铁门关，他的侍卫遇见一头怪兽，鹿形马尾，绿色独角。这头怪兽对侍卫说：“你的君主应当及早回去。”成吉思汗听到侍卫的报告，感到奇怪，询问楚材。楚材说：“这兽叫角端，是‘恶杀之象’，是上天派来告示陛下的。望陛下听承天心，宽宥人命，这是陛下‘无疆之福’。”成吉思汗听了这个解释，第二天就下诏班师了。不过据波斯史料的记载，成吉思汗班师是由于遇到了大山阻隔、气候不良和疫病流行。同时，楚材实际上执掌天文历算的事。他从东亚来到中亚，发现地上的距离与天象的出现有直接联系。他从而提出“里差”（即现在所说的“经度”）概念，并根据这个概念来“改作”历法，编订了一部《西征庚午元历》。所以他是在中国首先提出和使用“经度”概念的人，几十年后，苏天爵在此基础上又发展出了“地方时”的概念。

　　自然，楚材本人并不满足于充当占卜术士，因为他的主要愿望是企图使成吉思汗采纳自己的一套以儒治国的方案。可是，成吉思汗热衷于无休无止的军事征服，只想维持大蒙古原有的社会政治制度，对楚材的治国方案没有什么兴趣。因而，楚材在西征途中甚至找不到“陈书自荐”的由头，郁郁不得其志。

　　在河中，楚材感到悠闲和寂寞。他竟然在兵燹后的中亚土地上过着读书操琴、艺圃耘蔬的生活。他时常怀念中原的友人和家人，尤其是他的母亲。他和万松频通音讯，以求精神上的寄托。有时与故友相逢，便在殊景异情中畅叙欢饮。这里特别值得一提的是他与长春真人的交往。

　　与邱处机的交往和《西游录》1222 年四月，全真教掌教人邱处机奉成吉思汗的召请抵达大汗的行营。

　　耶律楚材和邱处机同在西域时，往来较密切。他们两人，一个是正当壮岁的佛教居士，一个是年已垂暮的道教真人，虽然如此，当时在政治意向上却是共通的，那就是力图使成吉思汗终止战争，建立正常的统治秩序和社会生活。所以，两人两域相遇后，一度颇为融洽友好，常常在一起交游。彼此唱和的诗句不在少数，其中有一部分还保存在楚材的《湛然居士文集》和李志常所撰的《长春真人西游记》之中。但是两人的交谊后来竟破裂了。释道两家，本不相类，这个宗教信仰的矛盾后来在两人之间的关系上表现得很清楚。邱处机在1224 年春回到燕京后大力发展全真教势力，这在当时条件下对于抚定乱离中的百姓、恢复中原的残破局面客观上起了一定作用。但与此同时，道徒们拆毁佛寺，改佛寺为道观，排斥和打击佛教势力，这就引起了佛、道之间激烈的斗争。楚材作为一个佛教信徒，他自然站在佛门一边对邱处机偏袒全真教的言行进行了严厉的抨击。

　　当1225 年春成吉思汗回到土兀剌河上老营时，楚材还在西域，这年他在高昌过冬。第二年成吉思汗亲征西夏时，楚材已在大军之中。冬十一月，蒙古方面攻下灵武，将军们争着掠取子女财帛，唯独楚材仅仅拿了几部书以及两骆驼驮的大黄。接着疫病流行，他以这些大黄治愈了几万名军士。1227 年七月成吉思汗去世，第四子拖雷监国。不久，楚材从西夏经云中（今山西大同）北返。这年冬天，楚材奉拖雷之命，为搜索经籍从漠北来到燕京。不断有人向他询问“异域”事情，他烦于应付，并鉴于当时佛道斗争的需要，就撰著了《西游录》。

　　《西游录》分上下两部。上部是西征纪程，下部集中阐述自己十件“不许丘公之事”，对邱处机大加抨击，所以这部分，又是当时佛道斗争的重要文献。

　　楚材酷爱诗歌，也喜欢写诗。他有一部《湛然居士文集》传世，共14卷，文章并不多，大半是诗作。他在诗中经常抒发自己忧国忧民、守穷待变的心情和不安疏懒、勉力功业的志趣。在西域的经历和感受，也不时在他的诗作中反映出来。西域的景物和民情给了他许多诗意，使他写下了一些情趣独具的诗篇，在古代西域诗歌中占有重要地位。此外，他的音乐禀赋也很高，擅长操琴，常常借弹琴来销忧禁邪，陶冶情操。他喜欢弹名曲，且弹时别具一格。例如，他在冷气袭来的穹庐弹《离骚》，“个中真味”，确是与一般汉族士大夫不尽相同的。琴阮似是他最深的精神栖息之处。当他感到功业未就，甚至诗书乏意的时候，依旧以音乐伴随着他的身心。在艺术上，他主张一切出于自然，这自然甚至归诸“无”。“叩弦声自无中出，得勾思从天外还。”这两句诗集中表达了他的艺术观。

　　1228 年，拖雷派宗王塔察儿为中使，同楚材一起赴燕“穷治”“剧贼”。楚材查明这些强索财物的“剧贼”都是燕京长官石抹咸得卜的亲属和其他势家子弟。在楚材坚持下，塔察儿同意处死了首恶十六人。于是“巨盗屏迹”，燕京的社会秩序很快安定下来。第二年春天，楚材才从燕京返回漠北。

　　1229 年秋天，蒙古国的宗王和大臣们在怯绿连河曲雕阿兰地方举行忽里台（大会），讨论汗位继承问题。大会进行到第四十一天时，才确定当天由窝阔台即位。这主要是根据成吉思汗的遗言办事，但看来楚材的支持也有一定的作用。在窝阔台即位时，楚材依照中原王朝的传统制订了册立仪礼，要求皇族尊长都就班列拜，从此蒙古国实行对汗的拜礼。