1254 年，忽必烈于份地京兆立宣抚司，劝农兴教，遣使征衡为京兆教授。衡应聘赴职，来学者甚多，其所著《小学大义》即此时教授学徒的讲义。次年，由宣抚使廉希宪保奏，令旨命衡为京兆提学，再三推辞不受，获准，返回家乡（据《考岁略》）。

　　上《时务五事》疏中统元年（1260）忽必烈即位，衡应召至开平朝见，遂留居燕京。二年，奉召再至开平。时忽必烈方倚重平章政事王文统秉政，窦默上书言不可重用功利小人，又面斥文统学术不正，必将误国，不宜久居相位②；忽必烈问谁可① 《鲁斋遗书》卷六。《考岁略》谓“己酉，先生年四十一..是岁有《读易私言》”。又云“先生著述..曰《读易私言》，是先生五十后所作”。皆与此不合。

　　② 据欧阳玄撰《许衡神道碑》，（《斋圭集》卷九），窦默之言实出于许衡。为相，默荐许衡，忽必烈不悦而罢。文统疑许衡唱和窦默之说，乃奏授默为太子太傅，姚枢为太子太师，衡为太子太保，意在将他们搁置于虚位，使其不能在皇帝左右参议中枢政务。衡以此事不仅不合义理（时太子尚未立），且在当时朝廷也不可能实行太子尊师的古制，说服窦默相与力辞不受，于是改授默为翰林侍讲学士，枢为大司农，衡为国子祭酒。当时尚未置国子学，祭酒也是虚职，衡受命后不久，即称病辞去，遂改命为怀孟路教官，许还乡执教。

　　三年九月，奉召至燕京，寓居道观。时王文统已败，姚枢、窦默均已起用，独衡未有新任命。他不登权贵之门，仅与姚、窦交往。至元元年（1264）初，复还怀州。二年十月，再召至燕（时已改中都），命入中书省议事，但未授官职，衡称病推辞。丞相安童素闻其名，访之于寓所，甚加敬重。三年二月，忽必烈召见，面谕他入省议事，辅导安童，若有所建言可先告安童转奏，其“名分”（官职）俟朝廷斟酌授予。四月，又召至上都询问政事，衡遂奏上《时务五事》疏，一曰“立国规模”，论当行汉法方能长久统治；二曰“中书大要”，论用人、立法之方；三曰“为君难”，分别陈述了“践言”、“防欺”、“任贤”、“去邪”、“得民心”、“顺天道”六事；四曰“农桑学校”，论须优抚农民，劝课农桑，自京师至州县皆立学校，使仓廪充实，人民皆知君臣父子之伦；五曰“慎微”，论使臣下各安本分，崇尚退让，在上者则要慎喜怒，守信用①。这篇奏疏引古证今，指摘时弊，提出对策，论析比较透彻，是许衡最重要的一篇政论。他的许多奏稿都自己毁弃，独保存此篇。但面见后，忽必烈仍未授以具体职务，不久他就因病不再赴省，获准回乡养病。

　　四年九月，复授衡为国子祭酒；十一月，征至中都备顾问。六年，奉旨与刘秉忠、张文谦、王恂等同议朝仪官制，取古今制度加以损益，奏上。七年正月，擢为中书左丞。他提出三条理由表示不敢承受，一是非勋旧，不足以服众；二是无德才，不能当此重任；三是“臣之所学迂远，于陛下圣谟神算未尽吻合，陛下知臣未尽，信臣未至，直以虚名误蒙采擢。臣若不自度，冒当圣眷，其旋至悔咎必矣”。前二条都是虚文，只有第三条说出了他的真实思想。当时忽必烈急于增加财政收入，讲求功利，对许衡大讲义理王道，谓当期事功于三十年之后的议论不感兴趣，以致在听取他的长篇奏疏时流露出倦意；而且至元三年置制国用使司，七年初改立尚书省，委任阿合马总掌财政、民政，中书省权力已大为削弱。这都使许衡感到难以实行其政见。但他的辞职未获准许。五月，他弹劾阿合马专权、害民数事；又言阿合马所委尚书六部官多用人不当。阿合马欲以己子掌兵政，衡又言父子不宜兼掌兵、民、财三权，为此在忽必烈面前与阿合马激烈辩论。在当时诸相臣中，许衡确是尤为“切直敢言，不以荣贵为心者”，然而他的建议却都未被采纳施行，由是忧惶日深，病亦增剧，遂力辞左丞职①。

　　掌教国子学至元八年三月，改授为集贤大学士兼国子祭酒。在此之前忽必烈已选蒙① 《时务五事》疏第五条后多删削，《鲁斋遗书》所收者较《元文类》卷十三多出六则，然文亦不全。① 王恽：《论左丞许公退位事状》，《秋涧集》卷八六。

　　古贵族子弟数人命衡教授，衡荐召门生王梓等12 人为伴读；至此正式设立了国子学（以南城旧枢密院为学址），增置司业、博士、助教各一员，选随朝蒙、汉百官、近侍子弟充生徒。衡亲执教事，以所召门生分任各斋斋长。开学以来，他将家事尽付其子师可，专意教学，宾客来学中访问者一概谢绝。其所教授，先以朱子《小学》一书，讲书章数不务多而重在理解，每每引证设譬，浅显明了，必使通晓而后已，并问诸生“此章书义若推之自身、今日之事，有可用否”，欲其践行而不贵徒说。课余则令蒙古生年长者习朝仪、典礼，小学生习跪拜揖让进退应对之礼节，或投壶习射。为使蒙古生学习算术，取唐尧至宋历代世次年数编为《编年歌括》，命诸生记诵加减之①。这套教学内容和方法很适合初习汉文和儒学的蒙古学生，对改变他们的蒙古旧习，使其了解中原儒家文化和治国方法，以培养统治人才，起了很大作用。诸生中后来成为宰辅大臣者近十人，各部官及地方长官者又数十人，尽管他们的进身多由家世根脚，并非因为有国子学学历，但他们都喜欢炫耀曾在国子学受过许衡教导的经历。