后来，刘琨历职太尉掾、著作郎、太学博士和尚书郎。赵王司马伦执政，刘琨父子兄弟以赵王姻亲并被委以重任，从而卷入了“八王之乱”的漩涡中。司马伦篡位，刘琨迁太子詹事。齐王司马冏、成都王司马颖、河间王司马颙聚兵数十万进攻洛阳，刘琨奉命与孙会率领三万宿卫兵迎战司马颖于湨水，大败而还。司马伦失败后，入朝辅政的司马冏因刘琨父兄名望很高，故不加罪，并且以其兄刘舆为中书郎，以他为尚书左丞，转司徒左长史。及司马冏败，范阳王司马虓引之为司马。东海王司马越执政，以司马虓代刘乔为豫州刺史，刘乔举兵抵抗，刘琨率领突骑五千救虓，因兵败与虓俱逃往河北，父母却陷于刘乔。司马虓领冀州，刘琨到幽州向王浚借突骑八百，渡河击败刘乔，才救还父母。接着，刘琨又与虓连败司马颖部，以功封广武侯，封邑二千户。在“八王之乱”中，刘舆、刘琨兄弟陷得很深，充当了这群杀人魔王的帮凶。

　　光熙元年（306）九月，刘琨出任并州刺史、加振威将军，领护匈奴中郎将。这是刘琨生活道路上的一个转折点。

　　魏晋以来，匈奴、羯人大批内迁并州。西晋统治者残酷奴役少数民族人民，激起他们的仇恨和反抗。并州，成了民族矛盾斗争的焦点。匈奴贵族刘渊利用匈奴族人民的情绪，以兴复旧业为号召，自称汉王，起兵反晋。他们驱逐了西晋并州刺史司马腾，占据了并州的大部分地区。但是，如果说他们在开始时还具有反抗西晋民族压迫的性质的话，那么，当他们在并州建立割据政权，推行倒行逆施的民族报复政策以后，这种性质就已经改变了。

　　刘琨在赴任的途中上表朝廷说：“九月末得发，道险山峻，胡寇塞路，辄以少击众，冒险而进，顿伏艰危，辛苦备尝，即日达壶口关。臣自涉州疆，目睹困乏，流移四散，十不存二，携老扶弱，不绝于路。及其在者，鬻卖妻子，生相捐弃，死亡委危，白骨横野，哀呼之声，感伤和气”。这如同一幅撕人心肺，催人泪下的悲惨图画！

　　刘琨出镇并州，是其兄刘舆的主意，是作为司马越篡权的一个步骤①，但是，历史把他引上了抗击少数民族反动统治者的战斗道路，使他的后半生多少闪现出一些光彩来。他写有一首题为《扶风歌》的诗，记述了行程的艰难，抒发了对攻局的不满和忧虑，从中可以看出刘琨思想感情的变化。诗云：“朝发广莫门，暮宿丹水山。

　　左手弯繁弱，右手挥龙渊。

　　顾瞻望宫阙，俯仰御飞轩。

　　据鞍长叹息，泪水如流泉。”

　　① 《晋书·刘琨传兄舆附传》。

　　① 《晋书·刘琨传兄舆附传》：“（东海王越）以为左长史。越既总录，以舆为上佐..舆乃说越，遣琨镇并州，为越北面之重。”

　　“去家日已远，安知存与亡。

　　慷慨穷林中，抱膝独摧藏。

　　麋鹿游我前，猿猴戏我侧。

　　资粮既乏尽，薇蕨安可食。”

　　“惟昔李骞期，寄在匈奴庭。

　　忠信反获罪，汉武不见明。

　　我欲竟此曲，此曲悲且长。

　　弃置勿重陈，重陈令心伤。”

　　刘琨带领招募来的千余人，跋山涉水，冲破汉刘渊部的重重障碍，终于在元嘉元年（307）三月转战到了晋阳（今太原）。

　　这时，经历了战乱和饥馑洗劫之后，并州已经剩下不到两万人户，而晋阳仅是一座空城，“府寺焚毁，僵尸蔽地，其有存者，饥羸无复人色，荆棘成林，豺狼满道”。即便如此，刘渊的部众还常常来骚扰抢掠。在这种极端困难的条件下，刘琨安抚百姓，招徕流民，一面加强军事防御，一面抓紧生产自救。老百姓携带着武器下地耕耨，士兵在周围警惕地守卫。虽然也偶尔发生战事，但社会秩序相对稳定，生产得到恢复。不到一年光景，这块荒芜的土地又有了生气，流亡在外的人民群众逐渐返回家园，鸡犬之声重新连成一片了。

　　独力难撑危局晋阳南面是强大的匈奴汉政权，北面是正在崛起的拓跋鲜卑，东面是依仗段部鲜卑支持的西晋幽州刺史王浚。而刘琨的统治仅局限于晋阳及其附近，兵力很少，处境仍然十分艰难。

　　永嘉二年（308）十月，刘渊在蒲子称帝。十一月，刘琨派遣庞淳攻占壶关，打败刘渊的将领綦毋达。然而，次年七月，刘渊派刘聪和王弥领兵争夺上党，包围了壶关。刘琨以护军黄肃、韩进驰援，二将俱战败牺牲，上党太守庞淳投降，壶关得而复失。后来，刘琨再派都尉张倚领上党太守，疾速进据襄垣，又调动赵拟、李茂等将领继之，三支部队协同作战，夜袭汉军，汉军一时措手不及，丢掉辎重逃窜。张倚等乘胜追击，俘获不少，但仍然没有夺回壶关。

　　由于刘渊势力日益强大，匈奴铁弗部刘虎和白部鲜卑都归附了刘渊，致使晋阳陷于腹背受敌的困境。刘琨决定兴兵讨伐刘虎和白部鲜卑，以解除后顾之忧，但他自己的兵力不足，只得卑辞厚礼向拓跋鲜卑请求援兵，拓跋鲜卑首领猗卢派来两万骑兵助战。在刘琨的亲自指挥下，一举打败了刘虎和白部鲜卑。

　　当时，拓跋鲜卑正当发展阶段，渴求向内地发展，刘琨引鲜卑兵为授，一是导致了拓跋鲜卑的内侵，二是引起与王浚的矛盾。刘琨感激拓跋鲜卑的支援，遂与猗卢结为兄弟之盟，并表请朝廷署猗卢为大单于，以代郡封之为代公。代郡地属幽州，王浚大为不满，发兵击猗卢，但反被打败，由此王、刘关系破裂。以后，猗卢嫌代郡悬远不便，要求进入陉北之地，刘琨既无力制止，也有心继续依靠拓跋鲜卑，所以把陉北的楼烦、马邑、阴馆、繁峙、崞等五县让给拓跋鲜卑，迁徙五县人民到了陉南。