劉琨是西漢中山靖王劉勝的后裔。祖父劉邁，曾為相國參軍、散騎常侍。父親劉蕃，官至光祿大夫。

劉琨工于詩賦，頗有文名。賈后之侄賈謐權(quán)過人主，身旁聚集了一批豪族貴戚出身的文人，互相唱和，號為“二十四友”，而劉琨兄弟也廁身其間。

西晉元康五年（295），二十六歲的劉琨出任司隸從事。后又被高密王司馬泰辟為掾?qū)伲w任著作郎、太學(xué)博士、尚書郎。

永康元年（300），趙王司馬倫執(zhí)政，以劉琨為記室督，又改任從事中郎。301年（永寧元年），司馬倫稱帝，劉琨任太子詹事，輔佐司馬荂。齊王司馬冏、成都王司馬穎、河間王司馬颙等諸王共同討伐司馬倫，劉琨被司馬倫任命為為冠軍將軍、假節(jié)，與孫會領(lǐng)兵三萬抵抗司馬穎，結(jié)果在黃橋大敗而回。司馬冏輔政后，劉琨因出身名門，被任命為尚書左丞、司徒左長史。302年（太安元年），司馬冏兵敗，范陽王司馬虓鎮(zhèn)守許昌，并推薦劉琨為司馬。

永興元年（304），晉惠帝被張方脅迫遷都長安。次年，劉喬攻擊司馬虓，劉琨援救不及，其父母皆被俘獲。306年（光熙元年），劉琨從幽州王浚處求得八百騎兵，擊破東平王司馬懋，戰(zhàn)敗劉喬，救出父母，又?jǐn)貧⑺抉R穎麾下大將石超，收降滎陽守將呂朗。同年，司馬越將晉惠帝救回洛陽，劉琨因功被封為廣武侯，邑二千戶。

光熙元年（306）九月，司馬越為了擴(kuò)張勢力，派劉琨出任并州刺史、加振威將軍、領(lǐng)護(hù)匈奴中郎將。劉琨帶領(lǐng)一千余人輾轉(zhuǎn)離開首都洛陽，于307年（元嘉元年）春到達(dá)晉陽（今山西太原）。當(dāng)時的晉陽經(jīng)歷戰(zhàn)亂，已成一座空城。劉琨在左右強敵環(huán)俟的環(huán)境下安撫流民，發(fā)展生產(chǎn)，加強防御。不到一年晉陽就恢復(fù)了生氣，成了晉在中原的少數(shù)幾個存留抵抗勢力之一。

當(dāng)時的晉陽南面是強大的匈奴前趙，北面是正在崛起的鮮卑代國，東面是和段部鮮卑結(jié)盟的幽州刺史王浚。劉琨和拓跋鮮卑首領(lǐng)拓跋猗盧結(jié)為兄弟，和前趙石勒等大將的戰(zhàn)斗互有勝負(fù)。

河南人徐潤因通曉音律得到劉琨的重用，但是此人無能而跋扈。奮威將軍令狐盛進(jìn)言要劉琨除去徐潤，反被徐潤誣殺，造成其子令狐泥等人的反叛。劉琨吸引了許多志愿抗擊匈奴、羯人的志士，但他的政治軍事才能也使不少人離去。

313年（建興元年），晉愍帝繼位，封劉琨大將軍、都督并州諸軍事，加散騎常侍、假節(jié)。315年（建興三年），劉琨被晉愍帝封為司空、都督并冀幽諸軍事。劉琨辭去司空，接受都督之職。不久，代王拓跋猗盧被其兒子拓跋六修殺死，拓跋普根平定叛亂也因病而死，劉琨在拓跋部作為人質(zhì)的兒子劉遵同箕澹等率3萬余人投奔劉琨。

建興四年（316），石勒出兵進(jìn)攻并州，劉琨不聽箕澹勸阻全軍盡出，中伏大敗，丟失并州，只身投奔幽州刺史段匹磾，并與其結(jié)為兄弟。同年，劉曜攻破長安，晉愍帝被俘，西晉滅亡，劉琨令長史溫嶠向司馬睿勸進(jìn)。司馬睿稱帝后，加封劉琨為侍中、太尉，其余官銜不變，并賜他名刀一把。

建武元年（317），段匹磾以劉琨為大都督，率軍討伐石勒。結(jié)果段匹磾堂弟段末杯接受石勒賄賂，不肯進(jìn)軍，劉琨因勢弱只得退兵。

太興元年（318），段部鮮卑內(nèi)斗，段末杯擊敗段匹磾自任單于，并俘虜了劉琨的兒子劉群。劉群得到段末杯的厚待，便給劉琨寫密信邀請他共擊段匹磾，誰料密信被段匹磾截獲。段匹磾雖相信劉琨，但最終還是將劉琨下獄。

劉琨素有名望，拘押期間，遠(yuǎn)近之人盡皆憤嘆。代郡太守辟閭嵩與劉琨部下將領(lǐng)企圖反叛段匹磾救出劉琨，因泄密而失敗。東晉權(quán)臣王敦派人密告段匹磾，讓他殺掉劉琨。劉琨聽說王敦來使，便對兒子劉遵說：“處仲（王敦）使來而不我告，是殺我也。死生有命，但恨仇恥不雪，無以下見二親耳”。

同年五月初八，段匹磾自稱奉皇帝詔旨將劉琨縊殺，子侄四人同時遇害。劉琨時年四十八歲。東晉因段匹磾勢力強大，還要依靠他討伐石勒，因此沒有吊祭劉琨。劉琨死后，世子劉群、姨甥盧諶、內(nèi)侄崔悅等投奔遼西段末杯，而部下將佐大都投靠石勒。

太興三年（320），劉琨的從事中郎盧諶、崔悅等上表朝廷為劉琨鳴冤，太子中庶子溫嶠也上表附議。晉元帝于是追贈劉琨為侍中、太尉，謚曰愍。

劉琨與祖逖一起擔(dān)任司州主簿時，感情深厚，不僅常常同床而臥，同被而眠，而且都有著建功立業(yè)，成為棟梁之才的遠(yuǎn)大理想。一次半夜，祖逖聽到雞叫，叫醒劉琨道：“此非惡聲也。”意思是，這是老天在激勵我們上進(jìn)，于是與劉琨到屋外舞劍練武。

劉琨善吹胡笳。曾有數(shù)萬匈奴兵圍困晉陽。劉琨見勢不妙，如與敵軍硬拼，必然兵敗城破，于是一面嚴(yán)密防守，一面修書請求援軍。過了七天援軍還未到，城內(nèi)糧草不濟(jì)、兵士恐慌萬狀。劉琨登上城樓，俯眺城外敵營，冥思苦想對策。忽然他想起“四面楚歌”的故事，于是下令會吹卷葉胡笳的軍士全部到帳下報到，很快組成了一個胡笳樂隊，朝著敵營那邊吹起了《胡笳五弄》。他們吹得既哀傷、又凄婉，匈奴兵聽了軍心騷動。半夜時分，再次吹起這支樂曲，匈奴兵懷念家鄉(xiāng)，皆泣淚而回。

大司馬桓溫，自認(rèn)為雄姿英發(fā)，是司馬懿、劉琨一類的人物人物，卻被人比作大將軍王敦，因此很不高興。桓溫北伐歸來，帶回來一個老婢女。這老婢曾是劉琨的家伎。老婢一見桓溫，便潸然淚下道：“公甚似劉司空。”桓溫大喜，整冠問哪里像。老婢答道：“面甚似，恨薄；眼甚似，恨小；須甚似，恨赤；形甚似，恨短；聲甚似，恨雌。”桓溫大為掃興，抑郁了好幾天。

劉琨精通音律，創(chuàng)了《胡笳五弄》（包括《登隴》、《望秦》、《竹吟風(fēng)》、《哀松露》、《悲漢月》五首琴曲），在傳統(tǒng)的琴曲中加入北方游牧民族的音調(diào)，描寫北方歷經(jīng)戰(zhàn)亂的景象，抒發(fā)了思鄉(xiāng)愛國之情。

劉琨的詩文激昂悲壯，充滿對戰(zhàn)亂中的流民的同情和抵抗敵人的決心。被囚后所作的《重贈盧諶》是其代表作。此詩前半段引用了姜尚、管仲、陳平、鄧禹等人的典故，表達(dá)了對晉室的忠誠；后半段描述了自己壯志未酬的心情：“何意百煉剛，化為繞指柔。”

劉琨傳世的詩作有：《扶風(fēng)歌》、《胡姬年十五》、《答盧諶詩》、《重贈盧諶》。

《晉書》將劉琨與祖逖同列一傳，并在給予了非常中肯的評價：

• 琨善于懷撫，而短于控御。一日之中，雖歸者數(shù)千，去者亦以相繼。然素奢豪，嗜聲色，雖暫自矯勵，而輒復(fù)縱逸。
• 琨少負(fù)志氣，有縱橫之才，善交勝己，而頗浮夸。與范陽祖逖為友，聞逖被用，與親故書曰："吾枕戈待旦，志梟逆虜，常恐祖生先吾著鞭。"其意氣相期如此。
• 史臣曰：劉琨弱齡，本無異操，飛纓賈謐之館，借箸馬倫之幕，當(dāng)于是日，實佻巧之徒歟！……及金行中毀，乾維失統(tǒng)，三后流亡，遞縈居彘之禍，六戎橫噬，交肆長蛇之毒，于是素絲改色，跅弛易情，各運奇才，并騰英氣，遇時屯而感激，因世亂以驅(qū)馳，陳力危邦，犯疾風(fēng)而表勁，勵其貞操，契寒松而立節(jié)，咸能自致三鉉，成名一時。古人有言曰："世亂識忠良。"益斯之謂矣。天不祚晉，方啟戎心，越石區(qū)區(qū)，獨御鯨鯢之銳，推心異類，竟終幽圄，痛哉！
• 贊曰：越石才雄，臨危效忠，枕戈長息，投袂徼功，崎嶇汾晉，契闊獯戎。見欺段氏，于嗟道窮！

鐘嶸《詩品》將劉琨的詩定為中品，評道：“其源出于王粲。善為凄戾之詞，自有清拔之氣。琨既體良才，又罹厄運，故善敘喪亂，多感恨之詞。”

王夫之：“琨乃以孤立之身，游于豺狼之窟，欲志之伸也，必不可得；即欲以頸血濺劉聰、石勒，報晉之宗社也，抑必不能；是以君子深惜其愚也。”