斛律金，字阿六敦，朔州敕勒部人氏。高祖倍侯利，因强壮武勇而扬名塞外，随道武内附，赐爵孟都公。祖父幡地斤，任殿中尚书。父大那瑰，光禄大夫、第一领民酋长。天平中，斛律金显贵，赠司空公。
斛律金性格敦厚直率，善于骑马射箭，行兵使用匈奴的办法，望着飞扬的尘土能说有多少马兵步军，嗅地能知道军队已经离开这里有多长的时间。初任军主，同怀朔镇镇将杨钧一道护送蠕蠕主阿那瑰归北。瑰见斛律金射箭，感叹其本事高超。后阿那瑰寇掠高陆，被斛律金打垮。正光末年，破六韩拔陵作乱，斛律金领众归附，陵授给他王号。斛律金估计陵必定失败，就带领部属万余户前往云州投降，随即被委任为第二领民酋长。又慢慢统领部众南移，出黄瓜堆后，被杜洛周击败，人员大都逃亡。金与兄平脱险，投奔尔朱荣。尔朱荣上表署金为别将，后升任都督。孝庄帝立，赐斛律金阜城县男，加宁朔将军、屯骑校尉。参加攻打葛荣、元颢等战，多次立功，加镇南大将军。
在尔朱兆等人叛乱时，高祖就有了匡复之志，斛律金同娄昭、厍狄干等协助成就大计，并随同举起了义旗。高祖南向攻邺，留斛律金守护信都，兼任恒、云、燕、朔、显、蔚六州大都督，处理后方诸种事务。攻讨李修，打败了他，以功加右光禄大夫。于邺地与高祖部汇合，跟随着平定了晋陽，追击打垮了尔朱兆。太昌初年，被任命为汾州刺史、当州大都督，升爵为侯。又跟着高祖在河西打败了纥豆陵。天平初，迁都邺城，高祖命令斛律金率领三万步骑镇守风陵，以防备西部的寇贼，事情结束，回晋陽。又随着高祖参加了沙苑之战，因失利而撤军，于是东雍附近的许多城镇再次为西魏军所占领。高祖派遣斛律金与尉景、厍狄干等出兵将这些失地收复了过来。元象中，周文帝再次率兵大举攻打河陽。高祖率众抵抗，吩咐斛律金赶往太州，构成犄角之势。金抵晋州，由于周军撤退而中途改变计划，即与行台薛修义一道围攻乔山的敌寇。高祖很快赶到，乔山之敌被歼，继而随从高祖攻克了南绛、邵郡等数城。武定初，北豫州刺史高仲密举城归服了西魏。周文帝入侵洛陽。斛律金在高祖的调配下统领刘丰、步大汗萨等数万步骑布防河陽城进行防守。高祖抵达河陽，斛律金跟随着打败了高仲密。军还，升任大司马，改封石城郡公，食邑一千户，转任第一领民酋长。三年(545)，高祖分兵二路偷袭山胡。斛律金为南道军司，率部从黄栌岭出发。高祖则亲率兵马从北道开拔，翻越赤襌岭，两路兵马在乌突戍会合后，取得了偷袭的成功。军还，斛律金出任冀州刺史。四年，诏令斛律金率众走乌苏道，前往晋州与高祖相会，随同攻打玉壁。军还，高祖命令斛律金总督兵众，返回晋陽。
世宗即位，侯景占据颍川投降了西魏，帝诏令斛律金带领潘乐、薛孤延等固守河陽以防备侯景的进攻。西魏派遣其大都督李景和、若干宝领带数万兵马，计划从新城赶赴颍川援救侯景。斛律金率部停留广武准备拦截李景和部，景和得知此消息后退兵了。斛律金从河陽返归后，做了肆州刺史，依然统领所部在宜陽之地构筑了杨志、百家、呼延三戍，并派兵把守，安置停当才赴肆州。侯景逃到南豫后，西魏的仪同三司王思政马上进驻了颍州。世宗派遣高岳、慕容绍宗、刘丰等人率兵包围了颍川。帝又诏令斛律金领众督促彭乐、可朱浑道元等驻屯河陽，用来截断王思政的退路。不几天，帝调斛律金会攻颍川。夺回颍川后，帝又指派斛律金率部从萫坂送粮米到宜陽。西魏九曲戍将马绍隆占据险要之地拦击金的粮队，但却被击退了。因军功另封为安平县男。
显祖受禅，封斛律金咸陽郡王，依然兼任刺史诸职。本年冬，朝晋陽宫，斛律金病，帝亲自来他家探视，并赐给医药，还不断派人慰问。病痊愈后回到肆州。三年，升任太师。帝征讨奚贼，斛律金从行。军还，帝亲临肆州，与斛律金宴饮欢聚之后才告别而去。四年，罢刺史职，以太师身份回到晋陽。皇帝又亲幸其住宅，六宫以及诸王也一同前往，置酒作乐，直至深夜才告结束，帝极其欣喜，诏令斛律金第二子丰乐为武卫大将军，并说：“公为佐命元勋，父子忠诚，朕当与公结为婚姻，永为蕃卫。”乃诏令斛律金之孙武都娶义宁公主。行聘礼的这天，帝跟着皇太后亲临其家，皇后、太子以及诸王等也一齐来了，这就可见皇上十分地亲近敬重斛律金。
不久由于蠕蠕被突厥攻破，种落分散，担心他们会侵犯边塞，騷扰边民，皇帝便诏令斛律金率两万骑兵屯驻白道进行防备。此时虏帅豆婆吐久备带三千余户密谋西去，侦察的骑士回来报告后，斛律金率部追击，一下子将其全部虏获。蠕蠕但钵拟将举国西徙，斛律金抓住他们的侦察骑士送往京城，并上表陈述可攻打蠕蠕的有利条件。于是显祖率众与斛律金等一同在吐赖伏击，俘获两万多户而返归。进位右丞相，食齐州干，迁为左丞相。
肃宗登基，纳其孙女为皇太子妃。又诏令斛律金朝见，特许步挽车至阶。世祖登基，礼遇更重，又纳其孙女为太子妃。斛律金长子光为大将军，次子羡及孙武都并为开府仪同三司，出镇方岳，其余的子孙均封侯而富贵显达。斛律金家出了一皇后，二太子妃，娶了三位公主，尊宠之盛，当时哪家也赶不上。斛律金曾对光讲：“我虽然没有读多少书，但听说古时外戚梁冀等没有不覆灭的。女若得宠，就会遭致嫉妒；女若无宠，天子便会嫌弃。我家一直是以建立功勋尽忠奉上来致富致贵的，岂可凭借女孩子的地位？”虽然多次推辞朝廷的赏赐，但却无法拒绝，因此常为这些事忧愁。天统三年(567)去世，时年八十。世祖在西堂为其举哀，继而后主又在晋陽宫为之举哀。朝廷赐假黄钺、使持节、都督朔定冀并瀛青齐沧幽肆晋汾十二州诸军事、相国、太尉公、录尚书、朔州刺史，酋长、咸陽郡王等官爵如故，还赐钱百万，谥号武，子光嗣继。