西晋建立以后，经过短暂的统一，紧接着统治阶级奢靡成性，腐败滋生。内部矛盾加剧，爆发了“八王之乱”，中国随后进入持续近200多年的“五胡乱华”时期，民族矛盾极为激烈，战争频繁，中原大地顿成人间地狱，如后赵石虎残忍好杀，每攻城之后都大肆屠城，“不复断别善恶，坑斩士女，鲜有遗类”。而冉魏政权的武悼天王冉闵更是发布杀胡令，“躬率赵人诛诸胡羯，无贵贱男女少长皆斩之，死者二十余万，尸诸城外，悉为野犬豺狼所食。屯据四方者，所在承闵书诛之，于时高鼻多须至有滥死者半”。当时晋室南渡，北方地区只有凉州刺史张轨保境安民，任用当地大姓，发展经济，提倡教育，并多次抵御外侵，使得河西走廊一带成为北方人民的避难所，史载“中原方乱，避难之国，惟凉土尔”，奠定了前凉政权的基础，其后世子孙秉承遗志，沿用西晋年号，多次派使节入朝呈贡，从张轨于公元301年任凉州刺史算起，到公元376年为前秦所灭，历时七十六年，是十六国中享年最久的一国。张轨之后，前凉亦多励精图治之主，如张骏在位期间，鼓励农桑，并且颁布法令，强化法制，国内刑罚清明，经济发展，各处的难民大量涌入并获得妥善安置，西域各国纷纷遣使纳贡，前凉的社会经济进入了前所未有的发达时期。统治范围包括甘肃、宁夏西部以及新疆大部。史载“南逾河、湟，东至秦、陇，西包葱岭，北暨居延”。张重华统治时期，主簿谢艾三次大破来犯的前赵军队，尤其是建兴三十四年（346年），击退后赵将领麻秋率领的包括后赵最精锐的甲骑具装部队黑槊龙骧军在内的三万赵军，麻秋单骑逃生，连后赵天王石虎也只能感叹：“吾以偏师定九州，今以九州之力困于凉州。彼有人焉，未可图也！”成功避免了亡国的厄运。可惜此后宗室之间争权夺利，陷入长久内乱，376年，前秦天王苻坚以十三万步骑大举进攻，末代君主张天锡投降，前凉灭亡。