直入，遣其弟太原公吕纂攻打金城，天水公吕延攻打临洮、武始、河关，一路势如破竹，尽皆克之。乞伏乾归引大军伏于河关城外，复使部兵扮成百姓，进城哄骗吕延兵众道：“伏乞乾归闻将军兵到，其部众尽皆溃散，已奔成纪去矣！”部将以此言回报，吕延信以为真，欲将轻骑前往逐之。司马耿稚劝谏道：“乞伏乾归勇略过人，岂肯望风自溃？且来告密者视高色动，殆必有诈。公宜整阵而前，使步骑相属，俟诸军毕进，然后击之，则无不克。”吕延说道：“此事是实，公何必多疑如此？”于是引五百轻骑前往追之，与乞伏乾归伏兵在河关城外相遇。乞伏乾归纵马挥刀而进，与吕延两下交锋，战不数合，吕延不敌，欲走无路。乞伏乾归大喝一声，将吕延斩于马下，余众尽皆溃散。吕光闻报吕延战死，不由大惊，引兵走还姑臧不出。
吕延即死，其部众尽皆离散。当时军中有副将沮渠罗仇，乃是张掖卢水胡人，匈奴沮渠王之后，世为部帅，被凉王吕光拜为尚书。当时因见吕延中伏身死，其弟三河太守沮渠罗弼对兄长罗仇说道：“今主上吕光荒耄，听信谗言，既军败弟死，正其猜忌智勇将佐之时。吕延轻敌自陷，我兄弟必不被吕光见容，迁怒我等。不如趁此勒兵以向西平，出出苕灌，奋臂一呼，则凉州不足平定也。”罗仇说道：“我家世以忠孝著于西土，宁使人负我，我不忍负于人。”于是不从其弟之言。已而吕光果然听信谄言，迁怒于罗仇，将其兄弟一并斩杀。沮渠罗仇兄子名唤沮渠蒙逊，雄杰而有策略，颇涉汉族经史。当时扶两位伯父灵柩归葬，有族人万余人送葬。沮渠蒙逊哭谓族人道：“凉王无道，多杀无辜。今我二位伯父无罪而见诛，情何以堪！某欲与诸公雪我伯父之耻，兼复祖宗之业，尔谓何如？”众族人皆愿听从。
沮渠蒙逊遂与诸部落结盟起兵，聚族众二万余人，攻克后凉临松郡，屯据金山。其兄沮渠男成听到蒙逊起兵，也聚数千人屯扎乐涫，进攻建康郡。推举郡守段业为大都督、龙骧大将军、凉州牧、建康公，改年号为神玺，以张掖为国都，史称北凉。沮渠男成被段业命为辅国将军，委以军国重任。沮渠蒙逊亦率众投归段业，被委以镇西将军。隆安三年，段业即凉王位，改元天玺，以沮渠蒙逊为尚书左丞。史说段业曾在后凉时任著作郎、尚书，博涉经史，本有异志，故此乘乱拥众自立。但奈何胸襟狭疑，又好迷信，喜听谗言，终难成就大事。隆安五年四月，段业忌惮沮渠蒙逊武勇谋略，免其张掖太守之职，由门下侍郎马权取代。沮渠蒙逊不满，再次起兵，先用计除掉马权，又施计使段业错杀其兄。辅国将军沮渠男成复又利用此错案进行鼓动，群臣愤泣。沮渠蒙逊至氐池迅速聚兵万余，北凉镇军将军臧莫孩率部来投，羌、胡也起兵拥戴蒙逊。蒙逊适时率军直达张掖，置段业于众叛亲离之下杀之。
段业既死，尚书右丞梁中庸等推举沮渠蒙逊就任凉州牧、张掖公，改元永安，后改称凉王，史书亦称北凉。北凉初建，处在后凉、南凉、西凉四面强邻压境之中，形势险恶。为巩固政权，沮渠蒙逊重用汉