曾派人和他结盟通好。李轨非常高兴，主动让弟弟到长安做人质，李渊封他为凉王。但册封使节到达时，李轨的下属对是否接受唐朝册封产生分歧，李轨没有听信部下的话，又不肯屈居李渊之下，对李渊自称“大凉皇帝臣轨”。
虽然用了“臣”，但李渊并不领情，他不能允许还有一个皇帝的存在，于是加紧了对李轨的军事行动，为了避免战争，李渊派安兴贵去劝说李轨投降，安兴贵是李轨户部尚书安修仁的哥哥。李轨听了安兴贵的劝说没有改变主意，反而说安兴贵是为了报答李渊的恩情才来劝说他的。
安兴贵害怕李轨加害自己，便和哥哥一起谋划，最后发动兵变，俘虏了李轨。河西于是平定。刘武周也是李渊的一个劲敌，他起兵较早，和突厥勾结势力比较强盛。刘武周联合突厥南下占领了并州，唐朝的并州总管、齐王李元吉无力抵抗，弃城而逃。李渊先派裴寂出击，也大败而归。
李渊这时想放弃这个地区，遭到李世民的反对。最后李世民领兵出征，用坚壁清野消耗对方的战术，全面击溃了刘武周的部队。刘武周逃到突厥，后来被杀。唐朝又恢复了原来在河东地区的统治。三个周围的劲敌消灭之后，李渊便把注意力投向了中原。
在中原的主要对手是王世充，他原是隋朝的江都通守，隋炀帝杨广被杀之后，他拥立杨侗为帝，又打败瓦岗军，除了李密和部分军队外，其余的瓦岗军都被王世充收编。到公元六百一十九年，王世充踢开杨侗，自己称帝，建立郑国，定都洛阳。
杀掉王威和高君雅消除了内患之后，李渊便和将士严密防守，对付突厥。他命裴寂和刘文静坚守城防，同时又让大门洞开。城墙上也不树旗帜。守城士兵不许张望、喧哗。这使突厥军队不明底细，不敢入城。李渊又在夜里派兵出城，早晨改道进城，使突厥误以为是援兵到达。
突厥军队不敢恋战，只好退兵。突厥兵虽然退去了，但难保不再来，为了从根本上解决问题，李渊给突厥送去书信：“若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”为了稳住突厥，李渊委曲求全地用了臣子的语气。
李渊率军三万正式起兵之后。李渊传檄诸郡称“义兵”，以维护隋朝社会安定，李渊在太原起兵之后，便以进军关中拿下长安为最终目标。西进的第一个障碍便是西河郡。李建成和李世民兄弟仅用了9天便得胜而归，使得李渊喜出望外。
然后，李渊建立了自己的军事机构：设置大将军府，自称大将军，长子李建成为陇西公、左领军大都督，统领左三军，李世民为敦煌公、右领军大都督，统领右三军，裴寂和刘文静为长史司马。
李渊第二战是决战霍邑。霍邑的西北有个贾胡堡，是霍邑的门户，但守卫霍邑的宋老生却没有派兵把守，李渊由此断定宋老生是个无能之辈。
李渊害怕宋老生守城不出，打持久战对自己不利。于是李渊让两个儿子领几十名骑兵近城观察，自己将部队分成十几