固了自己在太原的统治地位。晋阳一带的官僚、地主、豪绅也纷纷投靠李渊。
李渊又命次子李世民在晋阳密招豪杰，倾财赈施，广纳贤才。其长子李建成也在河东暗中交结英俊，发展势力，而此时的杨广又远在江都，沉湎酒色，鞭长莫及。李渊在太原韬光养晦等待时机。
隋朝末年，隋炀帝杨广的残暴统治，使得阶级矛盾十分尖锐。隋炀帝杨广即位后，就大兴土木，建东都、修长城、开运河、筑驰道，弄得民不聊生。
杨广好大喜功，巡游江南，北上榆林，以夸耀自己的武力；出兵边塞，侵略高丽，以显示自己的威风。由于徭役深重，战争频繁，社会生产遭到严重破坏，人民生活痛苦不堪。
广大群众无法生活下去，不得不铤而走险，以武力反抗隋炀帝杨广的残暴统治，公元六百一十一年，各地农民起义风起云涌，有的隋军将领也割据一方，天下沸腾，群雄割据，全国有一百多支反隋大军。
在反隋斗争中起义军逐渐走向联合，逐渐形成了以李密、翟让领导的瓦岗军，杜伏威领导的江淮起义军，窦建德领导的河北起义军三支主要力量。在农民起义的冲击下，隋炀帝杨广的统治已岌岌可危，处在风雨飘摇之中。
在农民起义风起云涌的同时，隋朝内部也分崩离析。李渊目睹动荡不安的天下局势，从中看到了举兵起事的时机，公元六百一十七年二月，马邑人刘武周起兵，杀太守王仁恭，自称天子，国号定阳。李渊遂以讨伐刘武周为名，积极募兵。
李渊以维护隋朝统治者的身份出现，远近的武装纷纷云集，不几天就有近万人加入李渊直接控制的军队，李渊的行动，引起忠于隋炀帝的副留守王威和高君雅的怀疑，公元六百一十七年五月十四日的夜里，李渊命李世民在晋阳宫城外埋下伏兵。
第二天早晨，李渊和王威、高君雅议事。晋阳令刘文静领开阳府的司马刘政会到庭中，说有密状给李渊。李渊便让他交上来，但刘会政不交，说要告的是副留守，只有李渊才能看。
李渊假装吃惊地说：“怎么会有这种事?”李渊看后便对大家说：“王威、高君雅要勾结突厥入侵。”于是命人逮捕了他们二人。第二天，果然有突厥几万人围攻太原，人们都信以为真，李渊趁机将王威和高君雅二人处死。
杀掉王威和高君雅消除了内患之后，李渊便和将士严密防守，对付突厥。他命裴寂和刘文静坚守城防，同时又让大门洞开。城墙上也不树旗帜。守城士兵不许张望、喧哗。这使突厥军队不明底细，不敢入城。
李渊又在夜里派兵出城，早晨改道进城，使突厥误以为是援兵到达。突厥军队不敢恋战，只好退兵。突厥兵虽然退去了，但难保不再来，为了从根本上解决问题，李渊给突厥送去书信：“若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”为了稳住突厥，李渊委曲求全地用了臣子的语气。
公元六百一十七年七月，