，授任并州总管。
武德二年，刘武周向南进攻汾州、晋州，李渊诏令右卫将军宇文歆协助他镇守并州。李元吉爱好打猎，装载罗网的车子就有三十多辆，他曾说“我宁可三天不吃东西，不能一天不打猎。”还放纵他身边的人掠夺百姓的财物。
宇文歆多次劝阻但是不听，就向高祖呈递奏表说：“齐王在并州，经常穿上便装出城，和窦诞一起游乐打猎，践踏农田庄稼，放纵身边的人，公开掠夺百姓的财物，境内的家禽家畜，几乎被他们抢光。
他站在大路中间放箭射人，观赏人们躲避，作为娱乐。把兵卒分成左右两方，做打仗游戏，直到互相殴斗砍杀，造成伤残甚至死亡。夜晚敞开府门，到别人家里公然干些淫猥勾当。黎民百姓怨恨，都是满腔愤怒。
凭着这种状况守城，怎么能够守住！”李元吉终于获罪免职。他又婉转地动员当地德高望重的老人进京为他求情，不久恢复了官职。
当时刘武周率领五千名骑兵到了黄蛇岭，李元吉派遣车骑将军张达带领一百名步兵先去试探。张达嫌人太少，坚决要求不去。李元吉强行派遣，一到黄蛇岭就被杀光。张达愤恨恼怒，就为刘武周当向导攻克了榆次县城，进逼并州。
李元吉十分恐慌，欺骗他的司马刘德威说：“您带着年老体弱的人员守城，我带上身强力壮的将士出城作战。”乘着夜晚部队出城的时机，他带上妻妾丢下军队逃回了长安，并州很快失陷。
李渊满腔怒火，对礼部尚书李纲说：“元吉年轻，还不熟悉军政事务，所以派窦诞、宇文歆协助他。精壮人马好几万，军粮预拨了上十年，我举义旗打江山的发祥地，眨眼之间就丢了。宇文歆带头提出这种计策，我要杀掉他。”
李纲说：“得亏宇文歆才让陛下没有失去爱子，我认为他有功。”高祖询问原因，李纲回答说：“罪过出在窦诞没有规劝齐王，致使士卒百姓怨恨愤怒。再说齐王年轻，肆无忌惮地干骄横放纵的事，放纵身边的人，掠夺百姓的财物。”
“窦诞不曾劝谏制止，却放任包庇他，所以造成了祸根，这是窦诞的罪责。宇文歆论感情要疏远些，接近他的时间又短，齐王的过失，他已全部禀奏过了。何况是父子间的事情，别人不好说话，但宇文歆却说了，难道还不忠诚？”
“现在要追究他的罪责，不会使他心服，我认为很不恰当。”
第二天，高祖请李纲进宫，让他坐到自己身边，说道：“现在我有了您，刑罚就不会失去分寸。元吉自己作孽，跟别人结下了怨恨。宇文歆曾上表禀奏，窦诞还怎能制止，都不是他们的罪错。”
不久任命李元吉为侍中、襄州道行台尚书令、稷州刺史。
武德四年，李元吉随秦王李世民围王世充于东都洛阳，窦建德率军来援。李世民率以精骑到虎牢迎战，留李元吉与屈突通继续围困洛阳。
史载有两次战斗，一次王世充出兵拒