当时在秦王记室的房玄龄对李世民说：“府中幕僚虽然被迁往外地的人比较多，但是没有什么好可惜的，只有杜如晦聪慧，能洞察事理，这个人有王佐之才，大王如果为镇一方，那用不上他！”
“但如果以后要经略天下，那就非杜如晦不可，只有此人才能帮你大忙。”
李世民听到房玄龄的话后才醒悟过来，对房玄龄说道：“你要是不说，差点让这样的人才流失啊。”于是李世民向李渊上奏，请求将杜如晦继续留在秦王府为官。
武德元年，李渊建立唐朝政权，同年七月，陇西薛举进犯泾州，李世民率军前往讨伐，但被击败。而后薛举突然病死，李世民再次率军讨伐其子薛仁杲，并让杜如晦等随军参赞军事。薛仁杲兵败投降，后被斩首。
武德二年，刘武周与宋金刚攻据太原，杜如晦随从李世民前往讨伐，将刘武周击退。
武德三年，李世民率军进攻洛阳王世充，而王世充又与窦建德联合，杜如晦随李世民先破窦建德，后破王世充。
李世民在征讨薛仁杲、刘武周、王世充、窦建德等割据势力时，杜如晦随从李世民参赞军事，为李世**筹帷幄，判断军势，李世民根据杜如晦的判断准确出击，将各地反王一一消灭。
李世民讨伐各地叛乱，威望越来越高，遭到李建成和李元吉的妒忌，二人与李渊的嫔妃张婕妤、尹德妃暗中勾结，图谋陷害李世民。
淮安王李神通以战功获封土地数十倾，张婕妤的父亲私下里找李渊想要那片地，李渊答应他，但李神通以这块地已经先赐给了自己，于是不愿意给张婕妤的父亲，张婕妤却向李渊说是李世民仗势欺人，让李神通夺走了土地。
而后杜如晦骑马经过尹德妃的父亲尹阿鼠的府邸，尹阿鼠让家童出来将杜如晦强行拽下马殴打，并且大骂道：“你是什么人，敢过我家门前不下马！”
之后尹阿鼠却让尹德妃告诉李渊是李世民让杜如晦欺负尹阿鼠。李世民向李渊深刻辩解，但是李渊十分宠幸张、尹两人，不信李世民。
武德四年，李世民被封为天策上将，并建立文学馆，用杜如晦为从事中郎，为十八学士之首，李世民常常到文学馆与杜如晦等讨论经义，而且经常说到晚上。
但太子李建成却对对此非常忌惮，他对齐王李元吉说：“秦王府中能让人担心的，只有房玄龄和杜如晦两人。”于是李建成上言李渊，将房玄龄与杜如晦逐出京师。
武德九年，李建成拉拢尉迟恭遭到拒绝，于是派人刺杀尉迟恭，失败后李建成上言李渊将尉迟恭打入大牢。
李世民将尉迟恭保释出来后，尉迟恭打听到李建成和李元吉想要于昆明池对李世民不利，将此事告诉了长孙无忌，长孙无忌立刻去找李世民，让李世民先发制人。
但李世民因自己与李建成是亲兄弟，所以犹豫不决，尉迟恭劝谏李世民不能以小仁而废社稷大义，并表示