说：“何潘仁，是贼帅，志在残杀，然而臣每次进谏他都能停止杀戮，任他的长史，所以心中无愧。陛下大功告成，常常自以为是，臣说的话就好像拿石头扔进水里，臣敢长期担任尚书郎吗？而且臣侍奉太子，太子又不听臣的劝告，所以要上交官印。”
可见李纲的刚直，连同李渊都直接当面硬怼，这是硬怼的第二个帝王了！
李渊也是毫无生气的意思，直接道歉，“朕知道你是个正直的人，希望你能自始至终辅助朕的儿子。”
于是授予李纲太子少保之职，让他仍旧担任尚书郎、太子詹事。
李纲多次劝谏李建成，但都不被接受，他因而“郁郁不得志”。
武德二年，李纲因年迈上疏请辞，李渊优诏答允，同意其解尚书之职，仍任太子少保。
李渊认为李纲是隋朝的名臣，亲自写敕令时从来没有直呼过他的名字。
等到李建成也废了，李二上位的时候，李纲同样被推举出来，又任太子少师，教导太子李承乾。李承乾知道李纲患有脚疾，于是亲自将老师引上殿，并恭恭敬敬地行礼，又向其虚心请教，态度极为礼敬。
而李二每次临朝听政，必然令李纲与房玄龄、王珪陪同坐在身边。
李纲发表言论陈述事理态度坚决不可改变。