光义多次到他家看望他，赏赐加倍。赵普声称病重，三次上表请求罢官，赵光义勉强依从，任命赵普为西京留守、河南尹，仍旧兼任太保兼中书令。
赵普上表恳切辞让，赵光义赐他手写诏书道：“开国旧勋，只有你一个人，与他人不能等同，不要再推让。等你出发那天，我到你家来与你道别。”赵普捧着手诏哭泣，于是请求带病与赵光义面谈，赵光义赐座与他，面谈很久。两人谈论的都是国家大事，赵光义赞许并采纳他的意见。赵普即将出发，赵光义又来到他家。
赵普离京之后，吕蒙正以宽简自任，政事多取决于王沔。王沔与张齐贤同掌枢务，关系很不好。淳化三年，赵普上表以年老多病，请求告老。赵光义派出使者快速前来安抚慰问，并加太师衔、封魏国公，享受宰相待遇，让他在家中养病。这年七月十四日，赵普病四于洛阳，终年七十一岁。
赵光义听到消息后，非常震惊悲痛，对侍奉的大臣说道：“赵普侍奉辅佐先帝，和我也有旧交情，他果断能决断大事，之前和我有些不愉快，这是很多人知道的事情。我即位以来，常常待他优厚礼遇，赵普也倾尽全力效忠于我，对国尽忠，是真正的社稷之臣。我失去他非常痛惜。”于是痛哭涕泣，左右大臣都非常感动。
赵光义因此停朝五日，赠赵普为尚书令，追封真定王，赐谥忠献。赵光义还亲自撰写碑铭，作八分书赏赐，并派遣右谏议大夫范杲，护理丧事，赠送绢布各五百匹，米面各五百石。
赵普出身小吏，比起一般文臣，他的学问很差。他当上宰相以后，赵匡胤劝他多读点书。于是赵普每次回家，就关起房门，从书箱里取出书，认真诵读。第二天上朝处理政事，总是十分敏快。后来家人发现，他的书箱里藏的不过是一部《论语》。于是人们就说赵普是靠“半部《论语》治天下”。
赵匡胤死后，赵光义继位，赵普仍然担任宰相。有一次，赵光义和赵普闲聊，他随口问道：“有人说你只读一部《论语》，这是真的吗？”赵普老老实实地回答道：“臣所知道的，确实不超出《论语》这部书。过去臣以半部《论语》辅助太祖平定天下，现在臣用半部《论语》辅助陛下，便天下太平。”后来赵普因为年老体衰病逝，家人打开他的书箱，里面果真只有一部《论语》。
赵普善于强谏，赵匡胤曾经发怒扯烂奏本，丢弃在地上。赵普神色不变，跪地一一捡起回去。次日他又补好旧纸，再次递上。终于感动赵匡胤，按照他的意思施行。