”苏逢吉等人说道：“史弘肇的大军已驻札在上党，胡虏们相继逃跑，不如从天井出兵，奔赴孟津最为便捷。”司天官也上奏道：“太岁星在午的方位，不利于南行。应该从晋、绛二州进军到达陕州。”刘知远听从了这种意见。
刘知远于是下定决心，准备在天福十二年五月十二日，自太原启程南下。同时告谕各道，一面部署内政。刘知远封皇弟刘崇为太原尹，从弟刘信为侍卫指挥使。皇子承训、承祐、承勳，及皇侄承赟为将军，杨邠为枢密使，郭威为枢密副使，王章为三司使，苏逢吉、苏禹珪为同平章事。凡是首先归附的藩镇大将，如赵晖、王守恩、武行德等，皆实授节度使。
转瞬之间，已经到了出发的期限，刘知远即命太原尹刘崇留守北都，赵州刺史李存为副留守，河东幕僚真定人李骧为少尹，牙将蔚进为马步指挥使辅助他们。十二日，刘知远在太原起兵，从阴地关开往晋、绛二州，令史弘肇率部先行。
史弘肇进攻泽州，泽州刺史翟令奇死守城池。史弘肇连攻数日，没能攻克城池。刘知远得到消息，认为是因为史弘肇兵力太少的缘故，想撤兵返回。苏逢吉说道：“现在陕、晋、河阳都已归顺我朝，崔廷勋、耿崇美早晚要逃跑。如果此时召回史弘肇，河南就会人心动摇，胡虏气焰会再度嚣张起来。”
刘知远一时难以决定，就派人将此事告诉史弘肇，史弘肇说道：“军队已到达此地，就像势如破竹，只能前进而不能后退。”与苏逢吉等人的建议相吻合，刘知远于是听从了他们的意见。
史弘肇部将李万超，表示愿意去招降翟令奇，得到了史弘肇的允许。李万超骑马直达泽州城下，仰头高叫翟令奇道：“现在辽兵北逃，天下无主。太原刘公，兴义师，定中原，所向风靡。不服之人，全部被诛。你为何不早早自作打算！”
翟令奇有些迟疑，犹豫不决。李万超又说道：“公本来是汉人，为什么要替胡虏守节？何况城池一旦被攻破，到时候玉石不分。你甘为虏而死，难道百姓们也愿为虏而死吗？”翟令奇被他提醒，于是声称愿降，开门迎纳。史弘肇闻报，也驰入泽州。出榜安民后，留下李万超权知州事，自己返回潞州镇守。
正在此时，辽国将崔廷勋、耿崇美、奚王拽刺联兵逼近河阳城。张遇率领几千人马前去救援，在南阪和辽军展开激战，落败而死。武行德从河阳城中出来助战，也被打败，退回城中闭门自守，同时派遣使者向史弘肇求援。
拽刺想要攻城，崔廷勋说道：“现在我军主力已向北撤退，就算得到这座城池，又有什么用！杀死一个人，我还觉得可惜，更何况毁灭一个城呢！”他们听
说史弘肇已取得泽州，于是放弃了河阳，退守怀州。史弘肇率众南下，刚刚进入孟州境内，就听说了崔廷勋等人率领众军向北逃走。辽军路过卫州，大肆抢掠而离去。至此，辽国在河南的军队相继逃往北方，史弘肇领兵和武行德会合之后，分兵攻占河南各地。