军渡江，先过的有赏。蒲卢浑进谏道：“臣观宋船极大，行驶如飞，我船很小，行驶缓慢，水战非我所长，恐怕不能快速渡过。”完颜亮怒道：“你以前跟着梁王金兀朮。追赶赵构到海岛，那时候有大船吗？”侍卫梁汉臣说道：“诚如陛下所言，此时不渡江，更待何时？”完颜亮转怒为喜，就在岸上，悬设红旗黄旗，号令进止。长江上下，舰船如织。完颜亮乘着龙凤大船，截流而渡，采石矶头，征鼓声相闻。
江对面的虞允文召集众将，慨然说道：“大敌当前，全仗诸公协力同心，为国杀敌。现在金帛诰命都由我带来这里，以待有功之人。我只是一介书生不懂军事，也当执鞭随诸位之后，看诸位将军杀贼建功。”诸将听他说了这几句，一齐起立说道：“参军都如此忠勇，我们久效戎行，敢不誓死一战。”虞允文大喜，命诸将严阵以待。
金军靠近南岸，见宋军列阵相待，当涂观战助威的百姓，十数里不绝。金军大惊，欲退不能，只得前进。几百艘金军大船迎着江风，满载着金兵向南岸驶来。没有多少时间，金兵已经陆续登岸，猛攻宋军。宋军见金军来势甚猛，稍稍退却。
虞允文督战于中流，对统制时俊和颜说道：“将军胆略，远近闻名。现在退在阵后，反而像一个女子样子，威名不是扫地了吗？”时俊听了，立即跃上船头，手挥双刀，拚命相搏。军士也努力死战，两下相持不舍。
虞允文又令江面上的宋军战船，向金军的战船冲去。宋水军多踏车海鳅船，大而灵活，而金军船只底平面积小，极不稳便，宋船乘势冲击，就像尖利的钢刀一样，插进金军的船队，把敌船拦腰截断。敌船纷纷被撞沉。
金军还是仗着船多，拼死力战。直到黄昏，金军还是不肯退走。虞允文也很焦灼，看见西岸有许多官兵，陆续到来。他便即驶舟上岸，登陆招呼，一问才知道是从光州逃回来的宋军。虞允文眉头一皱，计上心来，于是对他们说道：“你们来到这里，正好立功。我现在给你们旗鼓，绕道从山后转出，敌人必怀疑是我们的援兵，定然惊骇而逃。”大家依计，拿着旗鼓，欢跃而去。
虞允文又上船督战，不到片刻，那些受计的军士，已绕道山后，携着大宋旗号，踊跃前进。完颜亮果然以为是宋军的援兵，急忙抛了红旗，改用黄旗，麾兵退去。虞允文又命强弓劲矢，尾击追赶放箭，把金兵射死无数。直到金兵均退至北岸，方才收兵。
完颜亮回到和州，检点兵士，丧失甚多，于是迁怒众将，捶杀了好几人。次日，虞允文又派新盛率水军主动进攻长江北岸的杨林渡口。金船出港，宋军用强弩劲射，又用霹雳炮轰击，大败金军。完颜亮见渡江失
败，只得又退回和州，接着逃往扬州。
宋军在采石大胜之后，主将李显忠才带兵到达。李显忠了解到虞允文指挥作战的情况，十分钦佩。虞允文对李显忠说道：“敌人在采石失败后，一定会到扬州去渡江。对岸镇江那边没什么准备，情况很危险。您在这