丢掉米袋，四散而逃。部将抢得十数担米回营，报知主将，由此桃豹军误以为晋军粮食充足，于是全军惊惧，满营士气大挫。桃豹因军中无粮，最终不敢支吾，于是暗暗下令，命各部连夜撤军。祖逖已知对方上当，暗自大喜，遂在汴水设伏，尽夺石勒运给桃豹军粮，逼得桃豹再次退守东燕城。祖逖遂命韩潜进占封丘，压逼桃豹，自己则进军屯扎雍丘。祖逖又多次出兵邀截赵军，使石勒一退再退，豫州便全归祖逖所据，一时声势大盛，中原之民无不踊跃来投。
当时豫州境内原有赵固、上官巳、李矩、郭默等坞堡之主，各据一方，经常兵戎相见。祖逖遣使调和，示以祸福，晓以大义，使赵固等人陆续归附，皆服祖逖调度，于是进而收复黄河以南大部中原地区。黄河沿岸另有一些坞堡之主，迫于后赵兵势不得不臣服石勒，且送子弟到襄国为质。祖逖遂与之暗通款曲，使其明降后赵，实附东晋；且不时派出小股兵马，假作抄略征伐各堡，以消解石勒疑心。诸坞感恩戴德，常自愿被北伐军抢去些粮米，并助其刺探赵军情报。祖逖因此连战连胜，屡破赵军，晋军由此士气大盛，中原百姓亦无不心向王师，踊跃入伍参军。祖逖礼贤下士，体恤民情，即疏远位卑之人亦能施布恩信，予以礼遇。将士稍有微功，便会加以赏赐。个人则生活俭朴，不畜资产，劝督农桑，又收葬枯骨，深得民心。晋元帝闻之大为激赏，遂下诏擢升其为镇西将军。石勒见祖逖势力日渐强盛，于是不敢发兵南侵，乃至命人在成皋为祖逖母修墓，又致信请求互市。祖逖虽未回信答复，却任凭双方军民互市，佯作不知。期年之后，却为此收利十倍，兵马日益强壮。祖逖部将童建因犯罪被责，杀新蔡内史周密归降石勒，石勒却杀死童建，并将首级送交祖逖以为示好。而祖逖为积存实力，亦下令禁止边将进侵后赵，不准接纳背叛后赵而归降者。如此两国边境安定，兖、豫二州人民得以休息，但不少人其实皆具双重身份，同时归属东晋与后赵两国。
元帝司马睿闻知祖逖与石勒隔黄河分治，不由大为疑忌，恐其坐大自治中原，不听朝廷调度，割据兖、豫二州。太兴四年，晋元帝遂命戴渊为征西将军、都督司、兖、豫、并、雍、冀六州诸军事、司州刺史，出镇合肥。祖逖深知戴渊虽有才望，却无远见卓识，闻听朝廷如此分派，便知是来羁糜自己之意。于是自思辛苦收复河南，却仍不得朝廷信任，心中甚为不快。其后不久，又闻王敦在朝中跋扈，唯亲是用，排斥异己，朝廷内斗日益尖锐。祖逖至此长叹不已，对心腹部将道：“朝廷如此，某忧其内乱爆发，乃迟早之事。届时数年努力化为乌有，北伐大业终难成也。”部将无不唏嘘怨怅，祖逖由是以致忧愤成疾。
祖逖虽患重病，但仍图进取，抱病与诸将营缮虎牢城。虎牢城北临黄河，西接成皋，向为军家必争之地。祖逖担心城南若无坚固壁垒，易被敌军分兵包抄攻破，遂又派从子祖济率众修筑壁垒，欲使虎牢关隘如金汤之固，亦作为今后北伐屯兵存粮之所。可惜！天不假英雄之寿，晋太兴四年，虎牢壁垒尚未修成，祖