，逼得桃豹退守东燕城。祖逖命韩潜进占封丘，压逼桃豹，自己则进屯雍丘。

击退桃豹后，祖逖又多次出兵邀截赵军，使石勒在河南的力量迅速萎缩。

河南境内有赵固、上官巳、李矩、郭默等割据集团，各据一方，经常兵戎相见。祖逖遣使调和，示以祸福，晓以大义，使赵固等人都服从自己的统一指挥，成功收复黄河以南中原地区的大部分土地。

当时黄河沿岸还有一些坞堡主，迫于后赵兵势，不得不臣服于石勒，送子弟到襄国为质。祖逖理解他们的处境，有时还会派出小股部队，伪装抄略这些坞堡，以表明他们并未归附晋朝，消解石勒的疑心。

诸坞感恩戴德，经常帮助北伐军刺探情报。祖逖因此在战场上始终处于主动地位，屡破赵军。

祖逖礼贤下士，善于体恤民情，即使是关系疏远、地位低下之人，也能施布恩信，予以礼遇。将士稍有微功，便会加以赏赐。

他生活俭朴，不畜资产，劝督农桑，带头发展生产，又收葬枯骨，深得民心。刘琨在给亲戚写信时，大力称颂祖逖威德，晋元帝也下诏擢升他为镇西将军。

石勒见祖逖势力强盛，不敢南侵，命人在成皋县为其母修墓，又致信请求互市。祖逖虽未回信，却任凭双方互市，为此收利十倍，兵马日益强壮。

后来，祖逖部将童建叛归后赵，石勒将其斩杀，向祖逖示好。祖逖亦与石勒修好，禁止边将进侵后赵，边境暂得和平。

太兴四年（321年），晋元帝任命戴渊为征西将军、都督司兖豫并雍冀六州诸军事、司州刺史，出镇合肥。

祖逖认为戴渊虽有才望，却无远见卓识，而且自己辛苦收复河南，却仍不得朝廷信任，心中甚为不快。

不久，祖逖又听闻王敦跋扈，朝廷内部矛盾日益尖锐的消息，担心内乱爆发，北伐难成，以致忧愤成疾。

祖逖虽患病，但仍图进取，抱病营缮虎牢城。虎牢城北临黄河，西接成皋，地理位置非常重要，他担心城南没有坚固的壁垒，易被敌军攻破，特意派从子祖济率众修筑壁垒。

但壁垒尚未修成，祖逖便在雍丘病逝，时年五十六岁。

祖逖死后，豫州百姓如丧父母，谯梁百姓还为他修建祠堂。晋元帝追赠祖逖为车骑将军，并命其弟祖约接掌其部众。

后赵趁机入侵河南，祖约难以抵御，退据寿春。祖逖收复的河南大片土地最终又被后赵攻陷。

“闻鸡起舞”，说的是祖逖与刘琨。

祖逖与刘琨一同担任司州主簿时，感情深厚，常常同床而卧，同被而眠。一次，祖逖半夜听到鸡叫，认为这是上天在激励他上进，便叫醒刘琨道“此非恶声也。”然后与刘琨到屋外舞剑练武。后人用“闻鸡起舞”比喻有志报国的人即时奋起。

总得来说，祖逖殿后，司马用便放了大半的心。