范阳人祖逖，年轻时就立下大志。他和刘琨一起担任司州主簿，与刘琨一起睡觉，夜半时听到鸡叫，就把刘琨踢醒，说：“这是好的声音啊。”于是起床舞剑。逢乱渡江以后，左丞相司马睿让他担任军咨祭酒。祖逖住在京口，招募骁勇强壮的勇士。
祖逖劝说司马睿派军光复中原，司马睿一直没有北伐的志向，听了祖逖的话后，就任命祖逖为奋威将军、豫州刺史，但只拨给他一千人的口粮，三千匹布，不供给兵器，让祖逖自己想办法募集。
祖逖带领自己的部曲共一百多户人家渡过长江，到江心的时候，斩桨发誓，说：“我如果不能廓清中原，就不再渡江回来，就像大江一样有去无回!”渡过长江后驻扎在淮阴，建造熔炉冶炼兵器，又招募了二千多人继续前进。
流民张平和樊雅在谯地各自聚集了几千人，自任坞堡堡主。祖逖进攻他们，一年多也没能攻克。祖逖于是诱降张平的部将谢浮，让他杀掉张平，然后进军占据太丘。樊雅还占据着谯城，抵抗祖逖。祖逖久攻不下，于是向南中郎将王含请求援兵。桓宣当时担任王含的参军，于是派桓宣劝降樊雅，樊雅归降。祖逖进入谯城以后，石勒派遣石虎围困谯城，王含又派桓宣求援，石虎解围而去。祖逖上表请求任命桓宣为谯国内史。
晋太兴三年(公元320年)，祖逖的部将韩潜和后赵将领桃豹分别占据陈川旧城。桃豹占据西台，韩潜占据东台。双方互相攻守了四十天。
祖逖用许多布袋盛满土，好像盛满粮米的样子，派一千多人运到台上。又让一些人挑着真米，在路边休息，桃豹的士兵追他们，就丢下担子逃走。桃豹的士兵已有很长没有吃饱饭了，得到粮米，以为祖逖粮食充足，心中更为恐惧。后赵将领刘夜堂用一千头驴子为桃豹运来军粮，祖逖派遣韩潜和别将冯铁在汴水截击，全部缴获。桃豹连夜逃跑，驻扎于东燕城。后赵镇守边界的士兵归降祖逖的有很多，国土也日渐缩小。
七月，司马睿下诏加授祖逖镇西将军。祖逖在军中，与将士们同甘共苦，严于律己，鼓励农业生产，安抚新归附的士民，即使是关系疏远、地位低贱的人也用恩惠礼貌去结交他们。
黄河流域的许多坞堡，此前有人质被扣留在后赵，祖逖便都听任他们同时服从后赵与晋，并且不时派遣机动部队假装抄掠，以表明他们并未归附自己。坞堡主人们都感恩戴德，只要后赵有什么特殊举动，就秘密报告祖逖，因此打仗经常获胜。黄河以南地区，多半背叛后赵而归附东晋。祖逖训练士兵，积蓄粮食，为收复黄河以北的失地做准备。
晋太兴四年(公元321年)七月，司马睿任命尚书仆射戴渊为征西将军，统管包括豫州在内的六州各项军务。豫州刺史祖逖认为戴渊是吴人，虽然有才能和名望，但没有远大的抱负和高明的见识。而且自己披荆斩棘，收复河南失地，而戴渊却舒舒坦坦，一下子来管辖自己，所以心中郁郁不乐。又听说朝廷内部不和，国家将有内乱，知道统一北方的大业难以成功，受到很大刺激，因此卧病不起。九月，祖逖在雍丘去世，豫州百姓就像失去亲生父母一样，谯、梁二地的人们都为祖逖建立祠堂。
