当时的司马睿过的并不轻松，没有建立一个强有力的领导机构，还属于一个草台班子，即使司马睿想北伐也是心有余而力不足，何况司马睿也没有北伐的野心。
所以，当祖逖向司马睿建议北伐时，祖逖说：第一，中原板荡是由八王互相攻击引起的；第二，戎狄祸乱天下，民不聊生，如果北伐，百姓必然箪食壶浆以迎王师，成功是必然的；第三，您如果能够收复中原，将来青史留名是必然的。虽然祖逖说得慷慨激昂、吐沫星子乱飞，但是司马睿给他的答复却是“我精神上支持你，但是行动上有保留。”
司马睿任命祖逖为奋威将军、豫州刺史，给予了一千人的口粮和三千匹布的物资，而最重要的士兵和兵器却需要祖逖自己想办法。
人活着总要有梦想，虽然现实很残酷，但是祖逖带领着跟自己一同逃难的百余家人，毅然决然地出发了！站在渡江的船头，祖逖想到了自己年轻时的梦想，想到了前途漫漫，想到了这可能是一条不归路，想到了做一番事业的不容易，想到了有志者事竟成，于是拿起船桨狠狠拍在江面上，并对随行人说道：“祖逖不能清中原而复济者，有如大江！”
祖逖这辞色壮丽的一拍，拍去了笼罩在大家心头的阴影，拍起了大家必胜的决心，拍出了大家扫除荆棘的勇气，还拍出了一个流传千古的成语—中流击楫！
过江后，祖逖驻扎在了江阴，一边铸造兵器，一边招募人马。很快，祖逖就组建一支二千多人的队伍，稍事训练后，祖逖开始了北伐作战。
在这里需要交代一下当时天下形势。祖逖北伐首先要面对的是盘踞在冀州的石勒，石勒的北边是幽州的王浚，王浚的东北是鲜卑宇文氏、段氏和慕容氏；石勒的西边是刘渊建立的前赵，前赵的北边是刘琨，刘琨的北面是鲜卑拓跋氏；石勒的东边是盘踞在齐地的曹嶷。还有益州的成汉政权，以及凉州的张氏。此外，西晋的遗老遗少也组织了不少武装力量，还有散布在各地的地方武装以及数不尽的土匪。
祖逖北伐首先遇到的就是张平组织的流民武装。早在刘演阻击石勒石，出于拉拢同盟的需要，刘演任命张平为豫州刺史、樊雅为谯郡太守，此外还有董瞻、于武、谢浮等十余股武装力量，每股人数有几百人，名义上都归张平领导。祖逖选中了谢浮作为突破口，诱使谢浮杀死了张平，祖逖成为了谯郡各武装力量的首领。
司马睿很高兴，轻轻松松就把势力范围往北推进了一大片，更重要的是司马睿得到了舆论的支持，所以司马睿派人给祖逖送去了口头奖励和大批粮草，但是由于路途难通（可见当时到处都不太平），口头奖励到达了，但是粮草没送到，祖逖的部队遭遇了粮食短缺，无奈之下，祖逖只能继续向前推进，占据了太丘。
乱军之所以成为乱军，一是因为哥们义气太重，再就是容易反水。张平的部下樊雅派人偷袭了祖逖，由于事发突然，敌人差一点就杀入祖逖的中军大帐，多亏了董昭力战才击退了敌人。在敌人撤退时，祖逖亲率部队追击，结果已经归顺的原张平部队又反水了，这些乱军联合起来进攻祖逖。
祖逖招架不住，只好向盘踞在蓬陂的地方武装陈川求救，陈川自称宁朔将军、陈留太守，当然陈川自认是朝廷命官，所以很痛快的派李头率军驰援祖逖。在援军的帮助下，祖逖攻克了谯城。
这不是祖逖第一次向别人求援，在此之前，祖逖已经向南中郎将王含求助共同围攻谯城，王含派桓宣前来助攻。当桓宣赶到时，祖逖和李头已经拿下了谯城，桓宣就回去复命了。
祖逖攻克了谯城后，石虎立即率军赶来了。石虎的军队可不是地方武装可比的，为保谯城不失，王含又把桓宣派了过来。听说桓宣来了，石虎又撤军了。来回奔波也不是办法，于是桓宣就留了下来，协助祖逖讨伐周围的地方武装。
像祖逖这种性格的人，是十分会处理人际关系的。李头虽然不是祖逖的手下，却对祖逖佩服的五体投地。战斗中，祖逖俘获了樊雅的战马，这是一头千里宝马，李头一见就爱的不要不要的，但是李头却不敢向祖逖索要，祖逖看出了李头的心思，当即大手一挥把这匹宝马送给了李头。人最大的满足不是有多少钱或做多大的官，而是受到别人的尊重！李头感觉到了祖逖的尊重，感慨地说：“若得此人为主，吾死无恨！”
陈川听闻后十分生气，立即处死了李头。李头死后，李头的亲党冯宠率领部下四百多人背叛了陈川，投入了祖逖的麾下。陈川更生气了，居然派魏硕袭掠祖逖的辖区，抢夺了大量人口和财物。祖逖派卫策在谷水阻击了魏硕，抢回了被魏硕抢夺的人口和财物。祖逖是真正打算北伐的，所以要建立一个稳固的后方，因此祖逖并未把这些人口和财物当作战利品私分，而是物归原主。
陈川这种乱军就像是一条丧家犬，你指望他的忠心绝对是痴心妄想，民族气节他是绝对没有的，众叛亲离的陈川立即率众投降了石勒。
当祖逖率军讨伐陈川时，陈川的新主人石虎带领五万大军赶来救场，史书上没有记录当时祖逖部队的规模，但是对石虎绝对形不成压倒优势。我们不要忘记，战争从来不是死磕，计策才是王道。祖逖用计让石虎吃了一个大亏，石虎不得不把陈川送回了老巢襄国，而留下桃豹留守陈川故城。
桃豹估计也想在此立功，没想到却是一地鸡毛。
站在桃豹一方，估计受上次战争的阴影，他不敢轻举妄动，而是想伺机而动，与祖逖打个持久战。站在祖逖的一方，拖住桃豹而不打，后赵的大军就不赶来，拖一拖恢复一下元气也是个不错的选择。总之，双方在同一个城市里住了下来，桃豹驻扎在西台，从南城门出入；祖逖的部将韩潜驻扎在东台，从东城门出入，双方这样和平共处了一个月零十天。
时间一长，双方的补给都出现了问题。祖逖一看部队也休养的差不多了，到了该搞桃豹的时候了，杀敌一千自损八百那是匹夫之勇，祖逖决定吓退桃豹。
祖逖命人晚上找来一大批口袋，然后在口袋里装上土，白天一到，就命令一千多个士兵高高兴兴地把这些装土的口袋运到东台之上。当然不能愁眉苦脸地运土，而要高高兴兴地，好像像搬的不是土而是粮食！人是钢饭是铁一顿不吃饿得慌，双方对峙了一个多月，大家早就饿的前胸贴后背了，之所以双方能够和平相处，吃不饱没劲打仗也是原因之一。
后赵的士兵一看东晋士兵在运粮食，眼睛都绿了，拼死拼活的为了什么？不就为了能吃口饱饭吗？后赵士兵恨不得立马跑到东晋那边跪地投降。桃豹也不是吃素的，一看士气出了点问题，就大声对士兵们说：“你们别被敌人迷惑了，他们运的根本不是粮食，你们想想，他们哪来的那么多粮食？”士兵们低头一想，桃首领的话貌似有点道理。
你有张良计，我有过墙梯。桃豹你以为祖逖就这点本事？还有后手等着你呢！只见东晋运“粮”队伍最后面几个人，长得确实有点羸弱，运了几次粮累得好像实在走不动了，脑子似乎也被疲劳搞的不清醒了，这几个人居然一步三摇的脱离了队伍，然后索性就躺在地上休息了，躺的地方居然还在后赵势力范围的边缘！这几个人躺下后，所搬运的口袋倒在了地上，里面居然撒出了白花花的大米！对，就是大米！后赵的士兵也不管一旁呆若木鸡的桃首领，不顾一切地冲上去就去抢倒在地上的粮食，当然后赵士兵也没时间思考，“为什么刚才还像死狗一样躺在地上的东晋人，怎么居然一下子生龙活虎地就跑了呢？”
敌饱我饥，这仗怎么打？桃豹也是久经沙场的将领，御下也是有些手段的，桃豹一边用高压态势防止士兵逃跑，一边命令部队龟缩防守，一边鼓舞士气，当然鼓舞士气最好的办法就是画饼！桃豹的饼也不是纯粹的空头支票，因为石勒已经派刘夜堂正星夜赶来给桃豹送补给！
战场上最重要的就是消息准确！祖逖准确获悉了刘夜堂的动向，立即派韩潜、冯铁率队截击刘夜堂，在汴水一举俘获了刘夜堂押送的一千多头驴以及驴驮运的粮食。假有粮的祖逖真有粮了，真没粮的桃豹真没粮了，黔驴技穷的桃豹只能趁着夜色的掩护逃入东燕城。
面对新形势，祖逖又重新调整了战略布局，不但稳固住了已有地区，又把战线往前推进了一大段，而且经常派人骚扰后赵，结果战场形势一变，展现出了不可思议的一幕：晋强赵弱。
