1907年，徐世昌出任东三省总督后，得知巨匪杜立三聚众数千，不久前还打死了一百多官军，大为烦恼。张作霖主动请缨，表示在三个月内除掉杜立三。 辽西巨匪杜立三拥有三千多匪众，盘踞之处又地处辽阳、新民、海城三地交界处的“三界沟”，这里山高林密，地形复杂，易守难攻，很难用武力消灭。 这时，驻军新民的五营统带（相当于团长）张作霖，主动提出愿意参与清剿杜立三。徐世昌大喜，特派殷鸿寿去新民，协助知府知府沈金鉴和张作霖筹划相关事宜。 张作霖在被招抚之前，曾与杜立三发生冲突，后来经人调解，两人不仅化干戈为玉帛，还拜了把子，以兄弟相称。如今为了升官发财，张作霖对这个昔日把兄弟便开始磨刀霍霍。张作霖知道对付杜立三用武力不行，此前官府几次派兵进剿都大败而归，之后杜立三为了报复，突袭了官军的兵营，杀死一百多人，一时间附近的官军提起杜立三是两股战战，都不愿意再去惹这个魔王。 杜立三本人武功高强，尤其马上功夫过硬，他双手用枪，百发百中。其营寨固若金汤，戒备森严。张作霖与知府沈金鉴商议之后决定智取。 于是，张作霖以把兄弟的名义，给杜立三写了一封信，说奉天省派大员殷鸿寿前来招抚杜立三，给的官职比张作霖的还高，让杜立三速到新民府来面谒省里的招抚大员，然后到奉天向总督徐世昌致谢。 张作霖派亲信将信送到“三界沟”杜立三手中，杜立三看信后对张作霖的亲信说：“你回去告诉他，他是官，我是匪，我和他兄弟情谊已尽。道不同不相为谋，还是各自好自为之吧。” 此计不成，张作霖又生一计，杜立三的同宗叔叔杜泮林和张作霖有一定交情，而杜立三从小最听这位叔叔的话，张作霖派人到黑山将杜泮林接到新民府，大摆筵席为其接风。 在筵席上，张作霖一本正经地对杜泮林讲：“做土匪终究不是出路，如今朝廷招安，杜立三应该抓住机遇，金盆洗手，以他的才干，效力朝廷后还怕得不到高官厚禄吗？如今朝廷是铁了心要剿匪，他若执意不肯接受招安，三千多人马看似不少，但要是惹恼了徐总督，派上万把官军来围剿，他就不是对手了。我是真心替他着想，却无论如何无法说服他，杜立三最听您的话，请务必劝他投靠朝廷。” 对张作霖的话，杜泮林起初还不是很相信，但接着，张作霖将杜泮林引见给殷鸿寿，以表示这是真心实意想要招抚杜立三。 如此一来，杜泮林对张作霖的话深信不疑，随后便给杜立三写信说：“游侠非终身之事，梁山岂久居之区？一经招安，不仅出人头地，亦且耀祖荣家。” 杜立三看完杜泮林的亲笔信，感到叔叔说得有道理，便于1907年6月6日，率手下十多人前往新民府接受招安。 尽管如此，杜立三仍对张作霖还是高度警惕，在晋见殷鸿寿时，他选择坐在背墙面对众人的位置，双手始终插在裤子口袋里，紧紧握着枪柄。 殷鸿寿靠在大烟榻上，吞云吐雾，先是对杜立三大加赞扬，接着请杜立三到另一张大烟榻上，一起边吸鸦片边聊，杜立三则以从不吸食鸦片为由拒绝了殷鸿寿。 在杜立三晋见殷鸿寿的整个过程中，张作霖一直没有找到机会下手，直到杜立三准备离开时，张作霖心知这是最后的机会了，与殷鸿寿交换一下眼神，殷鸿寿立刻会意，高喊：“送客。” 门外埋伏的士兵听到这声“送客”，立即做好准备，就在杜立三刚刚迈出府衙的门槛，准备回身请众人“留步”的一瞬间，门外埋伏的士兵突然一拥而上，死死抱住杜立三，让他的双手不得动弹，然后将他捆绑起来。 杜立三则高声怒吼，示意门口的随从前来帮忙，但他的十多名随从早已被张作霖的人拿下。 当晚，为了防止夜长梦多，张作霖等人便迫不及待地将杜立三在新民西门外执行枪决，辽西巨匪杜立三就这样命丧“兄弟”之手。 杜立三死后，“三界沟”的三千多土匪失去头领，在官军的进攻下，很快作鸟兽散。杜部的残匪，纷纷自立为王，分裂成十几个小匪帮，结果被张作霖的派张景惠带兵各个击破，打死少部，招降大部。 在杜立三的老巢里，张作霖缴获了大批财物，仅银元就有几百缸，而金银珠宝、枪械弹药则装了整整10大车。 张作霖因出色完成消灭杜立三匪帮的任务，得到总督徐世昌赏识，于1907年8月17日被清廷升任奉天省巡防营前路统领，驻防洮南。 1908年初，张作霖又奉徐世昌之命，率部至辽源、洮南一带，追剿叛匪陶克陶胡、白音大赍、牙什等部。 这次剿匪，整整进行了一年之久，最终于1909年2月2日，张作霖率部追至陶克陶胡的老窝，冰雪覆盖的索伦山下，生擒牙什、击毙白音大赍，并于1909年春，将陶克陶胡驱逐，取得了胜利。 这次胜利，绝非张作霖以往剿匪之功所能比拟，徐世昌大喜过望，将张作霖所部的五个营扩充为七个营，同时将驻洮南的孙烈臣部划给张作霖指挥，使得张作霖部增至3500人，实力大增。至此，张作霖跻身为东北清军高级将领，为后来的割据自雄打下了基础。
