徐树铮到武备学堂成为段祺瑞的师爷之后，并不像传统师爷那般咬文爵字、酸气冲天，反而对自己严格要求。段祺瑞很注意练兵，而且深谙以身作则的道理，每天都亲自带队上操。作为段祺瑞的秘书，徐树铮本是不用出操的，但他却每天都跟官兵们一起出操，这使得段祺瑞对他的大加赞赏，连前来看操的袁世凯也认为他是个与众不同的人。
从此以后，段祺瑞在武备学堂招生、命题、考试、阅卷等很多事务中都是徐树铮替他出谋划策，鞍前马后。同时，段祺瑞还延请徐树铮作为其家庭教师，教导其子段宏业读书识字，这样他们的关系又更进一层了。
北洋六镇成立，段祺瑞历任第三镇、第四镇和第六镇统制，徐树铮就一直跟着段祺瑞当师爷。本来段祺瑞想提拔徐树铮做官，但他表示自己不愿做官，此时正值清朝政府向日本大量派遣留学生学习的时刻，徐树铮便向段祺瑞表达想去日本留学，学习军事，增长见识的意愿。
1905年，在段祺瑞的帮助下，徐树铮以江苏籍学生的身份被派遣到日本流程，从此开始他留学东洋的生涯。他先入振武学校学习三年，毕业之后，进入日本士官学校，编入清国陆军留学生队第七期，习步兵科。徐树铮刚到日本的时候，正值日本国力蒸蒸日上，日本蕞尔小邦，一战而胜中国，二战而胜俄国，俨然已经是东亚第一强国， 这给徐树铮极大的刺激，这促使他在日留学期间，广求新知，奋发上进，各项功课都学得很好，还在业余时间主动学习英语。
清国学生在日本难免会受到一些歧视，这更加刺激了徐树铮争强好胜的个性。某次他和同学一起到居酒屋喝酒，这里有个艺伎酒量很好，徐树铮知道后，说：“酒是中国人发明的，谁也喝不过中国人。”于是他就和这个艺伎比试酒量，而且对方喝一杯，他喝两杯、三杯，最后喝的酩酊大醉。甚至第二天还去找那个艺伎喝酒，痛饮一场才罢休。
当时孙中山、黄兴、宋教仁等仁人志士在日本开展革命活动，他们于1905年组织中国同盟会，日本士官学校的很多中国学生如孙传芳、赵恒惕、阎锡山等都加入了同盟会，但徐树铮虽然对清廷的腐败无能相当不满，却并没有参加革命活动。主要原因即在于徐树铮志在整军，其政治思想属于社会改良的范畴，与孙中山等人激进的革命思想“道不同不相为谋”，而与袁世凯等官僚立宪派的社会改良主张相同。
1910年，徐树铮以优异的成绩结束了留学生涯，欣然回国。在回国途中，见到大海波涛汹涌，诗兴大发，写下了《谢龚致初赠倭刀》：
横海归来壮，风云变态多。
宝刀堪赠我，世事竟如何？
击楫会宵舞，逢人莫浩歌。
为君勤拂拭，明日斫蛟鼍。
徐树铮回国后，暗暗下决心，要学祖逖击楫中流，闻鸡起舞，跟随段祺瑞斫蛟斩龙，逐鹿中原，干一番轰轰烈烈的大事业。
