张作霖当上清朝营官之后的第三年，即1904年2月，日俄战争爆发。双方为霸占东北地区丰富的资源而进行拚死争夺。面对这场战争，清朝政府采取了局外中立的态度，划出地盘让日俄军队在中国土地上相拚。1904年2月12日，光绪皇帝宣布：“日俄两国失和用兵，朝廷轸念彼此均系友邦，应按局外中立之例办理。”
北洋大臣袁世凯则认为，中国既不能参战，也不能帮着任何一方，如果帮了日本，那么俄国的陆军就会在我国西北边境采取行动，如果帮助了俄国，日本海军又会对我国东南沿海地区构成威胁，置身局外最好。
盛京将军增祺是朝廷命令的忠实执行者，在他的要求下，文武官僚均不得卷入这场战争。他还在地图上划出了日俄的交战范围范围，但人为划分战区纯粹是一厢情愿。虽然日俄两国都承认辽河以东为交战地，辽河以西为中立地，但战争打起之后，日俄两国就什么规矩都顾不上了。辽西的官军和绿林也在中外混杂的矛盾面前发生了分化，有的投靠日本有的帮助俄国，成了被利用的战争工具。
日俄战争期间，日俄双方都注意到了东北地方胡匪集团的作用，双方都施展小恩小惠，笼络、收买匪帮。日俄双方还派人对拉拢过来的胡匪组织进行训练和装备，以成为正规军的辅助力量，去打击和破坏对方的军事设施、补给线和战略物资。
1904年8月，日本国驻华公使内田、使馆武官青木宣纯大佐，纠集分散在北京、天津、东北的日本国“大陆志士”47人，组成7个“特别行动组”，即敢死队，其成员化装成中国人、蒙古人，分别潜向东北和内蒙古地区，侦察俄国军队的后方，破坏各种设施。其中第一组由横川省三、冲祯介等6人组成，1905年2月从北京率先出发，纵贯内蒙古乐行，前往吉江两省，玄豚破俄国控制的嫩江铁桥和东清铁路西干线。4月21日，第一组的六个日本人全被俄军发现而杀戮，无一人能生还。
这次失败给日本以沉重打击，由日本人直接充当敢死队的方案宣告失败了。随后他们改变了策略，不再由日本人去“敢死”，而改由日本人出面招抚东北和内蒙古一带的中国胡匪，配备步兵、骑兵、炮兵各兵种的现役军官，直接指挥这些胡匪队伍。日本参谋本部命令日本驻满洲军总司令福岛安正少将，直接组织和实施这一方案。
福岛安正发觉现役日本军人中大多不懂中国话，也不了解东北风土人情，就决定从国内和东北各地召集日本人，这些人包括日本浪人、商人、退役军人等等。日本军部将这些“大陆志士”，一部分派往日本驻满洲军、各级军政机构和间谍组织中充当翻译，另一部分人则与现役官佐合作，担任指挥和训练中国胡匪的特殊任务。
