叶剑英从云南陆军讲武堂毕业以后，到福建漳州投奔了孙中山领导的革命军队——援闽粤军，这支军队成立于1917年底。当时，孙中山在广州受军阀排挤，深感需要建立一支自己掌握的军队。他利用军阀之间互相争斗的机会，把广东省省长公署的二十个营的警卫军掌握到手，以其为基础建立起援闽粤军，并以护法爱国的名义将这支军队开入闽南，队伍很快由八千人发展到两万多人。
1920年秋，援闽粤军根据孙中山的指令，打回广东。驱逐了盘踞广东的桂系军阀。孙中山从上海回到广州，于1920年11月29日重新组织军政府，宣布继续“护法”。1921年4月7日，中华民国政府在广州成立，孙中山被选为非常大总统。这期间，叶剑英接受军政府副官长吴铁城的邀请，参加副官处的工作。不久，由吴铁城介绍，参加了孙中山领导的国民党。在孙中山任中华民国非常大总统的就职仪式上，叶剑英第一次见到了仰慕已久的孙中山。他聆听了孙中山的就职演说，受到极大的鼓舞。
1921年10月15日，孙中山率北伐军三万余人，到达广西桂林，准备取道湖南北伐。他将大本营设在桂林，并在这里开展了教育改造旧军队的整军工作。由于吴铁城的介绍，叶剑英以大总统随员身份，随孙中山到了桂林。在孙中山整军的过程中，他被分配到军官教导团任连副，参加整军工作。孙中山改造旧军队建立新军队的思想，给叶剑英留下了深刻的印象。
1922年2月3日，孙中山颁布动员令，命令各军出师北伐。可是，受孙中山委托留守广东的陈炯明，野心更加膨胀。他不但与湖南军阀赵恒惕结成反对孙中山的联盟，阻挠北伐军通过湖南，而且对孙中山委托的留守后方接济北伐军的任务阳奉阴违，竟停止供给北伐军粮饷、弹药，还派人刺杀积极接济北伐军的粤军参谋长兼第一师师长邓铿。
面对这种情况，孙中山决定暂回广州坐镇，以稳定后方。这期间，孙中山组建了海军陆战队，归新任江防舰队司令陈策指挥。叶剑英被任命为海军陆战队营长。
孙中山回镇广州后，做贼心虚的陈炯明立即避走惠州老巢，并与其部下叶举加紧策划叛变孙中山的阴谋。1922年6月16日凌晨3时许，陈炯明发动了武装叛乱。叛军四千人围攻广州总统府，炮轰孙中山的越秀楼住所，总统府顿时成了一片火海。叶剑英和海军陆战队官兵对陈炯明的叛逆罪行义愤填膺，立即投入了保卫孙中山的战斗。他们从心底里发出誓言:“誓死保卫孙中山!”“坚决与叛军血战到底!”
经过激烈的战斗，孙中山和夫人宋庆龄在卫队的保护下，先后脱险到达驻广州长堤的江防司令部。叶剑英在陈策指挥下，率领全营官兵护卫孙中山登上“宝璧”号军舰避难。后来，孙中山改乘“永丰”号军舰，前往黄埔，叶剑英继续率部护送。6月16日晚，孙中山在军舰上召开军事会议，决定令北伐军迅速回师戡乱，号召全军讨伐陈炯明。为配合北伐军回师，他还决定第二天亲率舰队沿珠江向广州市区挺进，狠狠打击叛军。
6月17日下午，孙中山率“永丰”号等五艘军舰，排成一字形，由黄埔港出发，劈风斩浪，向广州市区附近的白鹅潭挺进。叶剑英率领本部官兵，登上第3艘军舰“宝璧”号，紧随着孙中山的座舰前进。一路上，舰队用猛烈的炮火，不断向两岸叛军占领的阵地轰击，给叛军以很大杀伤。
当舰队挺进到白鹅潭附近时，突然，两岸炮声齐鸣，一颗颗炮弹呼啸着向舰队飞来。顷刻间，军舰周围掀起了冲天的水柱。“怎么回事?”孙中山急速地问左右。
原来，昨晚军事会议以后，海军司令温树德向叛军告了密。叛军叶举闻讯，立即连夜调集了许多大炮，部署到白鹅潭附近的珠江两岸。“给我狠狠地打！”孙中山面对叛军的攻击，果断地命令道。在叛军猛烈的炮火中，叶剑英所在的“宝璧”舰中弹负伤，舰艇被炸得左右摇晃。叶剑英沉着指挥部队，用步枪、机枪向敌人阵地射击。舰上的大炮也不断地向两岸叛军阵地射去，炸得叛军血肉横飞。
战斗达到白热化程度。忽然，叶剑英发现舰上的机枪不响了。他急忙跑去一看，原来射手中弹牺牲了。他不由分说，亲手抓起机枪，命令副射手:“给我装子弹!”“哒哒哒哒”，叶剑英操纵着机枪，猛烈地向敌人射击。舰队一边还击，一边向前挺进。各舰都不同程度地中了弹，舰上不时冒着火苗和硝烟。经过顽强奋战，孙中山率领弹痕累累的舰队，挺进到了白鹅潭，然后抛锚驻扎，等待北伐军回师增援。
舰队屹立在白鹅潭水面上，像一把钢刀插在叛军的身上，使叛军受到极大的威胁。他们不断地向舰队袭击。叶剑英率领本部官兵，与其他部队一起，一次又一次打退了袭击、骚扰的叛军。战斗的间隙，他严密组织士兵巡逻放哨，警惕地注视着敌人的行动，竭尽全力保卫着孙中山统的安全。就这样，叶剑英率部在舰上坚持战斗和巡逻达五十多天，直到孙中山于8月9日离开广州为止。
