1926年，蒋介石一手制造中山舰事件，国共决裂。共产党员接受中央决定，退出第一军和黄埔军校，聂荣臻和周恩来为北伐做准备。已是省军委书记的聂荣臻认识了女兵张瑞华。

“四一二”反革命政变爆发，党组织召开紧急会议，决定让党骨干分子转入地下。1927年7月，汪精卫宣布与共产党决裂，大革命失败。中共中央决定举行南昌起义，指定聂荣臻为书记，负责起义军各路部队联络工作。

1927年8月1日，南昌起义打响了对国民党反动派的第一枪。周恩来在战斗中受重伤，聂荣臻和叶挺想尽一切办法保护他，三人成功逃往香港。12月，聂荣臻回到广州，中央指示要发动广州起义，并请苏联的安德烈教官专门指导起义。安德烈提出按照“十月革命”的方法发动起义，聂荣臻反对。