1927年10月初，南昌起义部队向广东海陆丰撤退，途中突遭国民党军队的包抄突袭，除部分趁夜色成功突围外，其余大部被打散。在突围中，聂荣臻和叶挺始终护送着身患疟疾的周恩来，最后只剩下几个人和一只小手枪。聂荣臻设法找到中共汕头市委书记杨石魂，在杨的帮助下，大家转移到流沙附近马栅村一户农家。到了晚上，又找来一副担架，几个人把周恩来抬上，经惠来转移到陆丰。一面寻医为周恩来治病，一面筹措路费，准备船只。10月中下旬，杨石魂找来一条小船，亲自护送周恩来、叶挺和聂荣臻出海到香港。在茫茫大海中颠簸了两天一夜，好不容易才到了香港。聂荣臻等抵港后，又经一番周折才与中共广东省委取得联系。
聂荣臻
12月11日，广州起义爆发，聂荣臻参与领导广州起义。起义失败后，他返回香港，协助省委处理起义的善后工作。1928年11月，聂荣臻在省委第二次扩大会议上当选为省委常委，并任军委书记。
鉴于广州起义时很多同志不懂军事技术和战术，聂荣臻经常开办几十人到上百人左右的训练班，起初主要培训广州起义失败后撤退到香港的同志，后来主要培训从两广各地来的同志。聂荣臻在训练班讲课时，引用了一些太平天国的例子，但主要是讲述黄埔军校、北伐战争以及南昌起义、广州起义的经验教训。
1929年三四月间，蒋桂战争爆发，国民党统治集团内部矛盾进一步激化。为打开广西武装斗争工作局面，党中央派邓小平作为中央代表，前往广西领导左右江起义。邓小平途经香港时，省委书记贺昌和聂荣臻向他介绍了广西情况。此后一段时期，派遣干部到广西开展武装斗争成为省委军委的重要任务之一。聂荣臻为此做了大量工作。
聂荣臻在香港坚持斗争期间，敢于与党内的“左”倾冒险错误进行斗争。1928年6月至7月，党的六大在莫斯科召开，选举工人出身的向忠发为党的最高领导人。由于向忠发缺乏领导能力，中央工作实际上由中央政治局常委、中央宣传部部长李立三主持。在共产国际“左”倾指导思想的影响下，党内逐渐形成了“左”倾冒险错误。1929年“五一”前夕，李立三下死命令，一定要香港搞游行示威。根据广东省委的决定，这次游行示威由邓发担任总指挥，聂荣臻到现场参与组织指挥。“五一”当天，聂荣臻来到游行队伍集结的地点，发现来的都是骨干和负责同志，差不多是清一色的党员和干部，没有什么群众，便找到邓发一起到附近的茶楼里，以喝茶作掩护进行交谈。聂荣臻对邓发说，今天这个游行不能搞，一搞游行就全部暴露了，以后香港党的工作还怎么做！邓发看到情况不对头，同意聂荣臻的意见，便把集合起来的人都打发回去了。事后，聂荣臻到上海向中央报告情况，被向忠发指责为“临阵脱逃”。聂荣臻据理力争，两人谁也没说服谁，事情也就不了了之。
1929年10月底，聂荣臻以省委巡视员的身份，前往东江特委巡视工作，历时约1个月。此时东江地区的革命形势处于低潮，特委机构很不健全，特委领导又因多次受到省委批评而情绪低落。聂荣臻在谈话中，以鼓舞革命斗志、提高胜利信心为工作重点，客观分析了两广地区的革命形势，对省委批评特委的问题进行了解释。聂荣臻建议特委把东江红军下属武装力量进行合理部署，深入到农民群众之中，以继续开展秋收斗争、发动农民为中心任务，积极开展工作。临走前，聂荣臻对特委作了组织调整，增强了特委的领导力量。
根据省委的指示，聂荣臻创办了《香港小日报》。报纸公开发行，但为了避免引起怀疑，以灰色面目出现，内容尽量含蓄，在无关大局的问题上，有时还讲几句港英当局爱听的话，但总的方面仍然是宣传党的方针政策，替劳苦群众说话，针砭时弊。该报办了一年左右，就被港英当局查封。
从1927年10月南昌起义失败后赴港，到1930年初调往天津顺直省委工作，聂荣臻在香港坚持了两年多时间的地下斗争，每时每刻都处于白色恐怖之中，但凭着机智勇敢，屡屡化险为夷。有一次，聂荣臻、恽代英找叶剑英碰头，谈完话后分头返回各自住处，在门口看到雇请的阿姨正在把他的行李搬到楼下，还向他使了个眼色。聂荣臻知道情况不对，便没有吱声，转身就走。事后得知，同他住在一起的军委委员杨剑英已经被捕，敌人正在房间等他回来。还有一次，聂荣臻去参加青年团召开的会议，当他赶到开会地点正要上楼时，看到敌人抓了一些团员正在下楼，便瞬间镇静下来，硬着头皮，大摇大摆地继续往上走，和敌人擦身而过，敌人反倒没有查问。再有一次，聂荣臻在有轨电车上遇到一个叛徒，这个叛徒还向他点头打招呼，他知道情况不妙，在电车还没有到站停靠，就赶紧跳车跑了，总算又躲过了一次危险。
