赵声没有想到第五镇来的这样快，更没有想到第五镇不走广东，而是循梧州南下，直扑灵山。按照刘道一所说，第五镇的前锋部队最多再有三日便抵达灵山了。
怎么办？打不打？赵声内心是很想打这一仗的，但自己手下不足千人，弹药也不甚充裕，要打也需要黄兴将义军大队带过来。于是急派人通知黄兴，黄兴接报后立即带领其余三个大队整队北上，增援赵声。
赵声在等待援军的时候，遭到了刘道一的反对。刘道一名气很大，赵声虽不认识，但也听说过此人。据说孙总理因为刘道一之死还流了泪，激愤之下作诗纪念。没想到刘道一是个没骨气的，被俘也就罢了，竟然为清军张目，说什么实力相差悬殊，这个仗决不能打。
赵声照样做他的备战工作，对于刘道一急于见到黄兴的要求，赵声讥讽道，不至于连灵山都不敢呆着了吧？黄先生马上就带大军到了，我们就在这里与鞑子决一死战！
湘赣举事大败的阴影一直笼罩着刘道一，特别是得知第五镇只用了一个步标和一个骑标便终结了战局之后更是郁闷。他坚信赵声的千余人不是第五镇的对手，去年秋天的悲剧即将重演了。
黄兴带着王和顺的一大队来到灵山后，肯定了赵声打的主张。其实也没办法，如果一枪不放退出灵山，钦州难保，起义也就失败了。至于刘道一将部队带至广西的建议，黄兴根本不予考虑。义军主力都是廉州府当地农民。很难说服他们离开故土。
黄兴见刘道一活着很是高兴，但军情紧急，却没时间听刘道一啰嗦，抓紧时间部署军事了。
既然黄兴坚持打，刘道一的意见也就没有了市场。在研究具体的打法上，赵声根据刘道一的情报，提出了作战的具体设想。他是懂一点军事的。认为己部之长在于地形熟悉，以逸待劳，短处在于弹药不足，人数也处于劣势（赵声还是清楚自己受过训练的士兵太少了），“以一部主力坚守灵山。阻击清军于坚城之下，我带四大队潜行敌后，先打掉他的辎重，然后夹击之，可获全胜。”
黄兴赞同赵声的方案。决定自己带王和顺大队与正在赶来的二大队守卫灵山县城，赵声带四大队迂回敌后。断敌后路。
赵声提出从四大队抽一部分兵力充实守城，他对于王和顺和刘思裕的部队没有战斗力的事实一清二楚。
黄兴同意了，于是临时调整了部队。从一大队抽调了两个中队编入四大队，而从四大队抽出两个步队编入了一大队。
韩策参与了义军的全部决策，现在他面临一个重大的分歧点，要不要逃出去向自己的部队报告？情报处给他的命令是长期潜伏。但现在情况又是如此的紧急，如果赵声的计划得逞，至少前锋部队会遭遇损失……两个因素导致了韩策没有脱身送信，一是黄兴叫了他去部署城防，他找不到合理的理由离开。第二个原因就是他相信第五镇的战力，战术在过于悬殊的实力面前是没有多大作用的，就像一个会武术的孩子。无论如何打不过一个不会武术的壮汉。
冯仑第二十标甩开了第十协主力约两天的路程，在7月26日中午，也就是黄兴抵达灵山的第二天抵达城下，先期到达是二十标的两个步营、骑兵连和机炮连，其余部队尚在几十里之外。根据骑兵连的侦察，灵山已被义军夺占，人数不详。骑兵连还报告说，城头立着中华革命军南军大都督的旗号，上面写着一个大大的“黄”字。
“是黄兴吗？那可太好了。”冯仑不顾部队的疲劳，稍事整顿便下令夺城，在他看来，机炮连几发迫击炮弹打过去，对手早就跑的没影了！
“以一营正面主攻，机炮连立即占领阵地，用火力掩护一营攻城。三营为预备队。打开灵山，我们好好休息一天。张俊伟，下面就看你的了，别给老子丢了人。去年十七标在袁州露了脸，现在该咱们了！”冯仑在视察了地形后，下达了简单的作战命令并做了冯仑风格的作战动员。他不愿意让疲倦不堪的部队翻山越岭包抄后路了，仗着武器精良，官兵训练有素，决定正面强攻，一举夺占城池。
灵山之战就这样打响了。
第二十标是叶延冰一手训练的部队，最近蒙山军人事变动厉害，副标统吴念留山东直升旅长，一营营长车彪调补充团任副标统兼参谋长，现在指挥一营的是原副营长兼一连连长张俊伟。
看过地形的参谋长刘春宁却觉得灵山不好打，“冯头，灵山城西临大山，东靠钦江，易守难攻，我军初到，缺少攻城器械，不如先夺取西面的山头，将迫击炮和重机枪拖上山梁，他们就没法子坚守了。”
“哪用那么费事！一座破城，几炮就轰开了。”冯仑没有采纳刘春宁的建议。
战斗在下午四时三十分打响，机炮连的四门迫击炮发射了三十几发炮弹，将城楼炸塌了，燃起了大火，一营长张俊伟一声令下，麾下四个连除了四连充作预备队外，三个连在重机枪的掩护下发起了攻击，他们只来得及做了三架简易的云梯，每个连一部。
冯仑在望远镜里观察着战况，惊讶地发现敌军并未被炮火打散，他们勇敢地投掷手榴弹并朝着城下开火，其中竟然有一挺重机关枪在啸叫，尽管看到不少守军被己方八挺猛烈开火的重机枪打倒，但火力并未彻底压制，守军也没有崩溃，而是前赴后继英勇抵抗！
居中进攻的二连首先被打垮，望远镜里至少倒下了十几个士兵，云梯也被炸断了。
“奶奶的。他们穿着制服，是新军！怎么搞的？！”冯仑大怒。
第一次攻击失利，二连连长头部中弹阵亡。战斗只打了十五分钟就结束了，在撤退的号音中，一营的三个连队交替掩护撤了下来。
“副协统，守卫灵山的是广东新军！出了我们不知道的情况！”刘春宁急促地说。
“我又不是瞎子！”火气被激起来，冯仑对张俊伟说。“你行不行？不行的话就给老子撤下来，让三营上！”
“一营不会给你丢脸！这次我亲自带突击队上。”张俊伟一梗脖子。
“好，就是要这种劲头！突进去，不要俘虏，全给我宰了！”冯仑恶狠狠下令。
“副协统。不能这样，要先搞清楚情况！”刘春宁着急地说，“至少要等山炮营上来！”
“你是怕误伤友军吗？我不管他是谁，挡着老子的路就不行！等炮营？要是等炮营老子干嘛这么赶路？”冯仑一把推开刘春宁，亲自去一营部署攻坚了。虽然性格暴烈，但冯仑并不是无谋之辈。他对正在绑扎云梯的一营官兵说，“停下，不要这玩意了了。用炸药炸，将城墙给我轰开一段！”
“嘿！瞧我这脑子，真他妈的笨死了。”刘俊伟一拍脑门。土工作业是蒙山军步兵部队的优势之一，爆破是必练的科目。
“开两个点。现在就动手挖，从射程外挖起，用交通壕逼过去！”冯仑指点着城墙说，“然后堆上足够的炸药，将这个狗屁灵山给我炸平。”说完，冯仑跑到机炮连，将几个军官臭骂了一顿。自然是嫌他们没有压制住对手的火力，“待会儿那挺机枪再响，老子全部毙了你们！”
二十标在改变战术后，守卫城墙的义军立即感到了巨大的压力，遭受了巨大的伤亡。一营以及三营抽出的神枪手和重火器彻底压制了城头的火力点，仅有的一挺法制重机枪在转移了两次阵地后还是被摧毁了，一发60mm迫击炮弹准确地落在了机枪阵地，射手连同机枪化为了零件。一营的掘壕工作顺利进行，因为没有护城河，很快就推进到城下，由于有了交通壕的掩护，城上投掷的手榴弹杀伤力小了很多，关键是守军的手榴弹和子弹都很有限，限制了火力的发挥。
一营只付出了七个士兵的伤亡，在天色暗下来的时候，两个爆炸点被挖好，开始将炸药包运过去。一营的两支突击队也组建完毕，分别由一、三连的副连长带队，只等爆破手起爆后发起冲锋了。
倦曲在城头的韩策找到了一脸枪油黑污的黄兴，“大都督，不能打了，撤吧，要不来不及了！”
“不，不能撤。我们一撤，就将赵声卖了！”黄兴手里握着一支日式步枪，固执地摇摇头，“我想，赵声他们也该动了。”
放佛听到了黄兴的话，在北面，猛然想起了激烈的枪声和爆炸声。
赵声本想等夜幕降临后突袭进攻者，但他注意到了灵山县城的危机，果断地发起了攻击。
冯仑太大意了，他根本没想到守军会派出部队潜伏在西面的山林中。赵声的打击落在了等待后续攻击的三营头上，立即将三营打懵了，部队陷入了混乱，在黄昏最后的余光中，赵声的部队突入至三营和一营中间，几乎活捉了正在观察战况指挥战斗的冯仑和刘春宁，幸亏警卫连拼死抵抗，才将袭击者击退。看到伏兵发动，大喜过望的黄兴下令开门反击，“弟兄们，赵标统得手了，鞑子败了，冲出去抢枪啊，将鞑子的大炮抢过来啊。”韩策没有来得及劝阻，黄兴已经溜下了城头，组织队伍开城出击了。
混战就此发生，胜利似乎已经向义军倾斜了。但是，在度过最初的混乱后，二十标逐渐控制了局面，部队素质上的差距显现出来，在近距离的射击和搏斗中，赵声的部队遭遇了巨大的伤亡，更遑论只凭勇气的会党们了，他们不过是初经战争的农民。
稳住阵脚的三营顶住了赵声的突袭，用凌厉的反击与被割断的一营取得了联系，而一营则依托交通壕大量射杀冲出城来的义军。等紧急赶来的第二营从赵声侧后投入了战斗，局势已经大定。黄兴的部队冲不开一营的阻击，而赵声所部则陷入了三营和二营的两面夹击，逐渐失去了控制，大批的士兵投降或逃进了黑漆漆的山林，赵声根本喝止不住，无奈之下被几个亲信护着逃向山林……冯仑严令追击，混战中赵声连中两弹，一弹自肋下射入，伤了肺，吐血，无法行走，严令部下将他丢下，不愿意当俘虏，竟然拔枪自尽了。
赵声既败，黄兴自忖难以坚守，乘夜率残部撤出了灵山城，一营慢了一拍，等发现守军撤走后炸开城门冲入，黄兴已经仗着地形熟悉逃入出了灵山。
灵山之战就此结束。此战，黄兴所部折损了一千一百余人，其中阵亡二百六十一人，被俘三百余，其余都逃散不知所终。最为精锐的赵声部基本被歼，最为可惜的是将一个忠诚勇敢的军事人才赵声损失了。
而冯仑二十标虽然夺取了灵山，损失也极为严重，阵亡九十一人，伤倍之，损失了两名连长和数名排长，武器的损毁也比较严重，赵声部发起的突袭造成了三营两挺重机枪的损毁，怕是难以修复了。
这是蒙山军成军以来的大败。在蒙山军高级领袖中，没有一人认为灵山之战是一场胜利，包括冯仑在内。冯仑本欲整顿部队乘夜追击，被刘春宁等人劝阻。刘春宁现在说话管用了，他认为灵山之战已经摧毁了义军主力，不急于追击了，剩下的事情就是缓慢地压向钦州，战事就结束了。
困扰冯仑等人的新军当夜便搞清楚了。赵声的尸体在次日被找到并被俘虏确认。
两日后龙谦赶来，心痛大批老兵的死伤，更诧异二十标停留不前的无谋，尤其是听到黄兴就在灵山城指挥后，龙谦的怒火终于喷发了，不留情面地训斥冯仑和刘春宁，“你们简直是昏头了！该慢不慢，该快不快！既然灵山不好打，为什么不等炮兵上来？既然已经击破了黄兴，为什么停下来不动？就是要不顾一切地追上去嘛。现在倒好，放虎归山了！假如你们活捉黄兴，以后会省多少麻烦？！”
龙谦下令撤掉冯仑副标统之职以示警诫。命二十标留守灵山休整，自己亲带十九标及骑兵营扑向了钦州。途中传回命令，令二十标官兵制作一个写有灵山字样的臂章戴上，永远记住灵山之败的教训。
二十标自此有了一个“灵山团”的名称，跟后来获得光荣无数称号的其他团队相比，灵山团的称呼可不那么光彩。