10月29日，广州解放半个月后，他带着简单的行李，去到东郊的车陂，加入了中国人民解放军。
刘纬武被编入第四野战军15兵团44军132师军政教导大队。经过5个多月的训练，他和132师军政教导大队四中队的一批年轻学员，乘坐一辆大卡车，来到市内小北地区，向驻扎于此的131师392团报到。
第四野战军44军131师，这支部队从东北出发，经历过辽沈战役、平津战役、渡江战役。1950年5月，以陆军打海军的首个战例击败了国民檔海军舰队，解放了珠江口外涵盖48个岛屿的万山群岛。
刘纬武被编入392团宣传队。5月26日，在万山群岛的主岛垃圾尾，解放军与国民檔部队连番厮杀激战。他和战友登岛，在露天广场上，接连不断地表演唱歌、相声、短剧……国民檔海军舰队不甘被逐，在附近的海面游弋，有炮弹在舞台不远处爆炸，中间夹杂着断断续续的抢声。
此时，位于海峡对岸的刘纬文，业已从国民檔海军官校毕业，加入国民檔海军部队。
“台湾岛上的情况怎样？兄长在军中近况怎样？”与父、兄隔海对峙，好几个晚上，刘纬武想起在对岸的亲人，彻夜未眠。
这段经历后来被他写进小说《国共两兄弟》上卷。两兄弟商议，将这本书分为上下两卷，从1949年两兄弟的分手开始，直到1971年两兄弟重逢时结束，叙述在共产檔管治和国民檔管治下两兄弟的经历。刘纬武的上卷早已完成，但兄长的下卷仍未定稿。
结缘黄埔
年龄报大两岁方得入伍
和儿子刘纬武参军时相当的年纪，父亲刘咏尧也来到广州，考取陆军讲武学校。校长是程潜。
黄埔军校开学之后，程潜把陆军讲武学校158名学生送入黄埔军校。这批被保送的学生除刘咏尧外，还有陈明仁、桂永清等人。
在台北“国史馆”保存的人事资料中，他的年龄出现了两个版本：一个是“民国纪元前七年”(即1905年)，一个是“民国纪元前五年”(即1907年)。
刘纬武解释了这一矛盾：1924年的黄埔军校《招生简章》要求，报考者年龄要在“18岁以上，25岁以内”，当时，刘咏尧不满17岁，还差一岁。他将自己的年纪报大了两岁，方得以入伍。他是黄埔一期年龄最小的学生。
1925年，以黄埔军校校军为主力的革.命军两次东征和回师广州，讨伐陈炯明、林虎、杨希闵、刘震寰，刘咏尧均在其列。
1925年3月12日，东征军进驻广东省揭阳县与普宁县交界的棉湖地区。次日，陈炯明部粤军第一军黄任寰、王定华等部已先到棉湖西面和顺一带，占据有利地形，且兵力强于东征军十倍以上。
东征军分为三股，三面夹击敌人。以3000多兵力，击溃陈炯明部粤军两万精锐部队，成为军事史上以少胜多的典范战例。此次战役中，黄埔军校校军伤亡惨重，刘咏尧亦左肩中弹。
7个月后的第二次东征，陈炯明将主要兵力集中于惠州地区。惠州城三面环水，地形奇特，易守难攻，从宋朝起，从未失守，是粤东首要重镇。他企图将东征军堵在惠州城下，然后反守为攻，打败东征军。
刘咏尧担任敢死队长，在敌军密集的机抢扫射下，数度挟云梯，强行攀爬城墙，登上城头。不料，突然射来一颗子弹，将他击倒在地面，昏迷了一昼夜，方才苏醒。
随后，陈明仁登上了城墙。紧接着，东征军攻破西门，陈炯明下属杨坤如弃城逃走。惠州告捷。
然而，一颗子弹留在了刘咏尧的颅骨中，未能取出，以致老年时，他时常头痛欲裂。
1926年，他与9名黄埔军校学生被选拔至莫斯科孙逸仙大学，与邓小平、乌兰夫一道，成为该校的第一届毕业生。
莫斯科孙逸仙大学为国共合作时期的中国大革.命培养政治理论骨干。1927年7月，受到“四一二事件”影响，国民檔中央执行委员会发表声明，取消该所学校。次年，学校更名为中国共产主义劳动大学，并在两年后宣布解散。
在这里，刘咏尧结识了他的第一任妻子韦碧辉。韦碧辉是当时的“才女”，她与廖仲恺的女儿廖梦醒一道，从执信学校选拔至此，在广州执信中学优秀校友的名册上，依旧保留有她的名字。两人育有两子：刘纬文和刘纬武。
二人离婚后，经黄杰介绍，刘咏尧结识后来的妻子钟光仪。后者是他在南京创办的中正学校第一届学生。