1928年8月，蔡孝乾为了躲避日本当局搜捕，离台湾潜至福建漳州。从1929年2月起，他先后在漳州的石马（龙海）中学和龙溪中学断断续续教了几年书，还在诏安当过短时期的公路工程处临时职员。为了做台湾学生的工作，蔡曾在厦门住过一个时期。那时他与中*共中央只有横的联系，在组织工作上直接受上海的台共总部领导。
1932年4月25日，红军攻下漳州后的第五天，地下檔员李文堂邀请他去苏区工作。李文堂是海南人，海员出身，中华全国总工会中央苏区执行委员，1930年，他曾以巡视员的身份与蔡孝乾接触过。在红一军团政治部主任罗荣桓安排下，1932年6月，蔡、李任红一军团政治部《红色战士报》编辑，后在列宁师范学校（团校）任教，教社会学和土地学，后参加“反帝同盟”，负责殖民地人民部工作。
在瑞金几年，蔡孝乾为周恩来翻译过日文本马列著作，如佐野学著的《国家论》，以及另外一本日文书，列宁原著《马克思主义的三个来源和三个组成部分》。1934年1月作为台湾代表，蔡孝乾参加了在瑞金召开的中华苏维埃“二大”，并被选为主席团成员、中华苏维埃共和国中央执委。1934年10月，他参加中国工农红军长征，是长征中唯一的台籍共产檔人。
参加长征是蔡孝乾最大的资产，蔡才在后来得以脱颖而出，当上台湾地下檔最高领导。1935年10月到陕北后，蔡晓乾担任了“反帝联盟”（后改为“抗日联盟”）主席。1937年抗战爆发后，蔡孝乾随八路军总部赴山西抗日前线。1938年上半年至下半年任八路军总部野战政治部敌工部部长（至1939年），负责管理日俘和对敌宣传。
1937年11月4日，美国友人史沫特莱来到山西阳泉火车站八路军总部，发现蔡孝乾几人正在研究日本人的文件，这些敌工部的工作人员都会讲日语，有些还是日本留学生。蔡负责处理一切缴获的日方文件、日记和资料，也负责管理敌军俘虏和对敌宣传工作。蔡给她一份八路军政治部致日军官兵的宣言。以后几天，史沫特莱和蔡孝乾等人同住黄土崖的一个山洞里。
翌日，一个日军的汉奸翻译被抓来，该翻译是日本人办的沈阳警察专门学校的毕业生，史沫特莱发现蔡孝乾的义愤填膺，对这名汉奸颇为鄙视。1938年12月，蔡孝乾任八路军民运部部长兼敌工部部长。后因我檔“保护干部”的政策，考虑到前线危险很大，而蔡这样的人才太少，遂将他调回延安。
日本士兵田光繁于1938年8月29日夜，在河北邢台附近被八路军游击队俘虏，不久被送到八路军政治部。1984年，他回忆道：“十分幸运，平时接触我们的八路军干部都是精通日语的知识分子，他们十分平易近人。敌工部蔡部长是台湾人。”
调回延安后，蔡孝乾曾在《群众》、《八路军军政杂志》、《解放日报》上发表过《怎样进行敌军工作》、《台湾的今昔》等文章。1941年10月，他出席了在延安召开的东方各民族反法西斯代表大会，并被选为各民族反法西斯大联盟执委。12月在东方各民族反法西斯大联盟第一次会议上被选为同盟常委。他还是有20多名成员的“台湾独立先锋社”的负责人。
1946年夏秋之交，中*共中央上海局成立了，刘晓任书.记主持全面工作。1946年3月，蔡孝乾和张志忠（化名杨春霖、老吴，台湾嘉义人，曾在抗大受训，新四军军官）等准备回台湾工作。5月，刘晓正式在上海成立了“中国共产檔台湾省工作委员会”（简称“台湾省工委”或“台湾省工委会”），蔡孝乾任工委会书.记，陈泽民任副书.记兼组织部部长，洪幼樵任宣传部部长、张志忠任武装部部长。
1946年7月，蔡孝乾化名老郑，从上海秘密返台开展工作。陈泽民化名老陈、洪幼樵化名老刘，为他最重要的两个助手。陈泽民在抗战前在上海左翼作家联盟时就加入了中*共，奉命随蔡来台时，已是有10多年檔龄的中*共老檔员了；洪幼樵1916年出生于广东揭阳，1937年入檔，曾在抗大学习过，抗战时在广东、苏北打游击，具有武装斗争经验。
从此，蔡孝乾、陈泽民、洪幼樵、张志忠和林英杰五人组成台湾省工委，即成为共产檔在台湾的“五巨头”。
离开台湾18年的蔡孝乾，发现家乡物是人非，他对战后台湾情况十分陌生，只好侧重于联络老台共檔员，建立组织。到1947年“二二八”起义前夕，台湾省工委只有70多名檔员，弱小的台共在起义中没有发挥什么作用。