1927年4月19日，武汉国民zf在武昌举行第二次北伐誓师大会，继续进行北伐。谢晋元随军到达南京，驻守京沪路东段。
8月25日夜，北风呼号，浓雾弥漫。孙传芳以三个师的主力6万余人，分三路，从望江亭、划子口、大河口三处强渡长江，向南京边防区乌龙山，栖霞山及龙潭一带进攻。第一军所据守阵地先后失守，被逼向南京后撤。26日，孙军占领龙潭东站。在此危急之时，白崇禧电令驻京沪路东段的第一军第十四师师长卫立煌率部向龙潭反攻。同时，电令杭州的第一军第二师刘峙回师助攻龙潭。与孙传芳血战七个昼夜，终于歼灭了孙军5万余人。而谢晋元在此次反攻龙潭的战役中，率领一连人，勇敢善战，一马当先冲杀搏击，拼死战斗，激战七昼夜，终于取得胜利，建立奇功，升为副营长。
闸北抗日
1930年任中尉连长，在歼灭土匪刘桂堂的战斗中英勇善战，被调入第十九路军蔡廷锴部任少校营长、参谋等职。同年，在汉口和凌维诚结婚。此后，随军进驻上海闸北。所谓闸北，是上海水陆交通要地，是各路之总称，即淞沪路与京沪路相接处，而形成的一个三角地带。此乃十九路军之战区中心，谢晋元率部就驻守在此要地，保卫上海。
东三省沦陷以后，日本帝国主义加紧调动海陆空主力进攻上海。从1932年1月21日起，日本调动航空母舰一艘，由旅顺驶向上海吴淞港。接着，四艘驱逐舰满载特别陆战队，开进黄浦江，一批批的陆战队在汇山码头登陆。在这上海形势处于非常严峻之时，驻上海闸北的十九路军早已作好了一切战斗准备。谢晋元所率的一营人马，亦早已严阵以待，时刻准备着，只等一声令下，为保卫上海而英勇战斗。
1月28日，日本海军司令盐泽指挥陆战队6000余人，向吴淞、江湾、闸北三路进攻，并扬言：“四小时内占领上海，并解决十九路军。”“一·二八事变“爆发了。
十九路军奋起抵抗，在蔡廷锴、蒋光鼐、陈铭枢的领导下，各路守军奋起战斗，阻击日军前进。十九路军全体官兵奋勇杀敌，全日巷战。日军数次冲锋均被十九路军击退，使日军不能前进一步。十九路军士气高涨，日军初战失败，死伤巨大，在败退之时，到处纵火，地方上民众受火劫之损失，实不堪言。
1月29日，十九路军军长蔡廷锴再次向全军将领发出通电，号召全军奋勇抗日。这一天，日军出动飞机4架，在闸北上空，向十九路军阵地狂轰滥炸，投下80多颗炸弹，但并没有吓倒抗日将士。谢晋元在战地日记中这样写道：“日机轰炸，只是威吓力比炮弹大些。飞机投弹，从空中掷下，不易瞄准目标，在战壕里根本不怕。”战士们便利用高射炮，在敌机投弹低飞时瞄准射击，29日就击落日机4架。
十九路军坚决抗日，保卫上海，得到了上海各界人士热烈支援。宋庆龄、何香凝在前线发起救亡运动，号召各界民众捐献物资药品支援抗日战士，筹设几十个伤兵医院，赶制三万套棉服送给前方官兵，大大鼓舞了将士们的斗志。
英勇抗日一个多月，连续打退敌人的进攻，打死打伤日军1万多人，日军惨败。
1934年于庐山军官训练团第二期毕业。
淞沪抗战
1936年初，日寇加紧侵华步伐，亡我之心，昭然若揭。当时，谢晋元在国民革.命军第八十八师262旅任旅部中校参谋主任，为准备抗击日本侵略，部队从四川万县调无锡一带驻防。为了专心杀敌，谢晋元多次劝说住在上海龙华镇的妻子凌维诚回广东原籍，妻子同意后，又亲自护送回乡。在离广东返回部队前，对其妻凌维诚说：“半壁河山，日遭蚕食，亡国灭种之祸发之他人，操之在我。一不留心，子孙无遗类矣。为国杀敌是革.命军人之素志也，职责所在，为国当不能顾家”。并说：“我不是好儿子、好丈夫，但为国家存亡，奉养年老父母，抚育年幼子女之重担，要由你承当。此场战争将非常激烈，我们会有很大牺牲，也会有局部失利，但我国一定能胜利。当最后胜利到来时，我将亲自迎接你们母子返沪”。谢晋元返部队后，曾担任学生军训大队长。以后又指挥所部严格进行操练，以侵占上海的日海军陆战队为假想敌，积极进行侦察、演习等备战活动。“七·七”卢沟桥事变后，在沪日军多次制造事端，不断挑衅，并从本土调集兵舰增授，战争处于一触即发状态。1937年8月11日深夜，孙元良师长命令262旅524团从无锡誓师出发，开赴上海，专列到真如站，部队立即跑步进入北站附近阵地。该旅523团随后赶到，进驻宝山路迄八字桥一线。