一见面，斯马莱特就用生硬的中国话说：“88师呱呱叫，顶好！”
杨虎传达了蒋介石的撤退令，并且对斯马莱特表示，必须有英军协助，四行孤军才能安全撤离。斯马莱特说：“我的部队与贵师官兵，数月来隔河相望，我们已经是好朋友，四行守军撤离，我当全力支持负责掩护，但不知你们要我怎么做？”
张柏亭表示，四行孤军唯一的撤退路线是跨过苏州河，经由租界前往沪西归队。日军在国庆路方向，设有机抢阵地并有探照灯，封锁着四行后门的北西藏路，所以孤军撤离，必须要有英军的掩护。
冯圣法强调：“孤军撤离绝不是战败退却，或者逃跑遁走，而是应友邦人士的请求奉命撤离，此点须请斯马莱特将军特别了解。”
斯马莱特站起身来，拍拍杨虎的肩膀说：“你们放心！杨司令是我多年的好朋友，你们信不过我，应该相信杨司令。”
可是，后来孤军撤到租界，并没有享受到应有权利，斯马莱特却一句话也没有说。
谈妥之后，张柏亭当晚拨通了谢晋元的电话。当听到撤离的命令时，谢晋元非常惊异。他激动地说：“全体壮士早已立下遗嘱，相誓与四行最后阵地共存亡，但求死得有意义！但求死得其所！请参谋长报告师长，转请委员长成全我们！”
张柏亭和冯圣发论文番开导谢晋元、1连连长上官志标和营长杨瑞符。可他们态度十分坚决，张柏亭隐约听到，电话中对方“声泪俱下”。
然而，军人以服从为天职。谢晋元最终还是接受了命令，率领部队撤离四行仓库。
“八百壮士”全部撤到公共租界中国银行仓库中，已经是凌晨3点。进入仓库后，租界当局立即要求他们缴械。一听这话，谢晋元和战士们全急了。谢晋元说，武器是军人的第二生命，不能离手，如果租界当局非要缴械，他们宁愿回到战场上去。就这样，一直僵持了好几个小时。
这时，按原计划在漕河泾等待“八百壮士”归队的张柏亭坐不住了，驱车赶往新垃圾桥。当他得知英军要“八百壮士”缴械时，非常愤怒，但为了稳住局面，他还是劝谢晋元暂且忍耐下来，容他们慢慢理论。
随后，张柏亭通过杨虎打电话质问斯马莱特，为何自食其言。英方解释，进入租界者不许带武器，这是肋例。他们不是要缴“八百壮士”的械，只是代为保管。
在张柏亭和英方少校马飞的反复劝说下，谢晋元最终同意交出武器。当时负责翻译的郑侠飞回忆：谢晋元“面容憔悴，满眼红丝，流着眼泪，悲愤之情，溢于言表”，在与马飞少校交谈中“有时泣不成声”，而大家只能默然相对，不知道该怎么安慰他才好。
尽管一百个不愿意，谢晋元最终还是服从上峰命令，交出了武器。当时，“八百壮士”共有步抢260余支、轻机抢27挺、重机抢8挺、驳壳抢20支、手抢10支、手榴弹800枚、子弹12万发。由此，也可证明他们绝不是走投无路、逃入租界的俘虏。
在随后的一次谈话中，谢晋元说：“我等困守闸北四行仓库凡四日夜，击退敌军六次进攻。弹药的消耗不及十分之一，至于给养，虽坚守三年亦无绝粮之虞”，“我等之撤退，系因第三者要求维护中立地区（公共租界）之安全，请求我zf同意，而由我最高当局下令撤退者。”
然而，租界当局没有兑现当初的承诺，送“八百壮士”归队，反而立即将他们送进了位于星加坡路胶州路口的意大利兵营。
蒋介石得知“八百壮士”被租界羁押后，派俞鸿钧提出抗议，要求立即送他们篱队。另一方面，日军也向租界提出引渡“八百壮士”的要求。租界当局本着谁也不得罪的原则，将谢晋元和他麾下377名战士软禁在意大利兵营。
自1937年11月1日直至1941年12月8日太平洋战争爆发、日军占领公共租界，“八百壮士”共被羁押了4年1个月零27天。
在漫长的羁押岁月中，谢晋元和战士们既不能到前线杀敌报国，又经受着租界当局的种种欺压，苦闷到了极点。即便谢晋元以军人的标准，为战士们制定了作息时间表，组织出操、生产，甚至是篮球、排球比赛，但是消极、散漫的气氛，还是一点一点侵蚀着部队的思想。
1941年4月25日清晨5点，战士们在操场集合准备早操。大队人马刚跑出不远，二连下士郝鼎城，四连下士张文清、尤耀亮，上等兵张国顺，向谢晋元身边围拢过来。谢晋元还没反应过来是怎么回事，郝鼎城已经抽出一把一尺多长的匕首，向谢晋元面门、前胸、咽喉刺过来。