1939年11月，在岩井英一要求下，袁殊写下《兴亚建国论》，在各大报刊发表，公开与日本人合作。为牵制汪精卫，岩井英一又要袁殊全权负责组建“岩井公馆”（即“兴亚建国运动”本部）。后袁殊加入汪精卫zf，由人人所知的“落水”，变成了响当当的“汉奸”。
因此，与袁殊同时平反的一些老同志联名给中央写信，认为袁殊被捕后叛*变，投靠日本人，是真正的汉奸，不该平反。而袁殊则坚称，他所做的一切皆是奉潘汉年指示。
其中最关键的事件是，潘汉年与岩井英一的会面。
1941年5月，在袁殊的牵线下，潘汉年以“一位叫胡越明的关心国事者”的身份去见了岩井英一。争议在于，岩井英一是否知道“胡越明”的真实身份？
袁殊称，潘汉年去见岩井英一之前，在没有得到潘汉年指示的情况下，他先斩后奏，告诉了岩井英一其真实身份。此后，岩井英一与“胡越明”一直心照不宣地打着交道。在岩井英一的回忆录里，也说自己知道“胡越明”就是潘汉年。
负责老干部工作的局长朱玉琳告诉曾龙，袁殊平反结论中“犯有严重政治错误”即指此事。这也是袁殊平反的最大障碍，有人暗示他改口，反正其他人也不知情，但他坚持不改口。
朱玉琳还告诉曾龙，潘汉年被关押期间，文革前对袁殊没有任何微词；文革后，对于岩井英一是否知道自己的真实身份，开始出现多次反复。
曾在中/共特科工作的楼适夷告诉了曾龙此事的一个细节。
王天木叛*变后，李士群诱捕袁殊。袁殊不知事变，到上海静安路一家小咖啡馆赴约，意外巧遇了好友楼适夷。袁殊告诉楼适夷，明天到这里来，可以见到潘汉年。
第二天，楼适夷按时来到小咖啡馆，遇到了袁殊的妻子马景星。他这才知道，前一天，袁殊在这里被扣了。潘汉年来后，不慌不忙地说，“没事”，然后告诉了马景星一个电话号码，叫她去找岩井英一。
至此，曾龙才终于相信，“五重间谍”对袁殊来说是外形，中/共情报员才是本质。
曾龙问过袁殊，把潘汉年真实身份告诉岩井英一，算不算供出了共/产/檔的重要人物？袁殊说，不能这么说，因为如果不说潘汉年的真实身份，见面就起不到什么作用。
曾龙又问袁殊：“潘汉年有什么兴趣特点？”袁殊不假思索说：“他喜欢搞‘阴谋诡计’。”晚年的袁殊在一次酒后说：“要不是潘汉年叫我那样做，我怎么会钻那种狗洞呢？”
1982年12月，关露在家中吃安眠药自杀。
得知此事后，曾龙十分吃惊：“好端端一个人干吗非得死呢？”袁殊沉默了一分钟，说：“我知道。”又停顿了半天后，说：“她无可奈何。”
“难言的春秋”
平反初期，袁殊一度有了重出江湖的劲头。
有时，机关请袁殊和年轻人分享地下情报工作经验，袁殊一连讲上几天也没有疲态，反而精神振奋。
他向组织提出，要去考察长江，要去香港和日本继续活动，干老本行。他要求单位为他配个秘书，协助自己做口述记录。皆未能如愿。他只能用发抖的手独自完成了回忆潘汉年和冯雪峰的文章，但未能发表。一万余字的潘汉年纪念文章《红色小开》，后来被人借阅，不知去向。
1983年，他开始翻译百万字日文小说《细雪》，由于手抖得厉害，不得不中途放弃。
在曾龙眼里，袁殊有强烈的企图心，喜欢做常人做不出来的事。袁殊告诉曾龙，在上海滩，像他这样平地滚起来的人还有几个，干特工特别冒险刺激，自己干得很起劲儿。他常说：“一个人一定要在有生之年干点什么，才不负此生。”
1984年，在袁殊的老战友、时任中央政法委书.记陈丕显的批示下，三女儿曾曜一家调进了北京。曾曜丈夫赵如宝告诉《中国新闻周刊》，陈丕显批示的大意是：一个受了20多年冤屈的老同志，提这么一点要求我们能不同意吗？
每周日，一家三口会骑自行车去看望袁殊。赵如宝最喜欢听袁殊讲过去的故事，讲到好笑的地方，袁殊经常哈哈大笑。
袁殊曾和赵如宝说起在汪伪政权清乡委员会的工作：“实际上好多共/产/檔抓来了后，我就假装出一副司令的腔调，教训一顿就放了，特别是女的。”