抗战胜利后，岩井公馆被国民檔封闭。袁殊告诉赵如宝，他们事先得到消息，把岩井公馆的资产分几次连夜统统交给苏北新四军了，当时价值一亿多美元。
一次，袁殊和赵如宝说起：“我们这些人，一直是脑袋别在裤腰带上活着，随时可以掉脑袋的。我还是挺幸运的，没有被国民檔特务暗杀了。”
他经常告诉子女们：“我这一辈子就跟着潘汉年干，所有功劳统统都是檔的。别看我现在没什么钱，我这一辈子无愧于檔的工作。”
这一年，在曾虎等的陪同下，袁殊去了上海等地，故地重游。
上海宝山路天通庵对面原938号，是岩井公馆旧址。路过这里时，袁殊停下来逗留了片刻。潘汉年案发后，当年随袁殊在这里工作的很多人都受到株连，有的人已含冤去世。此行，他见到了当年协助自己从事情报工作的刘人寿和昔日老友吴君。
转道无锡，袁殊去看望了潘汉年案“主犯”之一扬帆。1946年袁殊从上海进入苏北解放区，第一个到码头接他的人就是扬帆。当年，扬帆神采奕奕，此时却已双目失明，生活不能自理，让袁殊心里很难过。
辞别扬帆，袁殊专门绕道潘汉年的故乡宜兴，去看望了潘汉年的妹妹潘玉琴。
袁殊最后一次见到潘汉年，是1955年。他到北京饭店看潘汉年，潘十分伤感地说了一句：“凡是搞情报工作的大多数都没有好下场，中外同行都一样。”几天之后，潘汉年即被捕。一个月后，袁殊也被捕。潘汉年没有等到平反，于1977年4月病逝于湖南劳改农场。
见到袁殊，潘玉琴很激动，一度哭了起来。她说，潘汉年年轻时离家，再未回去。后来家人听说，他在上海做官发达了，但他从来没有帮扶过老家，反而出事后家人受到了牵连。临走时，潘玉琴煮了鸡蛋，一定要袁殊和曾虎带上。
离开的路上，天渐渐黑了。袁殊后来记叙了从潘玉琴家出来后的心情：“心里很寂寞。”
袁殊顺路乘船回湖北蕲老家，住了一个星期。1911年农历3月29日，他在这里出生于一个没落官宦人家。
1984年秋天，袁殊脑血栓复发。他花了近一年时间，完成了人生中最后一篇文章《屐痕重印江南路——南游杂记》。
“几十年过去了，各人都有一番难言的春秋，但时至今日，大家已经不屑再谈那些坎坷旧时了。”他写道。
文人做派
在曾龙眼里，父亲一生都保留了上海时期的文人做派。
在上海时，袁殊过着纸醉金迷的生活，除了不爱赌、不吸鸦片，几乎什么都沾。曾虎听袁殊说起过，他在上海时“很有钱很有钱”，但从没把这当回事。
当年，袁殊为吴亚醒、岩井英一等干情报工作，月收入在600元以上，他每月把一半以上的收入交给王子春作为檔费。不过，袁殊后来对曾龙提起，他看到王子春一年四季穿戴阔绰，私下也有过不满。
抗战胜利后，袁殊去了大连，以博古堂经理身份作为掩护，从事对香港的秘密贸易工作。期间，他收藏了很多古玩，以陶瓷、字画居多。1955年被捕时，大部分财物被抄走。余下之物，文革时被曾龙摔碎烧光了。南长街四合院里装满四间房的书籍，大部分也在袁殊入狱后捐出。平反后，发还了抄走的物品，其中多是名人字画。
袁殊曾和曾龙谈论过日本文学。他说，日本文学的主要特征，不是曾龙所说的“沉闷”，而是淡淡的哀愁、含而不露的感伤，这是日本民族的特点：含蓄、坚韧、脆弱、轻狂，兼而有之。曾龙觉得，这一评价像极了袁殊的内心。
顾雪雍曾写过一篇纪念袁殊的文章。顾雪雍的舅舅恽逸群曾是中/共地下檔员，被潘汉年派到岩井公馆协助袁殊工作。据恽逸群回忆，汪伪时期，有一年春节，袁殊照例邀请多位老友到他家吃饭庆贺新岁，大家坐在客厅等他，他从楼上卧室走下来，走到楼梯一半时停下，突然号啕大哭起来。过了一会下来时，又谈笑如常，好像没有发生过这一幕。“大家也不问他，因为大家明白，经常变脸使他心理扭曲，变得悲喜无常了。”
袁殊曾告诉曾龙，自己很怀念赵家楼的生活。
那是1949年，李克农将袁殊从大连调到北京，任中/共情报总署亚洲处处长。工作地点位于北京南小街的“赵家楼”，即五四运动时被火烧的曹汝霖旧宅。袁殊每天早上骑自行车上班，晚上回家。与王端离婚后，他干脆吃住在赵家楼，几乎终日伏案工作。这种无需隐蔽和周旋的日子，是他鼹鼠般的一生中难得的安宁时光。