1965年，袁殊被宣判为国民檔CC特务、军统特务，日本特务、汉奸，判处有期徒刑12年。他本应在1967年刑满释放，但因为“文革”，又被关押了8年。
看过判决书，曾龙和曾虎都愣住了。他们没想到，父亲竟然是这样一位货真价实的反革.命分子。
传阅一圈之后，坐在角落里的袁殊开了口：“这只是事情的一个方面，另一方面是我所做的一切事都是接受了檔的指示才干的。”
大军山农场准假25天，袁殊和子女、亲属见面不过三四次，却能准确道出每个人的性格和处事特点，这一点让曾龙十分叹服，“不愧为老牌特务”。
1978年夏天，曾虎去大军山农场探望袁殊，住了三天。曾虎告诉《中国新闻周刊》，袁殊的工作是看菜园，住在平房里，房间里摆放着订阅的报刊。他对曾虎说起，四人帮倒台了，他相信有些问题可能会有新的说法。
曾虎说，对父亲过去给国民檔做事觉得可以理解，但是给日本人做事，是汉奸，作为子女，也认为是不能原谅的。
沉默半晌后，袁殊说，自己曾这样问监管的李队长：“你在解放军当过兵，如果你的连长让你冲锋陷阵，你能违抗命令吗？”
居无立足之处
1980年1月，袁殊第三次请假回京。
此时，他已身患半身不遂，治疗后病情有所缓解。在1月3日的日记中，他写到：“长寿对于无所事事的人来说，却是‘老而不死是为贼’了！”
前两次回京，袁殊都向组织提出了要求重新审查的申诉，均无果，这次他抱着不把问题搞个水落石出就不回去的决心，打算破釜沉舟。
袁殊陆续见到了一些20多年前的旧相识，给夏衍、李一氓、熊向晖等当年隐秘战线的老战友都写了求援信。
袁殊这次回京前，没有通知子女。曾龙只好临时把他安置在自己位于永安里的一处8平米的小空屋中。
当时正值寒冬。袁殊在秦城监狱里患了脑血栓，手脚不太灵便，常常费了很大力气也生不好炉子。曾龙每次去看他，他几乎都躺在床上咳喘不止。他几次在日记中感慨，自己居无立足之处，“天下之大，而我似乎将近流落街头”。
《中国新闻周刊》记者眼前的这本日记本，黑色皮面，上有一红一白两朵雏菊，里面是深蓝色的钢笔字，字迹清晰，日期从未间断，每日之间空一行，日期被加深加粗，一目了然。
一天，袁殊把钥匙锁在了房里。他在日记中写道：“这个情景，正为现在的政治处境：门锁紧了，钥匙锁在房内，人则锁在房外，进出不得！”
1980年2月24日，时任中调部老干部局局长郭达凯给袁殊送来了300元钱作为医药费，并和他谈了近一小时。他得知，自己写的材料已正式转交组织，在中调部落实政策办公室备了案。他当面提了要求：“在国内我已经成为了一块废料，不如放我出去活动。”
曾龙注意到，此后的两个星期，父亲情绪很兴奋。他知道，父亲是想继续干老本行。
2月29日，袁殊寄出写给中调部部长罗青长的信，请求解决自己的问题。9月28日，他收到最高人民法院的来信，要求他对某些情况再做补充说明。
在等待处理结果的日子里，袁殊靠读书、看报、抄写、听广播打发时间。有时一个人逛公园，去美术馆看展，看电影，在街边买花和糕点小吃。他会把每一笔开销都详尽记下。在日记中，他叹息：“一天就为了忙于吃！”
五重间谍
1980年7月，在与袁殊和关露都熟识的梅益介绍下，袁殊借住进了同为潘汉年案涉案人员、也刚出狱不久的关露在香山东宫二号的房子。
在这里，袁殊三女儿曾曜的丈夫、在长春光学与精密机械学院工作的赵如宝第一次见到了袁殊。他对袁殊十分好奇，觉得自己这位大名鼎鼎的老丈人完全不像搞特工的，倒更像一位大学教授，有文人气质。
1981年8月，关露要收回房子，袁殊租住进香山南营。机关落实政策办预付了一年的房租。
袁殊经常一个人在家守着一台小黑白电视机。那时，电视连续剧《敌营十八年》正在热播，他不屑地对曾龙说：“白区地下工作要是照这个搞法，半天都混不下去。”
袁殊曾对曾龙说，自己是“榜上有名”的人。1946年，他被戴笠任命为国民檔军统直属第三站站长，中将军衔。他没有理睬，进入了解放区。