每周六下午放学和寒暑假，曾龙、曾虎兄弟会去赵家楼跟父亲一起住。冬天房间里放一个大大的搪瓷炭火盆，也还是有些阴冷。袁殊大部分时间都在办公室工作，或是和别人谈话，很少陪他们玩儿，只是周日会带他们出去吃一顿饭。
曾虎记得，早上睡醒时，总是能听到父亲咕嘟咕嘟煮咖啡的声音。
感情生活
曾龙并不讳言，父亲一生，女人无数。
袁殊曾在给他的信中承认：“要说我的一生，并不是没有可指责的地方，比如我私生活不检点。”曾龙说，袁殊相信弗洛伊德的性本能学说，认为人的行为都受到性的欲望支配。
袁殊身材矮壮，长相普通，但在社交场上却如鱼得水。曾龙曾听母亲告诉他，袁殊跟上海的交际花胡慧琪（即《罗曼蒂克消亡史》中“老五”的原型）好过。他还从社会主义青年学院教授陈琼之对袁殊的采访笔记中看到，袁殊谈到过曾与蓝妮（曾为孙科二夫人）过从甚密。国民檔特务英茵也曾与袁殊有过亲密接触。
曾龙问过袁殊：“与这么多女人有关系，组织不说你？”袁殊笑着说：“我跟他们讲这些事情的时候，他们听得很严肃的，没说什么。”
袁殊多次向曾龙提起和演员王莹的青葱初恋。文革中，王莹被迫害致死，葬于香山乱岗。袁殊住在香山东宫二号时，曾让曾龙和曾虎去寻找王莹的墓地，遗憾未能找到。
袁殊留恋不已的，还有曾龙的母亲王端。
1941年，袁殊和马景星离婚后，与王端结婚。1942年到1945年，曾昭、曾曜、曾龙、曾虎相继出生。解放初期，王端被调到中调部工作，不适应机关生活，夫妻频繁吵架，1953年与袁殊离婚去了上海。因受袁殊问题牵连，文革时，王端跳江自杀。平反后，袁殊听到王端去世的经过后哭了，说：“真愚蠢，她要是不死，肯定会跟我复婚的。”那一晚，他一夜未眠。
袁殊1977年第一次回家探亲时，就跟曾龙提起，想找个伴侣一起生活。
1981年的一天，香山南营的邻居告诉曾龙，袁殊跟家里20岁的小保姆拉拉扯扯，最好注意影响。曾龙非常恼火，跟袁殊大发了一通脾气。袁殊坐在一边，面无表情，一句话不反驳。
一个星期天，赵如宝来探望时，曾曜正给袁殊洗脸，梳头，刮胡子，给脸上擦油，换干净衣服。赵如宝问这是在干吗，袁殊捂着嘴不好意思地笑了笑，摆摆手说：“我要去约会，你别管我。”
袁殊晚年接触的对象不少，但都没能走到一起。“他就是希望有个家庭的温暖环境。”赵如宝说。
1986年的一天，袁殊告诉曾龙：“我决定不结婚了。”曾龙觉得，父亲可能已经意识到自己不久于人世了。
健康恶化
进入1985年，袁殊的身体健康每况愈下。
两度中风使他的脑组织受损，导致脑软化，无法控制情绪。他变得喜怒无常，有时发牢骚、骂人，有时又突然大哭大叫。
1985年，夏衍出版了《懒寻旧梦录》，其中露出袁殊1935年因“怪西人案”被捕时叛*变自首的弦外之音。
1935年5月，上海发生“怪西人”案件。第三国际远东情报局负责人华尔敦被捕后，始终一言不发，被称为“怪西人”。军统不知其身份，只从其身上搜出一个笔记本，上面写有袁殊的名字，袁殊因此被捕（8个月后被营救出狱）。之后，夏衍认为自己险些被诱捕，怀疑袁殊叛*变。
1980年袁殊第三次从劳改农场回京时，曾虎曾陪他去见了夏衍。回来的路上，袁殊说，该谈的问题都谈清楚了。看到《懒寻旧梦录》，袁殊十分恼火，用抖动的手勉强写了份书面材料，要求组织澄清此事。
老干部局局长朱玉琳告诉曾龙：“组织是根据事实来说话的，夏衍没有被捕，组织自然不会采纳他的说法。”
一位部领导告诉曾龙，1954年审干中袁殊的政治结论就是自己做的。“1935年被捕不是什么大事，袁殊立过大功，小毛病不少，就是文人那一套，吃啊喝啊找个女人之类的。”
院里的老干部局经常组织活动，下棋、打牌，请袁殊去，他从不参加。“他也觉得孤单，但他总认为别人说他是汉奸叛徒，到人群里会惶恐不安。”曾龙说。
部里很多老同志都对袁殊的案子十分同情。一位老干部曾对曾龙说：“袁殊立下的功劳比我们多。”