1965年秋，杨尚昆被免去中央办公厅主任职务。1966年5月，他又被打成所谓“反党集团”成员长期监禁。在此期间，我（即本文作者苏维民，1954年7月任杨尚昆办公室秘书直至“文革”开始）作为他的秘书，曾跟随他在广东、山西工作过一段时间。
　　在广东：省委书记降至地委书记
　　12月10日晚10时14分，我随杨尚昆乘15次加挂的一节公务车离京去广州。
　　杨尚昆虽然对突然被免职心情忐忑不安，但是他确实想在广东踏踏实实做点工作。1966年元旦，杨尚昆不顾感冒初愈，假日也不休息，当晚还用了两个小时听取地方同志关于海南发展橡胶情况的汇报。
　　5月16日，中共中央发出《通知》，“文革”正式开始。22日，陶铸向他传达中央关于撤销他的中央书记处候补书记和中共广东省委书记职务，改任肇庆地委书记的决定，杨尚昆比较坦然。陶铸走后，他平静地对我们说“我犯了错误”，表示“一切相信組织，一切相信中央，愿意接受审查”。至于工作，他说“做地委书记、县委书记都可以，只是不当一把手”。
　　当时杨尚昆对我说：“你回到北京后也会让你揭发我的问题，你认为有什么问题，照实说。”后来中央同意他回北方的请求，任命他为山西临汾地委书记。
　　在山西：开始9年的监护审查
　　5月30日，杨尚昆乘16次特快加挂的一节公务车去山西，6月2日凌晨改乘87次车7时许到达太原。
　　在太原时，杨尚昆急于下去工作，几次要求立即去临汾，但都被婉言拒绝。7月3日杨尚昆上午去晋祠散步，忽传来电话说省委领导要来谈话，下午不要走开。中午1时许，我午睡正酣，突然被车声惊醒，发现此时太原饭店院内已军警林立，如临大敌，杨尚昆不知去向。山西省委副秘书长欧阳景荣跑到我的屋里，还有两个不知什么人，同我和赵宇田谈话，说杨尚昆犯了错误，你们要和他划清界限等等。随即把我们带到一个地方，欧阳景荣走了，那两个人留了下来，和我们形影不离，过了一夜，又一同登上火车，7月5日晨到达北京。第二天，我们就被安排到“学习班”参加运动揭批杨尚昆去了。
　　后来才知道，7月3日那天，杨尚昆被转移到另一个地方，从此开始了长达9年的“监护审查”。开始还很客气，配有炊事员、服务员，生活条件尚可，无非是责令他交代“问题”。他很平静，用了大约4个月的时间完成了一份长达3万余字的《自传》。《自传》中写道：“有许多关于我的错误的具体事实，我还弄不清楚。有许多问题，我还没有想通。”
　　从这时起杨尚昆的对外联系就被切断了。同夫人李伯钊和子女的电话也接不通了。
　　回北京：遭无休止批斗仍然乐观
　　1966年12月25日，中央专案组派专机把他押回北京，从此，他开始被无休止地批斗，受尽摧残、折磨。1967年杨尚昆在日记中记录了他最困难的日子。
　　“1月15日。茶叶、收音机都收走了。没有收音机听，起床后只好散步，因天不亮看不见东西。下午读《人民日报》，有周公宴会上欢迎卡博的致词和卡博的讲话。”
　　“1月26日。右手指麻木，写东西不便。腰痛极了，坐卧不安。上、下午读毛选。”
　　“5月30日。上午外出与专案小组谈话。头疼不安，坐着读书不方便，只好躺下读毛选。”
　　“6月19日。今天是主席《关于正确处理人民内部矛盾的问题》发表10周年，听了全文广播，《人民日报》全文发表。蚊子咬人，午夜2时才睡去。”
　　“7月8日。读《论持久战》，以纪念‘七·七’。未洗澡已两星期，据说澡堂坏了，擦身换衣服。”
　　就这样，杨尚昆经受了长达9年的“监护审查”，直到1975年2月9日被“解除监护”。