1964年10月2日，赫鲁晓夫在会见印尼总统苏加诺以后，立即飞往南方海滨疗养地度假。休养中的赫鲁晓夫仍然兴致勃勃，不停地过问各类国务活动。
　　10月12日，苏联的三名宇航员乘坐一艘宇宙飞船离开地球。当宇宙飞船飞完第三圈时，赫鲁晓夫通过无线电话与宇航员通话，祝贺他们成功。
　　极度兴奋中他没有发现，其它电话已经打不通了，他与外界的一切联系已经中断。
　　这一天，在克里姆林宫，背着他召开的苏共主席团扩大会议上，有人提议撤销赫鲁晓夫的一切职务。
　　在接着召开的中央委员会全体会议上，赫鲁晓夫被解除职务，成为一个靠领养老金过活的退休人员。官方宣布他去职的原因是“年迈和健康状况恶化”。
　　10月14日凌晨，苏联所有印刷厂都暂停工作，几千名检查人员和编辑仔细地审查准备出版的报纸、杂志和书籍，从手稿和校样中删去一切有关赫鲁晓夫的字眼。成千吨已经印好的书籍和杂志被扣压在仓库里，最后都被送去造纸。
　　在“退休”的最初几个星期里，赫鲁晓夫处于精神恍惚、惘然若失之中，常常连续几个小时坐在椅子上一动不动。有一次，赫鲁晓夫的孙子所在学校的校长好奇地问孩子：“你爷爷在做什么?”孩子回答：“爷爷总是在哭。”
　　不久，赫鲁晓夫逐渐恢复正常，开始读报了解外界变化。
　　幽居中的赫鲁晓夫对自己过去的一些行为感到有些后悔。1962年至1963年间，他曾发动了一场声势浩大的批判一批苏联美术家的运动。他本人实际上对美术一窍不通，也很少有兴趣。负疚的心情促使他让亲属把这些遭受打击的画家和雕塑家请来，表示歉意。其中有一位雕塑家伊兹维斯特内，后来还应邀为赫鲁晓夫的墓塑碑，墓碑黑白相间，隐寓着艺木家对这位昔日显赫人物的评价。
　　在无所事事的闲暇中，赫鲁晓夫也培养了一些爱好，一度对摄影着了迷。他弄到了全套摄影器材，能拍出很好的照片。他主要选择大自然为摄影对象，拍摄雪地、树木和花鸟。
　　赫鲁晓夫更多的时间是用于种地，摆弄花园和菜园。最使他感兴趣的是种西红柿，他种了200棵良种西红柿，每天清晨4点就起床给西红柿浇水，每棵果实都很大，丰收在望。不料一场早霜毁了这些西红柿，使他非常伤心。
　　不久，赫鲁晓夫又做新的试验，搞无土栽培。他曾经干过钳工，他订购了各种铁管，不顾年迈和健康恶化，亲自弯管并在上面钻孔。他准备好溶液和混合剂，等着获得好收成，还信心十足地对人说，无土栽培有很大的前途，是农业的明天。
　　不过收获时大家发现，这样生产的黄瓜和西红柿比普通的要贵十倍。他再也不提这件事了。周围的人都彼此开玩笑说，幸好赫鲁晓夫不是在十年前迷上无土栽培，不然的话又是苏联农业的一场灾难。
　　时间长了，赫鲁晓夫开始到附近散步。他的住地旁有一个休养所，他一去那儿，休养的人总是围上来，断断续续同他谈上几小时。听众不断换变，以致休养所长把与赫鲁晓夫谈话作为休养所的一项经常性的活动来安排。
　　有时赫鲁晓夫走得远些，去邻近的農村。有一次他看到一块地耕作得不够精细，就请人找来农庄主席，就此事责备了一番。这个集体农庄主席不以为然，回答赫鲁晓夫说，你已经不是政府领导人了，何必多管闲事。这件事使赫鲁晓夫耿耿于怀。
　　更使赫鲁晓夫动怒的，是一次与政治局委员基里连科的谈话。基里连科过去曾得到赫鲁晓夫信任，是由他一手提拔起来的，可在这次谈话中，基里连科训斥了过去的上司一通后，嘲讽地说：“你倒过得挺舒服。”赫鲁晓夫也不买帐，反唇相讥道：“那又怎么样，你可以从我这儿收回别墅和养老金，我可以到全国各地去伸手乞讨，人们或许会施舍给我一些东西。可是假如你有一天去乞讨的话，谁也不会给你东西。”
　　这次谈话对赫鲁晓夫刺激很大，有人看见他在离开时，双手紧捂着胸口，痛苦地走出去。第二天，他就因中风住院。1971年，卧病一年多的赫鲁晓夫死在医院里。
　　赫鲁晓夫被葬在莫斯科新圣母公墓，参加葬礼的人很少，没有重要人物参加，只有他的近亲和几个朋友到场。
　　葬礼没有引起多少人注意，一切都在默默无闻中进行。