卡特是美国历史上为数不多的未能成功连任总统的“倒霉蛋”。1980年11月，因为选民认为他对经济问题和外交事务处理不力，他被共和党总统候选人罗纳德·里根以压倒性优势击败。当年卡特56岁，被认为是美国历史上最年轻的卸任总统之一。
　　他带着妻女回到老家佐治亚州普莱恩斯。回乡后，他发现自己已经破产。在任总统期间，卡特把农场委托给别人全权经营。由于天旱严重，加之又没有亲自监督，负债近150万美元。回忆当时的心情，卡特说：“一种全新的、未曾料想的极度空虚的生活在等待著我。”
　　和其他卸任的美国总统一样，卡特开始著书立传，先后写了超过20本书，主题涉及政治、宗教、诗歌、小说甚至儿童故事。然而，如果卡特退休后做的仅仅是写作，那么他还远不能像今天这样在美国乃至全球赢得如此高的声誉。
　　1982年，他建立了非营利、无党派性质的卡特中心，旨在促进世界和平、人权及医疗卫生事业。他和夫人罗莎琳的足迹遍布亚、非、拉美，帮助解决地区冲突、监督选举、推动人权和民主，并成功在非洲地区基本消除了麦地那龙线虫病（一种由于饮用被污染的水而导致的寄生虫病）。1984年，卡特又成为“仁人家园”志愿者，为美国和世界其他地区的贫困人口解决住房问题。
　　作为“仁人家园”最知名的志愿者，从1984年起，卡特夫妇每年都会抽出一周的时间参与到“仁人家园”的活动中。这被称为“卡特工作计划”，旨在帮助人们认识到简单、舒适、廉价住房的重要性。
　　卡特回忆：“1984年，我来纽约，在那栋小楼前看到一位老妇人，大概六七十岁的样子。”当时，卡特已于三年前谋求总统连任失败。“她住在这栋楼里，没有水电，也没有暖气。她在外面搭起两块砖，架起锅，然后生火做饭。我强烈意识到住房对人们来说有多么重要。”
　　一开始，卡特想为这位老妇人筹集几千美元的捐款，可最终，他做了一件其他国家元首几乎不会考虑的事情。作为一个木工活好手，卡特花了7天时间，帮忙翻修了这栋小楼。他和其他志愿者一起，住在一个教堂宿舍里。他睡上铺，负责保护他的一位特工睡下铺。他说：“我是很多慈善组织的名誉主席，但‘仁人家园’却是我唯一付出了时间和劳动的组织。”
　　此外，他在朝核谈判、海地权力和平移交等重大国际事件中，都发挥过特殊的作用。2002年，卡特被授予诺贝尔和平奖，成为首个也是唯一离任后获此殊荣的美国总统。
　　美国一直流行一个笑话：卡特总统不当总统时，比当总统时更称职。1981年卡特败选时支持率仅有34%，而根据调查公司盖洛普的数据，作为前总统的卡特支持率却一路攀升———1994年是45%，1999年提高到69%，2011年仍有52%，以至于一些美国选民开始重新思考：当年把卡特总统选下来，到底是不是个正确的决定？