1981年第四季度，广东、福建、浙江三省沿海出现了走私贩私泛滥的严重情况。记得最严重的广东、福建的几个沿海渔港、渔镇，成了走私贩私的大据点。地方上个别负责同志，对此认识糊涂，竟然认为走私贩私有利于经济发展、市场繁荣、群众致富，放任自流，更加剧了问题的恶性发展。消息传到中央，领导同志都感到不采取果断措施不行了。
　　1981年12月15日到23日，中央召开各省、自治区、直辖市党委第一书记座谈会。这个会主要是讨论经济工作问题，部署了1982年的工作。会议结束后不久，又把广东、福建两省的主要领导同志找回来，专门座谈讨论开展打击经济领域里包括走私贩私在内的违法犯罪活动问题。
　　在會上，我受命组织打击走私贩私斗争。经报请中央批准，组建国务院打击走私领导小组，我任组长，外贸部、海关总署、公安部、国家工商局（后来又加入国务院特区办公室）等有关部门的负责同志参加作为成员，依托海关总署设立了处理日常工作的办公室。经过采取有效措施，加强海上堵截和陆上检查，严格实行渔政管理，整顿走私严重地区的基层党政组织，从多方面进行综合治理，还依法惩办了几个罪大恶极分子，把这股邪风压了下去。
　　1982年初，国务院实行机构改革，国家进出口委和其他几个委撤了，我负责的办特区这件事总得有几个帮手。经报请国务院主要领导同意，从已撤销的进出口委机关的干部中，选了何椿霖等8个人，组织一个小班子，在我领导下办理有关事务。组织好这个班子，我很花了些工夫。原来想命名为特区办公室，后确定叫特区工作组，隶属国务院办公厅编制序列。我第一次召集他们8个人开会时，我说，对办特区的认识并不是那么统一，议论很多，很敏感，我是准备让人家“火烧赵家楼”的。但是，我认为大概不会出现这样的前景。这8位同志思想还是坚定的，大家愉快地接受分配，并且努力做了颇有成效的工作。
　　形势发展比我料想得快。1984年初，被后来艺术家歌唱的“春天的故事”来临。我们迎来了对外开放的好形势，可以说是一派“阳光明媚”、“姹紫嫣红”的景象。（摘自《谷牧回忆录》，作者系国务院原副总理）