对实行开放和建立经济特区，从一开始就有许多不同意见。特区建立之初，没有现成的经验可套用，一切都要靠“摸着石头过河”，各方面的政策法规刚着手制定，出现了一定程度的混乱。
  1981年第四季度，广东、福建、浙江三省沿海出现了走私贩私泛滥的严重情况。广东、福建的几个沿海渔港、渔镇成了走私贩私的大据点，私货蜂拥而进，贩私络绎于途，以致发生了“工人不做工，农民不种田，渔民不下海，学生不上课，一窝蜂似的走私贩私去了”的现象。消息传到中央，领导同志都感到不采取果断措施不行了。
  1981年12月15～23日，中共中央召开各省、自治区、直辖市党委第一书记座谈会。会议结束后不久，又与广东、福建两省的主要领导同志专门座谈讨论开展打击经济领域里包括走私贩私在内的违法犯罪活动问题。
  1982年初，中共中央决定组建国务院打击走私领导小组，由分管特区工作的国务院副总理谷牧任组长。经过采取有效措施，加强海上堵截和陆上检查，严格实行渔政管理，整顿走私严重地区的基层党政组织，从多方面进行综合治理，还依法惩办了几个罪大恶极分子，把这股邪风压了下去。
  由于那次走私贩私的泛滥主要是在开放地区发生的，因此有些人就对外开放画问号了，特别是对举办特区这件事摇头了。于是，非议特区的意见就比较公开地从许多方面反映出来了。有的把经济特区说成给外国资本家搞的“飞地”，说是除了五星红旗以外，全都变了。
  谷牧思前想后，力排众议。他指出：“实行对外开放已经列为实现社会主义现代化战略部署的重要组成部分，写入了党的历史性决议；大家都知道举办经济特区是小平同志倡议、中央决定、全国人大常委会立法、国务院组织实施的一桩大事。所有这些，都没有更改。中央领导同志中，没有谁说不实行对外开放，也没有谁公开在会议上讲特区办错了。街头巷尾那些是是非非的议论随它去。我个人不算什么，别人怎么议论都行，但我必须坚持执行中央委托的任务，把特区工作推向前进。”
  在谷牧的支持下，广东省委书记吴南生组织召开特区理论研讨会。谷牧又几度到几个特区调查，在北京邀请有关干部和专家座谈。在此基础上，形成了《关于举办特区工作的汇报提纲》。汇报提纲就人们关注的特区的进展与不足、特区的性质、国家对特区的管理三个问题向中央提出了建议。
  1982年10月30日，陈云同志对这份汇报提纲作了批示：“特区要办，必须不断总结经验，力求使特区办好。”11月15日上午，中央书记处批准了《关于举办特区工作的汇报提纲》，同时组织国务院有关部门和广东、福建两省负责人就特区建设中出现的问题作了系统研究，形成了《当前试办经济特区工作中若干问题的纪要》。这份纪要是有关特区工作的第四个中央文件，中央在批语中指出：“举办经济特区，是我国在新的历史时期贯彻实行对外开放政策的重要措施。中央书记处和国务院分工由谷牧同志具体负责。”

国务院成立了特区领导小组和特区办公室，隶属国务院办公厅编制序列，谷牧任组长。特区办的成立，加强了对特区工作的指导。