邓小平喜欢打桥牌我早就听说过，但水平如何我不清楚，那时我还没和他打过牌。有一次谈到这个问题，我想当然地信口说道，邓小平的牌，就因为他是邓小平，所以不错。我这话比较含蓄，可以有多种含义：一是可以理解为因为你是邓小平，水平高，所以打得不错；二也可以理解为因为你是邓小平，别人都让着你。
　　没过多久，也就是1984年的夏天，胡耀邦请我到北戴河休假。当时邓小平也在北戴河，听说我来了，邀我过去打牌，而且指名和我搭档。对方是另一对熟悉的老牌友。其中一位牌友打牌有时冒叫，邓老爷子抓住他这个特点，动不动就加番。按照正规的叫法应该叫加倍，可邓老爷子总是用四川话叫加番，我们也就都跟着这么叫。
　　邓老爷子一加番，对方哪里顶得住，被邓老爷子一顿痛杀，真是惨不忍睹！打了几圈，他们一次没赢，我就发现对方的脸都长了，嘴也撅得老高。而邓老爷子仍然是毫不留情，穷追猛打。当时我就想偷偷“放水”，让他们一把。这位牌友拿牌的姿势永远是“君子坦荡荡”，谁都看得见。叫牌时，我看见他有好多黑桃，我只有AK四张黑桃，我就叫了个四黑桃。这回被他逮着了，给我来了个加番。这一加番不得了，我当了六个，输了很多分。这一下对方的脸色好看多了，可邓老爷子见输了这么多，很不高兴地说，小聂，你创了世界纪录了，还当了六个。这时我才感到邓小平打牌是很认真的，而且牌打得确实好，出乎我的预料。
　　打完牌，邓老爷子留我吃螃蟹。在餐桌上，毛毛（邓小平女儿）突然大声叫我：“听说你在背后说我们老爷子打牌不行，都是别人让，现在你觉得怎么样啊？你是不是可以坦白一下你的想法呀？”邓小平耳朵有点背，她这么大声讲就是为了让老爷子听见。我顿觉脸上青一阵白一阵的，尴尬至极。我愣了半天，说道：“看来我以前的判断错了，老爷子打得确实很好。”邓小平听了哈哈大笑，丝毫不掩盖得意之情，天真得像个孩子。
　　1985年，解放军准备成立八一围棋队，表示如果我去，给我正军级待遇，房子也特别好。我很想去，可我不好跟北京队讲。北京队对我一直不错，我还在黑龙江时北京队就给我房子。可是那边的条件确实不错，我也想换个环境。我把这事对毛毛讲了，她表示愿意帮忙。
　　一次和邓小平一起吃饭，毛毛对老爷子说，聂卫平想到我们解放军来，我们解放军是不是收他？邓小平不说话，也不表态，只是笑。毛毛说：“你笑就是默许了。”接着她又问：“是不是默许了？”邓小平还是笑，不回答。毛毛就对坐在旁边的万里说：“万叔叔，你看老爷子默许了，你跟北京市打个招呼吧，让北京市放他，到我们解放军来。”万里说：“老爷子默许我就办。”
　　可第二天我就犯了一个重大的“错误”，我去找胡耀邦汇报了。胡耀邦当即表示不同意，问我，你为什么要到解放军去？你现在不是在北京吗？我只好把解放军的待遇如实说了。胡耀邦马上批评我说：“你就考虑你自己的待遇，这怎么能行啊！”我当时真是有种无地自容的感觉。后来在邓小平亲自批示下，解放军正式成立了八一围棋队，孔祥明去了，授予正团级。
　　1988年3月，我被国家体委授予“棋圣”的称号。仪式是在围棋会馆举行的，并由方毅副总理亲自把证书送到我的手中。邓小平知道后大为惊讶，马上通知我第二天拿着证书到他那里去，他要亲眼看看证书。第二天我就老老实实地把证书拿给他看。邓小平看后对我说：“圣人不好当呀！你还是当老百姓好。”这句话给我的印象非常深，我不是什么圣人，也有犯错误的时候，早晚有一天我要把这个称号辞了。