读曾国藩的家书和日记，给我们留下的印象是，曾国藩威严有余，不苟言笑，但也不时和夫人言笑晏晏。他在日记中不止一次地反省过自己“房闱不敬”，为什么房闱不敬呢？因为他在私房中与夫人开了玩笑。从他的反省来看，曾国藩的本质也和常人一样，喜欢开开玩笑，只是他经常用道统来克制自己。
　　其实曾国藩不止是和夫人私下里开开玩笑，有史料记载了他到风月场中狎妓的行为，而且留下了绝妙的联语。
　　一次，曾国藩乘坐帅船停泊于长江某埠，来到卖笑销魂的场所，与一位叫“大姑”的妓女饮酒作乐。临别时，曾国藩问大姑需要点什么，大姑说：“不求大帅金银，但求大帅墨宝。” 曾国藩于是挥笔书嵌字联相赠：大抵漂生若梦，姑从此处销魂。
　　从此“大姑”身价倍增，门庭若市。
　　还有一次，曾国藩随同南京钟山书院山长李小湖游览秦淮河。河畔的青楼中有一位名叫春燕的妓女，温柔娴雅，秀外慧中，很得曾国藩宠爱，不想年纪轻轻一病身亡。曾国藩闻讯怅然不已，便书一联寄兴，联云：
　　未免有情，忆酒绿灯红，一别竟伤春去也。
　　谁能遣此，怅梁空泥落，何时重盼燕归来。
　　曾国藩在做湘军统帅时，军师刘蓉曾想辞职回家。爱才如渴的曾国藩设法挽留。刘蓉出于对曾国藩的敬重和友情，表示愿意让点步：“你要是能写出一首令我发笑的诗来，我就留下不走了。”曾国藩便把家乡娄邵一带流传的一首取笑姑爷的宝塔诗抄录给刘蓉：
　　虾
　　豆芽
　　芝麻花
　　饭菜不差
　　爹妈笑哈哈
　　新媳妇回娘家
　　亲朋围桌齐坐下
　　姑爷一见肺都气炸
　　众人不解转眼齐望他
　　原来驼背细颈满脸坑洼
　　刘蓉看后，忍俊不禁，遂留在军营中继续为曾国藩服务了。
　　曾国藩留给晚辈和下属的形象，大多是威严肃穆的，但也有幽默、风趣的时候。他最得意的学生李鸿章写道：“在营中，我大帅（曾国藩）要我辈大家一同吃饭，饭罢即围坐高谈阔论。他老人家又最爱讲笑话，常常惹得大家笑痛肚皮，他自己偏一点也不笑，只管穆然端坐，捋须，若无事然。”
　　有野史记载，曾国藩有一回和几个弟子一起喝酒，席间有人放了一个屁，众人便互相推脱指责，说找出放屁者一定要罚吃一杯酒。可吵来吵去，也不知是谁放的。曾国藩见大家争执不休，开口说道：“你们各吃一杯，我来告诉你们是谁放的。”众人都吃了一杯后，曾国藩说：“刚才的屁，其实是我放的。”有约在先，学生们自然不服，乱叫道：“本是说好的，谁放的屁谁吃一杯酒，为何老师放的屁却要我们吃？”
　　曾国藩最小的女儿曾纪芬也在回忆录中写到一个曾国藩跟她逗趣的故事：曾纪芬想做个刘海，把头发拉长一点。曾国藩满口答应：“好，好，我去给你请个木匠来，帮你做个木架子，架在你的额头上，把你的刘海拉得又长又漂亮。”说着，他自己也忍不住笑了起来。