“丑八怪”来源于“扬州八怪”。“扬州八怪”指的是清代中期活跃于扬州地区趣味相投、画风相似的一群书画家，他们是：李鱓（音ｓｈàｎ）、汪士慎、高翔、金农、郑燮（音ｘｉè即郑板桥）、黄慎、李方膺（音ｙīｎｇ）、罗聘等人。其中尤以郑燮、金农、汪士慎最为著名。这些人在当时所谓的正统画派眼里，一是做人不合时宜、我行我素，二是作画我从我法、推陈出新，所以被诬为“丑八怪”。然而，他们的怪异又入情入理，很受广大百姓喜爱。因此，一方面被主流画家和上层社会所攻击、不容；一方面又深受大众喜爱，名气大振。
　　另外，在中文里“八”往往用作虚数词，表示数量多，就像“扬州八怪”不止八个人一样，“丑八怪”也沿用至今。
　　
　　丑八怪的哥哥
　　一个人对另一个说：“喂！你看对面那个丑八怪是谁呀！”
　　“那是我哥哥。”
　　这一位吃惊地说：“噢！没注意你们兄弟俩长得那么像哟！”