叶飞喜歡看书，爱书成癖。战争年代，打仗前轻装，他宁肯扔行李扔衣物，也舍不得丢书。外出开会，他可能忘记带日用品，但绝对不会忘记带书。“文化大革命”期间，他被关押了六年。其间，他通读了《马克思恩格斯全集》，全套《资本论》精读了三遍，《毛泽东选集》则翻来覆去读了无数遍。他不但逐字逐句地阅读研究，还认真记笔记。笔记本密密麻麻地记了30多本。
　　叶飞读书面很宽，但大量是政治理论、历史方面的。文艺著作，他特别喜欢鲁迅的书。解放战争中，有一次他率部打下一所敌人占据的学校，第一件事就是带人寻找鲁迅的书籍。他时常把鲁迅的著作放在案前、床头，一有时间就翻看。他还把鲁迅的名句“横眉冷对千夫指，俯首甘为孺子牛”挂在房间，作为自己的座右铭。20世纪90年代初，社会上曾刮起一股贬损鲁迅的风，叶飞非常生气。为此，他偕同夫人专程前往鲁迅故居参观。他说“鲁迅是不朽的，时间会作证”。
　　叶飞的大女儿叶小楠结婚，礼物是一套精装的《鲁迅全集》。父亲送得郑重，女儿倍加珍惜。许多年过去了，这套《鲁迅全集》还整整齐齐地摆在叶小楠家中的书架上。