本文以苦乐为线索，分上下两部分。上篇《乐》主要着眼于玉山文人们的快乐：顾瑛为自己和朋友抽取了所喜欢的“自然”和“社会”，形成一个仿佛文人“游乐场”、“花果山”的地方--玉山佳处，那里几乎浓缩了一切文人趣味如山水亭馆、奇石佳卉、琴棋书画、歌舞倡优等，文人们在此受到宠惯娇纵，各种兴趣嗜好得到满足，并有尽情的艺术创作和享受。文章特别指出玉山宾主的快乐并非一些人所谴责的颓废享乐，而是打上深刻的伦理道德烙印和追求精神洁净提升的，故而当时后世玉山佳处被舆论目为仙岛，顾瑛被视为寒士的庇护者和无忧无虑的仙人。然而一度担心的变成了现实，没想到的不幸也发生了。下篇《苦》叙写了草堂的成与毁、文会的聚与散、主人公的生与死……。玉山主人从东南风流豪赏之冠到客死临濠的遭遇，说明人生苦多乐少，且乐境终难维持而流于苦境的真实面目。顾瑛因苦而厌离而觉悟，修佛对减轻他晚期遭受的折磨起了不可低估的作用。