清光绪十一年四月九日（1885年6月1日），杨树达（字遇夫）生于长沙城北门正街宗伯司臣坊侧的租居房屋里。杨氏宗族于明末清初从江西南昌迁入长沙，定居在今长沙县东北角与平江、汨罗接壤的龙华岭一带。先世力农，资产雄于一乡，后因一场大火而使家道中落。到曾祖父春台公时，才移居长沙城区，以种菜为生。春台公虽家境贫寒，但为人正直，尚义侠。祖父炳南公身材魁梧，声如洪钟，性格伉直，因家贫而过早辍学，但督促其子翰仙公孝秩读书却非常下力气。杨树达的父亲翰仙公，性笃厚，少时因刻苦力学而病咯血。他喜欢读《史记》、《资治通鉴》和唐宋八大家的古文，但对科举帖括程式却不太留意。光绪十八年（1892）三十四岁时，才预补长沙府学附生，戊戌（1898）岁试补增生，后入资为候选训导，加中书科中书衔。他生性廉洁，在乾州厅幕及任湖南矿局事时，有人要贿赂他，都被他委婉拒绝。杨树达的母亲孔太夫人，慈爱而做事果断，以礼法教育子女，善于理家，勤劳朴素始终如一。杨树达有三兄弟，兄树谷，弟树绩，另有两个姐姐、一个妹妹。杨树达五岁时开始从父读书，也像父亲一样好史籍，尤嗜《汉书》。至十一岁时，父亲才教他作文，经常读《左传》，且以《左传》事实命题作文。
　　自1894年中日甲午战争起，杨树达“睹父兄愤慨之诚，即切同仇之恨”。1897年十三岁，与兄树谷一同考入湖南时务学堂，与蔡锷、范源濂等同在第一班，从梁启超学习《孟子》、《公羊春秋》，接受了梁所倡导的民权革命思想。戊戌政变后解散时务学堂，湘人又办起了求实学院，杨树达于1900年十五岁时入该书院学习，开始钻研郝懿行《尔雅义疏》、王念孙《广雅疏证》，始有志于训诂之学。同时开始受业于叶德辉、胡元仪，学问日益精进。
　　1902年，杨树达治《周易》，辑成《周易古义》一书。这一年的例行科考，他没有参加，第二年新学使的观风课考，他报考经学，名列第一，旋调入校经堂肄业，连续三年，除习经史外，他还学习算学、英语等科。1905年，杨树达考取公费赴日本留学，“偕伯兄成行，同行官绅凡四五十人”。9月入东京弘文学院大塚分校，以日语为主课，同时入正则学校学习英文。从留学日本起，他就开始写日记，直到1956年2月5日临去世八天，一天也没有间断过，可见他做事与治学的恒心和毅力，实卓然不同于一般人。当时湖南留日学生大多入速成班学法政、经济，杨树达受同县友人杨昌济影响，决心系统学习“欧洲语言及诸杂学”。曾想赴美国留学，未果。在日期间，他加入了杨昌济发起的“中国学会”。
　　杨树达学习外国语言，对文法和语源最为用心，曾说：“余之治中国文法也，资于欧洲文法者多。”又说：“我研究文字学的方法，是受了欧洲文字语源学的影响的。”所以，他后来治文字学，总是尽量地寻找语源。
　　1911年武昌起义后，杨先生回国，先后在长沙楚怡工业学校和湖南第四师范学校教中国文法与英文。1915年任省立第一师范学校国文教员，毛泽东曾旁听过他的课。1917年5月，他与杨昌济、朱剑凡等人向湖南政府呈文，倡议在高师等校基础上筹办湖南大学。五四运动前后，杨先生是湖南新文化运动的关键人物之一。1919年6月，他与湖南教育界陈润霖、徐特立、易培基、朱剑凡等发起组织“健学会”，以输入世界新思潮、新观念。北洋军阀湖南督军张敬尧祸湘，杨先生毅然参加驱张运动。他与罗教铎被推举为教职员代表，与公民代表毛泽东、熊梦飞及学生代表三十多人同赴北京请愿。临行时，杨先生对送行的友人说：“义无反顾，势在必行，吾意决矣。”表现了他除暴安民的决心。
　　1920年5月，肆虐湖南的张敬尧三兄弟终于被赶出湖南，杨树达则在时任中华民国教育总长范源濂（范与杨是时务学堂的同学）的帮助下，于这年8月来到北京任教。他先到教育部国语统一筹备会任职，负责撰写《国语辞典》之“编辑大例”、“采集方法大要”等词条，兼任北京师范学校（后改名北京师范大学）国语法和北京法政专门学校日文教员。从此次到北京直至1937年回湖南，杨先生这十七年间主要在两所著名学府任教，前期在北京师范大学，后期（1926年后）在清华大学。从1924年10月起，他开始取《荀子·大略篇》“夫尽小者大，积微者著”中“积微”二字名其居，坚持其积微至著的学术生涯。他“持短笔，照孤灯，先后著书高数尺，传诵于海内外学术之林，始终未尝一藉时会毫末之助，自致于立言不朽之域”（陈寅恪《金明馆丛稿二编》），而巍然成为“一代儒宗”。
　　杨先生将教学、科研、著作三者紧密结合，这十七年的学术研究大致可分为两个阶段，即1930年以前以汉语语法研究为主，著有《中国语法纲要》、《马氏文通勘误》、《高等国文法》、《词诠》等;1930年后侧重于语源学、训诂学、文字學的研究，其力作为《积微居小学金石论丛》。这一时期，杨先生著作成果最为丰硕，还有《老子古义》、《说苑新序疏证》、《中国修辞学》、《积微居文录》等，平均每年一书，连一向以勤于治学著称的余嘉锡也为之惊叹：“吁，多矣哉！非兼人之力不致此！”
　　杨先生的这些经典著作面世，使他早在二十世纪三十年代就赢得了学术界的高度评价。张岱年在《大公报》上撰文，谓当时中国学术，只有冯友兰之哲学、陈垣之史学、杨遇夫之训诂学足以抗衡日本。刘半农则称：“近来研究中国文法者，当以杨树达为第一。”章太炎说：“湖南前辈于小学多粗觕，遇夫独精审，智殆过其师矣。”陈寅恪尤称誉《〈汉书补注〉补正》一书，谓：“汉事颛家，公为第一，可称‘汉圣’。”后复评曰：“当今文字训诂之学，公为第一人，此为学术界之公论，非弟阿私之言。”钱玄同则赞扬先生曰：“君治学，语必有证，不如湖南前辈之所为，而做人则完全湖南风度也。”
　　钱玄同是章太炎的学生，师生二人的话均有所指，认为湖南人在传统学术的经学、小学方面均无突出人才，而江浙人素重小学，如高邮王氏父子、段玉裁等。章太炎的小学功夫重在声音，曾批评从前文字学者，如王安石、王夫之、王闿运等皆“刻削文字，不求声音，譬瘖聋者之视书”（《国故论衡·小学略说》）。说王安石的《字说》破坏小学，三王虽异世而同术，而三王中湘人居其二。杨树达在北京时，曾与同乡好友曾运乾谈及章氏讥讽三王不通小学之事，谓“此时吾二人皆游于外，他日仍当归里教授，培植乡里后进，雪太炎所言之耻”。1937年7月“卢沟桥事变”爆发后，杨先生于8月应湖南大学之聘，遂举家定居湖南，在湖大讲授文字学、训诂学和《汉书》等课。曾运乾即奉杨先生“雪耻”之约，从广州回到湖南大学执教，讲授声韵学和《尚书》。楚地二大师殷殷以振兴湘学为念，使当时的湖南大学国文系群贤荟萃，雄踞学林，培养了大批人才，湘学也从此受到了世人的重视。 　　1938年10月岳阳被日军侵占后，杨先生一家随湖南大学从岳麓山迁往湘西辰溪，11月20日抵沅陵，始知长沙“十二日夜大火，全城皆尽”。1939年7月，杨先生“愤于国难”，在辰溪县荒山野岭中的“环堵之室”开始治《公羊春秋》，撰著《春秋大义述》，阐述《春秋》“复仇”、“攘夷”大义，以激励军民努力抗战，驱除敌人。不久还与曾运乾、吴绍熙、宗子威、刘豢龙诸教授组成五溪诗社，以吟咏宣忧救国。
　　值此山河破碎之际，杨先生还不顾年事已高和研究资料奇缺，开始了他对甲骨文、金文的古文字研究，所撰《释追逐》、《释滳》等见于《积微居甲文说》的论文，至今仍被认为是不刊之论。胡厚宣在《五十年甲骨学论著目》中说：“杨遇夫先生以六十几岁的老先生，最后写文章最多，不愧为五十年来甲骨学研究中最努力的一人。”杨先生治金文的成就更高，其心得集中在《积微居金文说》一书中。陈寅恪为此书作序说：“寅恪尝闻当世学者称先生为今日赤县神州训诂学第一人，今读是篇，益信其言之不诬也。”这部书也就成了治金文者的必读书。
　　1944年3月，杨先生晋六十岁，即兴赋七律诗《六十自述》五章，连出版的新书一起分送友人陈寅恪、刘善泽、曹典球、徐绍周、曹孟其等教授，他们均寄来诗作祝寿，其中陈寅恪祝寿诗中“一代儒宗宜上寿，八年家国付长吟”，更富学人情趣。后来，学生也有以诗文为先生祝寿者，其中谭佛雏所送的小曲云：“但凭那数茎白发，换取了摩天声价。一领旧宽袍，两只粗布袜，拄杖儿不怕溜滑。叔重以来几万家，都吃这杖儿一顿打煞。”杨先生称他用小曲作学问事，新颖可喜。
　　抗战期间，年过半百之后的杨先生虽身体日益衰弱，仍坚持教学、科研两不辍，且成果甚丰。如1941年，他因给学生讲授《汉书》而整理旧著札记，定名为《汉书窥管》;1943年2月5日始著《论语疏证》，至4月底便初稿撰讫，8月18日又校《文字学讲义》，11月校补《文字学》;1944年1月1日撰《文字形义学序例》，5月20日《文字学》一书校讫，自记“此书经营前后十余年，煞费心思。自信中国文字学之科学基础，或当由此编奠定。姑以此言，以待知者”;11月始撰《甲文蠡测》，次年2月27日《甲文蠡测撷要》讲义印成，并以求教于诸友。
　　抗战胜利后，杨先生回省城长沙，任湖南大学文法学院院长。1946年8月1日，湖南省文献委员会成立，拟修省志，主任为仇鳌，委员有杨树达、李肖聃、黎锦熙等。聘杨先生任《艺文志》主编。《艺文志》初稿主要是杨树达、李肖聃撰写湘人先贤著作的著录、提要，其中杨五十六篇、李二十六篇，后编入《湖南文献汇编》第二辑，成为了解和研究湖南先贤著述的重要文献。杨先生撰写各书提要，始于11月1日，约止于1949年3月。
　　1949年后，院系调整，杨先生任湖南师范学院历史系教授，兼任湖南文史馆馆长。同时，中国科学院语言研究所虚位以待，拟请他出任所长。但此时他已年近七十，且患有高血压等多种疾病，双目视力下降，几近失明，故只应聘为语言文字组专门委员、学术顾问。1949年9月7日，清晨睡眼蒙眬中得诗一句云：“霜叶从教耐晚林。”杨先生觉得颇有意思，于是用来命书室曰“耐林庼”，自号耐林翁。
　　晚年的杨先生仍每日耐劳工作十小时以上，撰写了大量论文，其中以考释古文字为主。1955年，《文字形义学》一书脱稿。同年10月，他在北京承担了科学院哲学所委托的《盐铁论校注》撰写任务，11月返湘后，只用了五十天便完成了初稿。十天之后，即1956年2月14日，杨先生与世长辞，于2月16日安葬于长沙岳麓山。
　　杨先生一生，“无他嗜好，唯喜读书，心有所会，则笔之于书，以为至乐”，故著述甚丰。而且，他把读书、科研与教学密切结合起来，“每开一门课程就有这门的著述，比如讲《说文》，就有《积微居小学金石论丛》，讲《汉书》就有《汉书窥管》，讲《淮南子》就有《淮南子证闻》等等，他给祖国文化宝藏增添的财富是不少的”（罗常培《悼杨树达先生》）。由于杨先生的贡献大，也赢得了很高声誉。他1942年当选为教育部首届部聘教授，1948年当选为中央研究院首届院士。新中国成立后被评为一级教授，1955年当选为中国科学院首届学部委员，约同期当选为苏联科学院通讯院士。“先生在文化事业上的建树，同巍巍麓山一样，將永远为人们所景仰”。