早在周代，我国就有图书馆出现，只不过，那时不叫图书馆，叫“盟府”，主要保存盟约、图籍、档案等与皇室有关的资料。嚴格地说，这只是图书馆的雏形。老子堪称中国历史上第一位图书馆馆长，據《史记》记载，老子“姓李氏，名耳，字聃，周守藏室之史也”。这个“守藏室”，就是藏书之所。
　　到了西汉，皇室就开始大量收藏图书了，开国之相萧何还在宫内设置了专门用来藏书的石渠阁、天录阁，这也是后来人们常常把皇家图书馆称为“石渠”“天录”的原因。汉武帝算得上一位重视保存典籍的开明之君，他不但在宫里修建了专门收藏图书的“秘府”馆舍，还以官方命令在全国广泛征集图书，可谓是对秦朝以来“焚书”的拯救。
　　兰台、石室、麒麟阁，都是汉代收藏图书的地方。从“石室”的名称上，我们就可以知道，当时人们为了防火防潮.已经开始把藏书之所修建成石头的了。汉代收藏图书的书柜，多为铜色包边，所以也有人把图书馆称之为“金匮”。
　　东汉桓帝时设置的秘书监一职，即专门管理图书秘籍的官员。《唐六典·职官》中，就曾经说过这样的话，“至桓帝延熹二年，始置秘书监，属太常，掌禁中图书秘记，故曰秘书”。秘书监相当于现在的国家图书馆馆长，当时的俸禄是六百石米。这一官职被后代沿用，到了隋炀帝的时候，秘书监已经是正三品了。唐代的魏徵就曾经担任过秘书监一职，他为唐代的书籍整理，做出了不可磨灭的贡献。
　　到了明代，秘书监一职被废止了，图书馆馆长的职务也并入翰林院。清代除了文渊阁、文津阁、文澜阁这些图书馆外，还在翰林院、国子监、内府等机构也收藏过图书，这些机构的长官在做好本职工作的同时，也负责管理这些图书，算得上是兼职的图书馆馆长了。
　　需要说明的是，唐代以前，图书主要是由官府掌控，民间是不允许大量藏书的。有的朝代，比如秦朝，就实行过“焚书坑儒”的手段，来取缔私人藏书。唐代民间私人图书馆的出现，开了我国历史上私人藏书的先河。
　　唐代的私人藏书，是随着印刷业的发展而兴旺起来的。想想也是，在那些逐本抄书的年代，私人要想收藏大量的书籍，除了政治因素外，经济情况，也是个问题。有了先进的印刷技术，官府藏书大量增加，私人藏书也如雨后春笋，茁壮成长。韩愈就曾经在自己的诗歌里提过老友邺侯的藏书：“摇轴三万卷”。由此可知唐代私人藏书之丰之盛了。唐代末年，眉州的“孙家书楼”，藏书量在四川首屈一指；明朝范钦的天一阁，也是享誉古今，天下闻名的“图书馆”。
　　无论是私人藏书还是皇家藏书，真正使用“图书馆”一词，还是从“江南图书馆”开始的。修建于清代光绪三十三年（1907年）的江南图书馆，不但最先使用“图书馆”三个字，也是首次把藏书推到了公众面前的图书馆。所以说，“江南图书馆”开创了我国“图书馆”新篇章，是一所真正的大众图书馆。