北京图书馆始创于1909年4月,当时名为“京师图书馆”,它是在清末掌管学部的大学士张之洞奏议下,根据清朝颁布的第一个关于建立图书馆的法令兴建的。热心社会教育事业的蔡元培、鲁迅、梁启超、马叙伦等曾领导并参与了建馆工作。第一任馆长是缪荃孙。京师图书馆馆址在北京鼓楼附近的什刹海广化寺。当时的藏书主要有南宋缉熙殿、明代文渊阁的部分珍本:清朝内阁大库、翰林院、国子监南学的藏书、热河避暑山庄文津阁的《四库全书》以及敦煌石室所藏写经八千卷等,图书总数不到十万册。“京师图书馆”于1912年8月27日正式开馆接待读者,1917年开始接受国内出版物缴送本,从而确立了国家图书馆的地位。1927年北伐战争结束以后,国民政府将“京师图书馆”改名为“国立北平图书馆”。1928年8月北平图书馆同北海图书馆合并成为新的国立图书馆。1931年在北海皇家花园西侧建成面积8000平方米的新馆,热河避暑山庄文津阁所藏的一整套《四库全书》善本连书匣及书架一同搬进新馆,图书馆门前的“文津街”由此而得名。

抗日战争时期,日伪政府教育总署接管图书馆,并改名为“国立北京图书馆”。太平洋战争爆发后,图书馆被迫停业。其间,有相当一部分珍贵善本,分装为210箱,辗转上海、美国,后运至台湾“中央图书馆”。到解放前夕,北京图书馆只有藏书140万册,10个阅览室,工作人员不到100人。

新中国成立后,北京图书馆作为中央一级的综合性国家图书馆,直接归国务院文化部领导。北京图书馆和1933年成立的南京中央图书馆两个国家图书馆并存的局面得到改变,北图成为我国唯一的国家图书馆。

由于北京图书馆的藏书日益丰富,原有的馆舍已远不能适应图书日益增长的需要。1987年7月1日,北京图书馆新馆在北京西郊紫竹院公园北侧正式落成,占地面积7.42公顷,由通廊连结13座建筑物,建筑面积14万平方米,可藏书两千万册。北京图书馆主楼共22层,地下3层,地上19层,楼体高达61米;两翼是阅览室,有开架书刊100万册。3000个座位每天可以接待1万名阅览者,图书馆里配有大型电子计算机和书刊传送、通讯、缩微复制等多种现代化设备。北京图书馆从建馆以来,跨越了古代“藏书楼”、“近代图书馆”、“现代化图书馆”三大历程,成为目前亚洲最大的图书馆,也是世界五大图书馆之一。作为我国唯一的国家级图书馆,北京图书馆已经与世界上106个国家和地区的1292个单位建立了固定的交换关系。