济阳区图书馆始于民国年间。据《济阳区志》及有关资料记载,1928年何德政创建私立中山图书馆(后改为公立图书馆),馆址在城内振武街东首路北(今中国工商银行济阳支行所在地),拥有房屋30余间,馆员1人。馆内设借书室、藏经室、阅览室和金石储藏室。年经费648元,藏书6000余册,藏经2000余卷,另有部分报纸和期刊等。1930年并入民众教育馆,内设阅览室,对民众开展阅览活动。1937年日寇入侵,民众教育馆被毁。
1951年,人民政府在城内东街路南建立大众文化馆(后更名为济阳区文化馆),内设图书室,房舍3间,图书200余册,报纸3种,馆员1人,隶属县文教局。1958年济阳区并入临邑县,文化馆改称临邑县第二文化馆,馆舍迁至济阳区工会俱乐部(现图书馆址,老城街27号)。图书室占有平房两间,借书、阅览合用一室。
1964年,县财政拨款6000元,在城内东街路南(现检察院所在地)修建了文化馆新馆舍。新馆图书室有平房4间,面积83平方米,借书、阅览仍合用一室。
1976年1月,该馆图书室从文化馆分离出来,升格为济阳区图书馆,办公场所未变。1978年文化馆内的文物工作并入图书馆,故增加馆员1人,房屋1间。1980年,上级拨款在电影院南侧建了10间平房为新馆舍。1982年,又与电影公司的21间旧房相交换,县财政拨款1万元对旧房进行了修缮,次年初图书馆全部迁入。1988年初,济阳区建图书馆大楼,总面积984平方米,为三层建筑。二、三楼分别由文化局和博物馆借用,一楼为图书馆,使用面积394平方米。2001年5月,济阳区机构改革,精简合并,体育局与文化局合并,称文体局。济阳区图书馆与济北中学图书馆合并,两个牌子,一套机构,人事仍隶属文体局。