張群故居位於台北士林官邸公園，1977年完工，建物約有2百坪、土地面積1121坪，環境十分清幽，2013年公園斥資7百餘萬元台幣維修。2014年6月被文化局列為市定古蹟，隨即又以活化市定古蹟之名，將故居改為蔣中正紀念圖書館，由中正文教基金會得標，市議員質疑，張群故居市值數十億元，基金會改建蔣中正圖書館後，不但可販售紀念品，更可開餐廳，但卻不用繳租金及使用費，僅需繳營業收入百分之1至5的回饋金，市府簡直賤租市產。
文化局主秘李麗珠說，因張羣故居就在士林官邸公園內，有地緣密切關係，而蔣中正紀念圖書館是透過公開甄選委託民間管理維護，經營者須自付盈虧，並依營業收入繳納百分之1至5的回饋金，且開館後開放民眾自由參觀，不收門票，市府也不會給予任何補助，所有程式都依法執行。至於議員質疑是圖利蔣家或國民黨，文化局則指，這是歷史事實無法改變。
