1980年代後，因為台灣土地、勞工成本漸高，生產的砂糖成本遠高於自東南亞進口砂糖，台灣原有數十家糖廠漸進式關閉停產。1994年，麻豆總爺糖廠停止運作。
總爺糖廠關閉之後，台南縣政府文化局相中這裡現有的歷史建築物，與台糖公司協商，租用舊廠區做為縣內文化設施。並指定為「縣定古蹟」。目前文化局有幾個單位已從新營市局本部進駐這裡，也有藝文專長的替代役男在此服役。
因此地建築物中有部份已有九十多年歷史，故台南縣政府文化局在正式進駐之前，委託「國立成功大學研究發展基金會」進行調查、修復計畫、再利用及總體規劃。主持的教授為建築系的教授徐明福（現任成功大學設計與規劃學院院長）。
這份報告書是2002年12月完成，並曾向台南縣長蘇煥智報告。
報告書著重於建築物的歷史調查、結構調查，及古蹟再利用的評估等等。在報告書的末尾結論建議中，除建議舊糖廠全區往文化藝術空間規劃之外，也建議利用其中館舍，做縣內重要的藝術家紀念館，報告書中明確建議可以做「顏水龍紀念館」。這雖是學術單位的單純建議，但也獲得蘇煥智縣長的認同及支持，當時就決定朝此方向進行，並責成文化局做好後續的工作。
顏水龍教授五十多年前在成功大學建築系擔任教職，五十多年後成功大學建築系提出的規劃報告中明確建議縣政府在總爺糖廠設立顏水龍紀念館，這也是冥冥中的巧合。
