興建於日據時代日本大正年間。本來是日本愛國婦人會台南支部，台灣光復後輾轉移交台南市政府。本建築物整體而言是具有日本本土洋風住宅之空間組成，建築物當中許多木質構造屢見不鮮。開口部之形式以方形窗為多，只有樓梯西面與入口處有八角形窗戶。綜觀整棟建築在量體組成上相當有機，乍看之下還有幾分類似萊特之草原住宅之風貌。日本愛國婦人會是日本戰時之主要婦女團體之一，總部設於台北，並於各州廳所在都市設有支部。南支部興建於1920年代(日大正年間)」，當時包括兩個部份，北面一棟為婦人會本館，南面一棟為宿舍，中央為一廊道相連。二戰後，各地之愛國婦人會均移交紅十字會，然而由於紅十字會並不需要太大之空間，於是便將前棟出租予美國新聞處，兼具領事業務及文化業務，並設有一圖書館。台美斷交之後，美方撤離，但把其中圖書館之藏書捐給台南市政府，紅十字會乃將房舍租給市府當成是圖書館中區分館，後棟則作為紅十字本身及附設托兒所使用。