黄家花园的前身是原英商德记洋行“二写”（副经理）的住宅，名为“中德记”，先是由林尔嘉买下，后于1917年转卖给黄奕住。黄奕住1919年从印尼回国后定居鼓浪屿。当年黄奕住先在“二写”住宅两侧建造对称的两幢别墅，称“南北楼”，用于安置家小。1921年，黄奕住拆去“二写”的住宅，兴建“中楼”，于1925年才全部建成，总占地面积约11988平方米，建筑面积约4500平方米。因一些历史原因，黄家花园现有6栋建筑。