杉山家は、富田林寺内町の創建に関わった８人衆の一人で、貞享２年（1685）から酒造業を営み、財を成し、河内酒造業の肝煎り役も務めました。建物は、富田林寺内町で最も古い遺構（１７世紀中期）で、寛永２１年（1644）まで遡ることができ、以後数回の増改築を経て城郭を思わせる豪壮なものに整い、質的にも優れた町家建築として昭和５８年１２月に国の重要文化財に指定されました。　
明治時代末、堺の与謝野晶子らと共に活躍した明星派歌人「石上露子」（本名：杉山孝）の生家でもあります。