刘氏第十一世祖刘瑞阁之妻詹氏携其三子刘延转、刘延臼、刘延楹， 由广东省饶平县杨康乡渡海来台﹐暂居於盐水港(今新竹市香山地区)一带。长子刘延转，字学悟，於枋寮开基立业，於1781年仿照原乡住居形式兴建一座四合院祖堂，由於屋分前、後堂，故又名「双堂屋」，当时建筑仅以土埆筑墙?茅草铺顶，约於1862年重修时改为瓦顶。新埔上枋寮刘宅座东北朝西南，原是一座二堂六横前带半月池的合院式宅第，後兼作祠堂使用；近年更因为右外横屋改建为三层钢筋混凝土建筑，而使平面呈二堂五横形式。中央部份因有前後二堂，故又称为双堂屋。堂屋面宽达五开间，前堂中央三开间为门厅，是祠堂的总门面，外侧两开间为通道式的过廊。进入门厅後为中央的天井，两侧加回廊，搭配後堂的祭祀空间，提高了正堂的仪典性，也让公私空间有明确的分际。而堂屋之外，两侧的横屋则为生活的基本空间，由层层横屋与门厅围成的大禾埕，是刘家人生活的重心，举凡与族群生活、产业及种种活动均在此发生。