劉氏第十一世祖劉瑞閣之妻詹氏攜其三子劉延轉、劉延臼、劉延楹， 由廣東省饒平縣楊康鄉渡海來臺﹐暫居於鹽水港(今新竹市香山地區)一帶。長子劉延轉，字學悟，於枋寮開基立業，於1781年仿照原鄉住居形式興建一座四合院祖堂，由於屋分前、後堂，故又名「雙堂屋」，當時建築僅以土埆築牆､茅草鋪頂，約於1862年重修時改為瓦頂。新埔上枋寮劉宅座東北朝西南，原是一座二堂六橫前帶半月池的合院式宅第，後兼作祠堂使用；近年更因為右外橫屋改建為三層鋼筋混凝土建築，而使平面呈二堂五橫形式。中央部份因有前後二堂，故又稱為雙堂屋。堂屋面寬達五開間，前堂中央三開間為門廳，是祠堂的總門面，外側兩開間為通道式的過廊。進入門廳後為中央的天井，兩側加迴廊，搭配後堂的祭祀空間，提高了正堂的儀典性，也讓公私空間有明確的分際。而堂屋之外，兩側的橫屋則為生活的基本空間，由層層橫屋與門廳圍成的大禾埕，是劉家人生活的重心，舉凡與族群生活、產業及種種活動均在此發生。