龙山寺的前身为明郑时期一间供奉泉州晋江龙山寺观音菩萨的香火袋的草厝,到了康熙五十四年(1715年)时信众正式於东门外以硓古石兴筑观音殿,并雕塑观音像。而後在乾隆四十三年(1778年)台湾知府蒋元枢拨款重建,11年後(1789年)在士绅王拱照主导下又再次重修。在此之後直到拆迁为止,龙山寺在道光二十三年(1843年)、同治十年(1871年)与光绪十年(1884年)时又整修过。日治时期,於昭和二年(1927年)时因拓宽马路而拆除前殿等部分,昭和七年(1932年)时再次拓宽马路,而将旧有寺院完全拆毁,後来蔡玉霞居士与管理人许萱其、许朝成、蔡添福、刘王等人於现址重建两层楼建筑。民国六十九年(1980年)时,龙山寺再次改建,於1月拆除建筑,5月动土,於隔年完工,成为一栋三层楼建筑。但在民国八十九年(2000年)时龙山寺失火,之後的修缮工程约至民国九十四年(2005年)才结束。