劍潭有一段傳奇，傳說鄭成功有一次領兵經過此潭，潭中時有蛟龍之類的水怪興風作浪，害人無數，鄭成功把腰邊佩掛的寶劍，往潭中蛟怪擲去，從此潭水平靜，而此潭也因鄭成功的擲劍平妖，而名為「劍潭」。 推算劍潭古寺的年代，於臺灣府誌說「觀音寺，在八芝蘭劍潭」。按淡水廳誌記載「劍潭寺，乾隆38年，由吳廷誥等人捐建。該寺有碑記，描述僧人榮華和尚，路經此地，遇到一條蛇擋路，以卜筮占吉兇，大吉，便在此建場興寺。之後，又有白衣大士托夢指示，將有八隻舟楫從上海經過基隆，可以籌募基金，果然靈驗，劍潭寺遂成」，所以至今應該有350年以上的歷史，但日據後期被迫遷建至大直現址。入廟前有一牌樓，青綠色的瓦頂下寫著「劍潭古寺」4字，裡面的小巷道，就是劍潭古寺的原址，在這一片林園當中，園內保留著劍潭古寺舊有的廟柱及石碑，柱上殘留的許多痕跡，都是1 段1段的歷史，有著濃厚的歷史感。