剑潭有一段传奇，传说郑成功有一次领兵经过此潭，潭中时有蛟龙之类的水怪兴风作浪，害人无数，郑成功把腰边佩挂的宝剑，往潭中蛟怪掷去，从此潭水平静，而此潭也因郑成功的掷剑平妖，而名为「剑潭」。 推算剑潭古寺的年代，於台湾府志说「观音寺，在八芝兰剑潭」。按淡水厅志记载「剑潭寺，乾隆38年，由吴廷诰等人捐建。该寺有碑记，描述僧人荣华和尚，路经此地，遇到一条蛇挡路，以卜筮占吉凶，大吉，便在此建场兴寺。之後，又有白衣大士托梦指示，将有八只舟楫从上海经过基隆，可以筹募基金，果然灵验，剑潭寺遂成」，所以至今应该有350年以上的历史，但日据後期被迫迁建至大直现址。入庙前有一牌楼，青绿色的瓦顶下写着「剑潭古寺」4字，里面的小巷道，就是剑潭古寺的原址，在这一片林园当中，园内保留着剑潭古寺旧有的庙柱及石碑，柱上残留的许多痕迹，都是1 段1段的历史，有着浓厚的历史感。