在石雨傘風景區的附近，有一顆高約18公尺，寬約15公尺的石灰岩巨石，遠看狀似男人的陽具，當地俗稱為「男人石」，日治時期時則稱為「靈陽岩」。 男人石是一孤立的石灰岩海蝕柱，其上有四段明顯凹壁，高度分別約28、30、35公尺，為早期辦震性地盤相對隆生運動殘留的證據，與石雨傘周邊的海階與海蝕平台為同一連續地質景觀。 早先移民過來的阿美族，於神話傳說中提到男人石被稱為kotid ni malataw，指「神仙的龜頭」之意，對其敬畏有加；另外有一類故事則稱男人石為fasonihar，「fasiaw」就是風箏，「fasonihar」就是「綁風箏的地方」。 男人石距離北方八仙洞約25公里，南方三仙台約6公里，相近的地理位置也衍伸出了許多傳奇，據說當呂洞賓、何仙姑與鐵拐李在三仙台修行時，有對男女於三仙台幽會被呂洞賓撞見，呂洞賓怒而揮劍砍飛這對男女，男的成為男人石，女的就成為八仙洞，為這相鄰的諸多景點添上一份神秘色彩。 現在男人石周圍已規劃成為步道，並設有一套標準的許願祈求方式，除了求婚姻及求子外，也可祈求財運、事業和健康，是一個有獨特宗教文化意味的景點。