Mõisa kohta liigub igasuguseid salapäraseid jutte. Hääli ja vaime on seal mitmel ajal kuuldud-nähtud, eriti öösiti. Kunagi, kui mõisas olid veel Stenbockid ja kirikuõpetaja Chalenius (1741-1776), keda rahvas Kalleuseks kutsus, Pühalepas teenistusi pidas, läks asi õige hulluks. Seda vist seetõttu, et mõisahärrad kaardimänguhoos tähelegi ei pannud, et Vanatühi ise nende sekka tuli. Ka teadis vanarahvas rääkida, et Vanapagan tahtnud ilusat mõisat selle valmimise järel hoopis endale saada. Et mõisahärrad ei andnud, tuli Vanatühi rahvast igal ööl hirmutama. Nii kutsutigi viimaks kirikuõpetaja mõisast kurja välja ajama. Õpetaja tuli mõisa, viskas end sinna tuppa, kus tondid käisid, sohva peale seliti ja lõikas puuõuna pooleks. Ühe õunapoole pani laua peale, teise endale rinna peale. Vanakurja tulekust andis märku see, et lauapealne õunapool kirikuõpetaja käes oleva poolega kokku lendas. Seejärel hakanud kirikuõpetaja kurja vaimu sõnu lugema. Kõige lõpuks teinud ta iga ukse peale kolm risti ja lugenud iga akna peal seitse issameiet. Kus aga avaus oli, sinna rist tehti. Kirikuõpetaja sai oma sõnadega ja püha väega ikka Vanakurjale vastu. Pärast seda istunud viimane rahulikult omas sepikojas Kallastes (Kallaste pank), kust külanaised ta lõpuks märgade särkidega hoopis välja peksid.
Otto Reinhold Ludvig von Ungern-Sternberg oli tuntud tema kohta käivate mereröövlilugude kaudu. Kuulujuttude järgi olevat ta ehitanud valemajaka, mille abil meelitanud Hiiumaast mööda purjetavaid laevu madalikule, laevade lastid olevat ta röövinud ja ellujäänud meremehed tappa lasknud. Samuti olevat ta mõnel tormiööl käskinud tuletorni tulel kustuda lasta ja madalikule jooksnud laevadelt seaduses ettenähtud suuremat päästetasu võtnud.