På 1800-talet skrev en resenär som åkte genom Kastelholm att människorna däromkring var mycket vidskepliga. De berättade, att man ofta såg spöken på slottet. Uppe bland ruinerna visade de ett äppelträd, som bar frukt under sommaren. Men frukten fick gå till spillo för ingen vågade plocka den eller ens röra vid den.