W Aufsess są dwa stare zamki: Unteraufsess i Oberaufsess. Unteraufsess jest siedzibą rodziny „von und zu Aufsess”. Pierwsze wzmianki o zamku pochodzą z XII wieku. Nazwa Aufsess (dawniej Ufsaze) oznacza „siedzieć na skale”, która opisuje miejsce zamku. Legenda tej rodziny sięga roku 1007, kiedy to rycerz Heinrich von Ufsaze przybył do króla Heinricha, późniejszego cesarza Heinricha II do Frankonii. Najstarszym budynkiem na zamku Unteraufsess jest tak zwana kamienna wieża Meingoz z 1136 roku. Zamek Oberaufsess został zbudowany przez Karla Heinricha von Aufsess w 1690 roku. Był to rok, w którym dwaj bracia Friedrich i Karl Heinrich z Unteraufsess poszli różnymi drogami ze względu na swoją religię. Fryderyk pozostał w siedzibie rodziny katolickiej. Jego protestancki brat Karl Heinrich udał się do Oberaufsess położonego około 1,5 km na północ od miasta. Do końca XIX wieku zamek miał pięć wież i charakter zamku obronnego. Nowa wieża zbudowana pod koniec XIX wieku zmodernizowała zamek.
