Zamek ów powstały przypuszczalnie przed 1120 r., w XIV i XV stuleciu strzegł leżącej na wschód od niego Przełęczy Karpiowskiej (753), przez którą wiodła Solna Droga – trakt handlowy łączący Ziemię Kłodzką ze wschodnim Śląskiem.
Twierdza stanowiła centrum małego państewka, w skład którego wchodził Lądek otoczony wianuszkiem wiosek. Prawdopodobnie została zniszczona w czasie wojen husyckich w XV w., jako swoją siedzibę wykorzystywały ją potem bandy rabusiów. W następnym stuleciu zaczęto ją rozbierać, a materiał wykorzystywać do budowy ówczesnego „Jerzego”.