Het kasteel van Durbuy, vaak het kasteel van de graven d'Ursel genoemd, torent uit boven de Ourthe en de oude stad. Het vormt het herkenbare decor van Durbuy en ligt op een rotsachtige uitloper aan de stadsrand, recht tegenover de brug en het historische centrum.
Op deze plek stond al in de vroege middeleeuwen een versterking. Een eerste burcht uit de 9de eeuw werd vernield, maar in de 11de eeuw liet Hendrik I van Namen, graaf van Durbuy, een nieuw kasteel bouwen. Door de eeuwen heen werd de vesting verschillende keren belegerd, beschadigd en zelfs op bevel van Maximiliaan van Oostenrijk afgebroken aan het einde van de 15de eeuw.
In de 18de eeuw kwam de heerlijkheid in handen van de familie d'Ursel. Rond 1731 werd hier een nieuw kasteel van plaisantie gebouwd langs de Ourthe, in plaats van een pure verdedigingsburcht. Eind 19de eeuw kreeg het gebouw zijn huidige uiterlijk: een neogotisch kasteel met torens, hoge daken en natuurstenen gevels, dat sterk contrasteert met de rotswand en het stadsbeeld eromheen.
Vandaag blijft het kasteel privébezit van de familie d'Ursel. Vanop de kaden langs de Ourthe, het Topiary Park en de straatjes van de oude stad heb je verschillende zichten op het kasteel. Het is dus vooral een monumentaal decorstuk tijdens je bezoek aan Durbuy, eerder dan een kasteel dat je vanbinnen kan ontdekken.