I lavori per la residenza-fortezza di Sigismondo Malatesta iniziano nel 1437 per durare circa 15 anni.

Il castello, di cui non resta che il nucleo centrale, è effigiato nelle medaglie malatestiane e nell’affresco di Piero della Francesca nel Tempio, ove appare con torri e mura, ampio fossato, possente mastio. Nell’iscrizione all’ingresso Sigismondo rivendica a sé la costruzione ex fundamentis, benché inglobasse più antiche strutture. Dal XVII secolo fortezza pontificia e poi carcere fino al 1967, è oggi prestigiosa sede di eventi culturali.