Il Castello fu costruito nel 1358 per volere del Conte Verde, Amedeo VI di Savoia, quale simbolo del dominio sabaudo su Ivrea e Canavese, soprattutto per scopi difensivi, sull’altura che domina la città e la strada per la Valle d’Aosta. I quattro imponenti torrioni circolari caratterizzano la struttura, che sorge vicino alla cattedrale e al palazzo vescovile.
Il complesso presenta una pianta trapezoidale con torri merlate alte 34 m, eccetto quella che nel 1676 venne parzialmente distrutta dall’esplosione, causata da un fulmine, delle munizioni custodite al suo interno.
Lungo il perimetro delle mura un ampio fossato garantiva una buona protezione e l’accesso era consentito solo dal ponte levatoio, mentre dall’alto le caditoie, ancora ben individuabili su alcuni lati, assicuravano la possibilità di gettare pietre e liquidi bollenti sugli assalitori.
Sulla facciata principale è visibile una bifora con incisi i due stemmi Savoia, così come sulle altre aperture sono presenti le inferriate a maglie legate di tipo savoiardo.
L’interno del Castello fu completamente sventrato e snaturato quando, dal 1700 al 1970, venne destinato a carcere politico e criminale.