Come altre terre della media valle di Susa, San Didero fu signoria dei Bertrandi, poi dei Roero e quindi dei Grosso. Al centro del borgo si eleva la casaforte che fu dei signori del luogo.
Benché, secondo alcuni, si tratterebbe di un castrum tale termine mai compare nei documenti pervenutici, oltretutto assai tardi (sec. XIV e XV), come l’atto rogato nel 1425 “in Sancto Diderio ante domum fortem nobilis Francesquini Rotarii“.
Imponente è il massiccio torrione quadrato i cui merli ancora oggi dominano i sottostanti tetti di cotto. La torre quadrata termina con una merlatura ed internamente era suddivisa in più piani da impalcature di legno. Una serie di scalette interne mette in comunicazione i vari piani: generalmente il primo fungeva da cucina, il secondo da abitazione del signore ed al terzo alloggiavano i pochi soldati della guardia. Prospiciente la ripida strada principale, che si snoda fra le case dell’abitato, corre ancora l’alto muro merlato nel quale si apre l’ampio portone carraio. Dal portone si entra in quello che fu il cortile d’onore sul quale si affaccia la lobia (ballatoio in legno), da cui si entra nella torre. Dal cortile si possono osservare alcune strutture superstiti delle opere di difesa: i tratti di cammini di ronda verso il ciglio interno del muro di cinta e alcune strombate arcere aperte nei merli. Dal cortile, attraverso un andito, si giunge nella parte rustica che si apre a sud, ormai alterata nelle strutture originali.