Il castello venne fondato nel 1314 per volere di Filippo d’Acaja. Passò in seguito ai Savoia e venne trasformato da Amedeo d’Aosta in un’elegante residenza. Attraversò il periodo più florido tra XVI–XVII sec., quando vi abitò Madama Reale Cristina di Francia e fu ulteriormente ristrutturato. Nel XVI sec. venne chiamato Giovanni Caracca ad eseguire le decorazioni interne, che ancor oggi si ammirano nella Sala delle Grottesche. Trasformato in carcere e poi in caserma, dal 1985 il castello è sede della Biblioteca Civica di Fossano.