Il castello è stato costruito su di un promontorio intorno all’anno mille, con lo scopo di proteggere la popolazione da incursioni e razzie. Con l’evolversi dei tempi si tramutò in simbolo del dominio feudale e divenne il fulcro della vita amministrativa dei Signori di Challant.

Tre elementi principali caratterizzano oggi la struttura: la torre, la cinta e la cappella.

La torre è stata edificata sul punto più alto ed aspro del promontorio e l'ingresso, posto assai in alto, poteva essere raggiunto solo attraverso una scala mobile.

La cinta difensiva è dotata di una robusta merlatura e circonda la torre nei tre lati più vulnerabili.

La cappella sorge isolata a sud della torre ed è orientata, come lo erano le chiese primitive, a levante: ad oggi rimangono i muri perimetrali e l’abside semicircolare. La sola campana che possedeva fu collocata nel campanile della chiesa parrocchiale di Brusson.