Le notizie riguardanti le origini del castello sono molto incerte: si presume che la prima costruzione risalga al X secolo. E’ certo invece che nel XIII secolo il castello è stato oggetto di opere di restauro atte a modificarlo ed ingrandirlo, tenuto conto che a partire dal 1200 fino al 1391 è stato la sede di residenza della famiglia degli Challant.

A partire da quell'anno il Conte Ibleto di Challant lasciò la residenza di Villa per trasferirsi nella nuova roccaforte di Verrès, seguito, poco a poco, anche dai suoi discendenti che lasciarono il castello per trasferirsi in altre dimore.

Oggi non restano che pochi e modesti ruderi, ai quali si può accedere percorrendo la strada che porta al lago omonimo.