Après avoir acquis le village en 1306, le comte de Savoie, Amédée V, fit construire un nouveau château et décida de fortifier le village pour se protéger des attaques ennemies. Le château n'est pas ouvert aux visites.
A partir de 1308, le comte entreprit de fortifier Yvoire pour éviter les attaques des seigneurs de Faucigny. c'est à cette époque que le château fut édifié et que des remparts furent construits autour du village . Les travaux durèrent de 1308 à 1318. L'édifice fut dressé au bout d'une pointe de terre , face au lac, afin de voir venir l'ennemi de tous les côtés . Aujourd'hui murée, l'ancienne porte d'entrée, située au premier étage, est nettement visible sur la façade . Propriétaire de la demeure depuis 1655, la famille Bouvier entreprit d'importants travaux de restauration ( de 1919 à 1939 ) dont le toit, victime des attaques des Bernois au XVème siècle .
