Nel 1420 il castello era sotto il dominio della Repubblica di Venezia e nel 1511 fu danneggiato da una rivolta di contadini. Negli anni successivi il castello fu ristrutturato e ampliato, oggi conserva il patrimonio medievale con le caratteristiche cortine merlate, la doppia torre, una sala con affreschi di Andrea Urbani e altre sale con camini e portali di Raffaello de’ Raffaelli.