Con fiorenti attività bancarie in Italia e all'estero fin dal Medioevo, vasti possedimenti e privilegi accumulati sotto la dominazione spagnola, i Borromeo si affermarono nel Cinquecento come una delle casate più influenti del ducato di Milano. Ma furono soprattutto la raffinata cultura e il gusto del bello a spingere il conte Carlo III, e dopo di lui il figlio Vitaliano VI, a "osare" il progetto ambizioso di trasformare un'isola brulla in mezzo al lago Maggiore in uno spettacolare complesso residenziale. Oggi come allora Palazzo Borromeo si presenta al visitatore come uno scrigno prezioso sospeso sull'acqua, un effetto al quale contribuisce anche il magnifico e lussureggiante giardino terrazzato all'italiana. L'edificio sei e settecentesco conserva buona parte degli arredi d'origine, oltre a una collezione di oggetti d'arte nella quale spicca la quadreria, un ambiente riccamente decorato le cui pareti sono interamente coperte da centotrenta dipinti incorniciati: si tratta dell'unica galleria privata barocca tuttora conservata intatta tra Piemonte e Lombardia. Ma lo spazio forse più sorprendente è rappresentato dalle Grotte situate al livello dell'acqua, concepite da Vitaliano VI per ripararsi dalla calura estiva: "Il pian terreno", scrive, "si potrebbe accomodare in stanze per l'estate con l'apparenza di grotte... Questo quarto sarà un appartamento freschissimo e veramente delizioso, a mosaico di svariati disegni con pietruzze frammiste di frantumi di tufo, di conche marine, di schiume di ferro". Le sei sale comunicanti tra loro sono rivestite di ciottoli di fiume, frammenti di lava e marmo, e stucchi con elementi acquatici quali conchiglie, pesci, ninfe e sirene: un esuberante capriccio, a metà tra ambiente naturale e artificio architettonico, unico nel suo genere.
