La famiglia Borromeo aveva molte proprietà in San Giorgio in Brenta fra cui la villa e l’Oratorio di S. Maria  delle Grazie dal 1512.

I Borromeo, facoltosi commercianti e banchieri, provengono dal borgo di San Miniato al Tedesco, situato fra Pisa e Firenze, al crocevia della via Francigena con la via Romea. Il loro cognome deriva dal soprannome Buon romeo, assegnato all’inizio del XIV secolo a un certo Lazzaro per l’assistenza da lui prestata ai pellegrini diretti a Roma per il Giubileo.

Nel corso delle lotte fra i seguaci dell’imperatore e del papa, la ghibellina San Miniato cadde sotto la guelfa Firenze, e nel 1370 il notaio Filippo Borromeo fu decapitato assieme ad altri suoi concittadini. La sua famiglia dovette trovare riparo in altre città e così, tra gli altri, il figlio Giovanni si stabilì a Milano, dove ben presto si inserì nella corte dei potenti Visconti, ed i suoi fratelli Buonromeo e Margherita a Padova.

Quest’ultima si unì in matrimonio con il potente Giacomo della casata de’ Vitaliani, nobili padovani che vantavano secondo la tradizione come antenata Santa Giustina, martirizzata nel 303 durante il regno di Diocleziano. Il loro figlio Vitaliano de’Vitaliani, rimasto orfano del padre,  fu adottato nel 1396 dallo zio materno Giovanni, con l’impegno di sostituire il cognome de’ Vitaliano con Borromeo e di trasferirsi a Milano. Giovanni e suo nipote Vitaliano I Borromeo proseguirono proficuamente l’attività commerciale e bancaria della famiglia, aprendo filiali anche in città europee. Vitaliano I fu nominato nel 1418 tesoriere ducale e da quel momento la sua ascesa fu inarrestabile, ottenendo svariati feudi e possedimenti dal duca Filippo Maria Visconti. Inizia così il ramo milanese dei Vitaliano diventati Borromeo, con stemma rappresentante al centro due mezzi scudi, quello originario dei Borromeo di San Miniato e quello dei padovani Vitaliano, oltre a due trecce a memoria della giovane Santa Giustina martire.

I principali rappresentanti della famiglia Vitaliani-Borromeo furono S. Carlo Borromeo e il cardinale Federico, entrambi arcivescovi di Milano.

Carlo Borromeo (1538-1584), nipote di Papa Pio IV Medici, divenuto sacerdote e ordinato vescovo, si trasferì a Milano nel 1564. Egli, dopo aver rifiutato molti privilegi e ceduto parte dei beni di famiglia, si dedicò ai poveri della diocesi soprattutto durante la carestia e la pestilenza che colpirono Milano nel 1576-77; fu uno strenuo difensore delle riforme del concilio di Trento e venne proclamato santo nel 1610.

Il cardinale Federico Borromeo (1564-1631), cugino di San Carlo, descritto mirabilmente da Alessandro Manzoni nei Promessi Sposi, fu promotore a Milano della Biblioteca e Pinacoteca Ambrosiana, inaugurate nel 1609 e ancora operanti. Il cardinale mostrò il suo spirito caritatevole durante la pestilenza del 1630.