Tanto Vianesio Albergati, Colector de Expolios y Nuncio Apostólico en 1517, como Giacomo (da Panico) Albergati, sobrino de Ugolino da Panico, compañero de Vianesio y Francisco de Zúñiga, tío de Pedro Ruiz de Avendaño Prestamero de Tabladillo, Secretario del Nuncio Cannobio en 1572, tuvieron su residencia oficial en el Palacio de la Nunciatura Apostólica de Madrid, situado en la travesía del Nuncio, cerca de la Plaza de la Villa.