Este Palacio fue construido por Vicenzo de Ermes Bargellini después de ser favorecido económicamente por León X. Gulio de Medici alcanzó el papado con la colaboración de Vianesio Albergati, cuyo sobrino Fabio, era sobrino tambén de Vicenzo, por su madre, Gulia Bargellini. Giovanni de Medici, León X, era íntimo amigo de Íñigo de Zúñiga, Obispo de Burgos, tío de Pedro Ruiz de Avendaño, Prestamero de Tabladillo.

La madre de Fabio Albergati, Gulia Bargellini, vivía en vía de San Stefano a cien metros de la casa de Giacomo III da Panico y de Scipione dal Ferro. En aquella época los Bargellini se trasladaron, gracias al progreso económico favorecido por León X, a la vía Maggiore esquina Cartolería Nova, frente a Santa María di Servi, donde Scipione dal Ferro celebraba sus retos matemáticos. La madre de Fabio Albergati era tía de Giacomo Boncompagni, ya que su hermana Cecilia estaba casada con Boncompagno Boncompagni, luego Fabio Albergati y Giacomo Boncompagni son primos.

Verónica Marescalchi es la madre de Ulises Aldobrandi, compañero de Giacomo III da Panico, y tambíen tía de Ugo Boncompagni, y tía-abuela de Giacomo Boncompagni. En aquella época una nieta de Astolfo da Panico, el que fue Conde Palatino de Eneas Silvio Piccolomini, Elisabetta, está casada con un miembro de la familia Marescalchi, con Battista Marescalchi.

Blasón de la familia Marescalchi.

Ulises Aldrovandi compañero de Giacomo III da Panico en las clases de Anibale de la Nave. Su padre, como Secretario Mayor del senado informa a Alessandro Farnese sobre los Condes de Panico, y su tío segundo, Ugo Boncompagni, fue profesor del citado Alessandro Farnese. En 1535 viajó de peregrinación a Santiago de Compostela. En 1548 y 1549 estuvo en la Universidad de Padua. Ugo Boncompagni, Gregorio XIII, financió alguna de sus publicaciones.

En la Catedral de Toledo encontramos un cuadro realizado por Tiziano de Alessandro Farnese, Paulo III, que tuvo a Ugo Boncompagni como "abreviale" en el Concilio de Trento, que fue también pintado por Antonio María Panico; su nieto Alessandro Farnesio fue alumno de Ugo Boncompagni, y escribió al senado boloñés, siendo su secretario el padre de Ulises Aldobrandi (alumno, junto a Giacomo III da Panico, de Anibale de la Nave y primo tercero de Giacomo Boncompagni), solicitando información sobre los "Conti di Panico Gentilhomini Padovani".

La infancia y la juventud de Giacomo Boncompagni transcurrieron entre el palacio de sus tíos Girolamo y Boncompagno, cerca de San Pietro y el Colegio para Nobles de los Jesuitas en Santa Lucía, a doscientos metros de donde vivieron sus otros tíos los "dal Ferro" y donde vivía también Giacomo III da Panico.

Cuando en 1548 Alessandro Farnesio pide referencias al Senado de Bolonia sobre los "Conti di Panico Gentilhomini padovani" es Notario y Secretario Mayor de dicho Senado Teseo Aldrovandi, padre de Ulises Aldobrandi, compañero de clases de Geometría de Giacomo III da Panico con Anibale della Nave. También era miembro del senado Ermés Bargellini, tío de Fabio Albergati.