Este Palacio fue construido por Vicenzo de Ermes Bargellini después de ser favorecido económicamente por León X. Gulio de Medici alcanzó el papado con la colaboración de Vianesio Albergati, cuyo sobrino Fabio, era sobrino tambén de Vicenzo, por su madre, Gulia Bargellini. Giovanni de Medici, León X, era íntimo amigo de Íñigo de Zúñiga, Obispo de Burgos, tío de Pedro Ruiz de Avendaño, Prestamero de Tabladillo.