La madre de Fabio Albergati, Gulia Bargellini, vivía en vía de San Stefano a cien metros de la casa de Giacomo III da Panico y de Scipione dal Ferro. En aquella época los Bargellini se trasladaron, gracias al progreso económico favorecido por León X, a la vía Maggiore esquina Cartolería Nova, frente a Santa María di Servi, donde Scipione dal Ferro celebraba sus retos matemáticos. La madre de Fabio Albergati era tía de Giacomo Boncompagni, ya que su hermana Cecilia estaba casada con Boncompagno Boncompagni, luego Fabio Albergati y Giacomo Boncompagni son primos.