Le aree intramurarie comprese fra Borgo Nuovo ed il complesso monumentale del Duomo erano rimaste durante il Medioevo ancora dominio di orti e campi aperti, forse anche perchè soggette alle ricorrenti inondazioni da parte della vicina Roggia Grande.
Durante il Cinquecento lì vi si concentrano alcuni importanti interventi edilizi privati, unendosi o sostituendosi a preesistenti insediamenti gotici.
Sui due assi di via Calepina (che conduceva alla porta di San Francesco, murata nel 1569) e di via SS. Trinità, venne a formarsi un quartiere di residenza signorile, una sorta di suburbio d'alta classe nel bel mezzo della città.
Vi spiccava soprattutto il grande complesso del palazzo e del giardino della famiglia a Prato, sorto già nei primi decenni del Cinquecento.