Il Palazzo racchiude la secolare storia dell’omonima famiglia che, a partire dal  XVI secolo, fu in grado di diversificare i propri interessi affiancando all’attività tradizionale di tipo agricolo e fondiario iniziative commerciali, incrementando notevolmente fortuna economica e prestigio sociale. Di impianto tardo-cinquecentesco, frutto dell’unione di case torri preesistenti, il palazzo fu acquistato nel 1616 da Ascanio Mansi. Nell’operazione di rinnovamento commissionata da Raffaello Mansi all’architetto lucchese Raffaello Mazzanti e attuata tra il 1686 e il 1691, vennero accorpate le case torri e ristrutturati in un sontuoso stile barocco gli interni del piano nobile, con affreschi che esaltano o in vario modo alludono alla gloria della famiglia. Altri interventi di recupero e di ammodernamento furono realizzati da Luigi Mansi nel Settecento. Il palazzo fu venduto allo Stato nel 1965 e come Museo nazionale fu aperto nel 1977.