La storia del Palazzo di Fattoria, recentemente restaurato, si intreccia con quella delle proprietà del Regio ‘Spedale di "Santa Chiara" di Pisa ( ex 'Spedale Novo). Lo stemma sulla facciata principale riportante le lettere “A” ed “E” (iniziali di Alessandro Episcopus) e l’iscrizione latina “Hospitali Novi Pisarum” testimonia infatti che l'edificio era proprietà dell'ente di beneficenza pisano. Nell’estimo dell’Ospedale, redatto nel 1784 “ per la vendita e l’allivellazione dei beni della fattoria di Peccioli”, è descritto un casamento “Situato fuori della Porta Pisana di Peccioli”, “composto di numero 27 stanze da terra a tetto (...) divise in due piani (...)” che “confina a primo con la strada maestra pisana”, oggi via del Carmine. Il palazzo era provvisto di “frantoio con macina e strettoio”, “un cortile con pozzo internato nelle mura di esso” e come sua appartenenza un orto che si può identificare con lo spazio oggi occupato dal Centro Polivalente: “E parimente dalla parte di ponente (...), fuori della detta porta Pisana, ritrovasi un pezzo di terra ulivata (... ) che serve d’orto per uso del Fattore”. La proprietà dell’Ospedale nel castello di Peccioli termina quindi con la vendita di tutti i suoi beni a fine Settecento. Ci sono tracce della presenza di questo ente fin dal XIV secolo: già nel 1300 risultano infatti appartenenti all’ente assistenziale alcune case nel Terziere di S. Andrea. Nel 1500 si trovano poi descritte proprietà nello stesso luogo: “Un pezzo di terra con casa solariata nel terziere di S. Andrea”. Ancora nel 1560 si ha menzione di un possedimento descritto come “una casa posta nel castello di Peccioli Terziere di S. Andrea” . Nell’anno 1622 si ha una descrizione dettagliata di una proprietà che possiamo certamente identificare con il Palazzo attuale, “una casa con torre attaccata con le mura castellane, Terziere di S. Andrea Fuor della porta del castello di Peccioli con tutte le sue appartenenze". Fino a questo periodo il palazzo doveva avere un aspetto diverso da quello attuale, e si doveva presentare con alcune piccole finestre ad arco che si sono potute osservare durante i lavori di ristrutturazione. Il palazzo, insieme a tutti gli altri possedimenti, viene comprato da Giovanni Filippo Berte, già possidente di terreni e case nella comunità, e la sua famiglia mantiene la proprietà fino al passaggio ai fondi rustici nella prima metà del Novecento. Il Palazzo ingloba al suo interno un tratto di antica cinta muraria usata come muro di spina e termina a nord con la millenaria torre d’angolo a pianta quadra. Al suo interno sono molto caratteristici i passaggi sotterranei scavati in parte nel sabbio che conducono alle cantine in piazza del Carmine.