Visibile da un vasto territorio circostante, Villa del Palco si adagia su un terrazzamento artificiale ricavato su uno sprone roccioso che domina la piana pratese, mostrando una mole severa e robusta, ma con corpi articolati e mossi.
La zona, lungo un antico percorso pedecollinare di probabile origine romana (la "via Maremmana" utilizzata per la transumanza che conduceva da Pizzidimonte a Sofignano), fu abitata fin dall' età del Bronzo, come indicano alcuni ritrovamenti, e in periodo Etrusco, nel III secolo a.C., vi sorse una fattoria (abbondanti resti ceramici vennero trovati nella scarpata sui fianchi del giardino pensile della Villa). Il toponimo alle Mura Saracine, che indicò a lungo il podere dove sorge la villa, testimonia infine un presidio militare bizantino del VI secolo, sui resti del quale si costruì probabilmente un edificio colonico. Il podere fu acquistato a fine Trecento dal mercante Francesco Datini, che vi eseguì grosse trasformazioni (egli ricorda in una lettera di aver tanto rivoluzionato il poggio, che "e' dimòni nollo farèbono"), e passò poi all' ente pio, il Ceppo, da lui fondato. Intorno al 1425 la "casa da signore" del Datini venne concessa ai francescani di San Girolamo da Fiesole, ma solo nel 1440 (probabilmente grazie all' impatto della predicazione in Prato di San Bernardino, intorno al 1433) essi ebbero l' autorizzazione a costruirvi un convento, che fu completato nella seconda metà del Quattrocento. Altre imponenti trasformazioni e ampliamenti si ebbero nel 1640 - 80, in parte legate alla presenza in convento, per diversi periodi, del venerabile Benedetto Bacci da Poggibonsi, le cui virtù e il cui amore per la città gli meritarono in vita la cittadinanza onoraria e dopo la morte un sentito culto. La sostituzione, nel 1712, dei francescani Osservanti con quelli del Ritiro provocò un iniziale ostilità dei pratesi, superata anche grazie alla frequente presenza al Palco di San Leonardo da Porto Maurizio, fervente, drammatico predicatore che richiamava alla penitenza e alla pietà cristiana (a lui si deve la diffusione anche in Prato della pratica della Via Crucis).
Nel 1787 il convento venne soppresso dal vescovo Scipione de' Ricci (questo comportò purtroppo la dispersione dei due dipinti più importanti che vi si trovavano, opera di Domenico Ghirlandaio e Filippino Lippi), quindi venduto ai Desii, e da questi (1788) passato ai Godi, che lo trasformarono in abitazione. Nel 1924 fu acquistato dai Forti, che ne restaurarono una zona per utilizzarla come villa, finché l' intero complesso (salvato fortunosamente dopo che il comando tedesco aveva ordinato di farlo saltare nel 1944) divenne nel primo dopoguerra rifugio per gli sfollati. In pessime condizioni, fu venduto alla Diocesi nel 1955, e dopo un accurato restauro e la costruzione di una nuova ala (interventi completati nel 1961) a cura di Silvestro Bardazzi, divenne sede dell' Opera Diocesana dei Ritiri, utilizzato per convegni ed incontri formativi.