Visibile da un vasto territorio circostante, Villa del Palco si adagia su un terrazzamento artificiale ricavato su uno sprone roccioso che domina la piana pratese, mostrando una mole severa e robusta, ma con corpi articolati e mossi.
La zona, lungo un antico percorso pedecollinare di probabile origine romana (la "via Maremmana" utilizzata per la transumanza che conduceva da Pizzidimonte a Sofignano), fu abitata fin dall' età del Bronzo, come indicano alcuni ritrovamenti, e in periodo Etrusco, nel III secolo a.C., vi sorse una fattoria (abbondanti resti ceramici vennero trovati nella scarpata sui fianchi del giardino pensile della Villa). Il toponimo alle Mura Saracine, che indicò a lungo il podere dove sorge la villa, testimonia infine un presidio militare bizantino del VI secolo, sui resti del quale si costruì probabilmente un edificio colonico. Il podere fu acquistato a fine Trecento dal mercante Francesco Datini, che vi eseguì grosse trasformazioni (egli ricorda in una lettera di aver tanto rivoluzionato il poggio, che "e' dimòni nollo farèbono"), e passò poi all' ente pio, il Ceppo, da lui fondato. Intorno al 1425 la "casa da signore" del Datini venne concessa ai francescani di San Girolamo da Fiesole, ma solo nel 1440 (probabilmente grazie all' impatto della predicazione in Prato di San Bernardino, intorno al 1433) essi ebbero l' autorizzazione a costruirvi un convento, che fu completato nella seconda metà del Quattrocento. Altre imponenti trasformazioni e ampliamenti si ebbero nel 1640 - 80, in parte legate alla presenza in convento, per diversi periodi, del venerabile Benedetto Bacci da Poggibonsi, le cui virtù e il cui amore per la città gli meritarono in vita la cittadinanza onoraria e dopo la morte un sentito culto. La sostituzione, nel 1712, dei francescani Osservanti con quelli del Ritiro provocò un iniziale ostilità dei pratesi, superata anche grazie alla frequente presenza al Palco di San Leonardo da Porto Maurizio, fervente, drammatico predicatore che richiamava alla penitenza e alla pietà cristiana (a lui si deve la diffusione anche in Prato della pratica della Via Crucis).
Nel 1787 il convento venne soppresso dal vescovo Scipione de' Ricci (questo comportò purtroppo la dispersione dei due dipinti più importanti che vi si trovavano, opera di Domenico Ghirlandaio e Filippino Lippi), quindi venduto ai Desii, e da questi (1788) passato ai Godi, che lo trasformarono in abitazione. Nel 1924 fu acquistato dai Forti, che ne restaurarono una zona per utilizzarla come villa, finché l' intero complesso (salvato fortunosamente dopo che il comando tedesco aveva ordinato di farlo saltare nel 1944) divenne nel primo dopoguerra rifugio per gli sfollati. In pessime condizioni, fu venduto alla Diocesi nel 1955, e dopo un accurato restauro e la costruzione di una nuova ala (interventi completati nel 1961) a cura di Silvestro Bardazzi, divenne sede dell' Opera Diocesana dei Ritiri, utilizzato per convegni ed incontri formativi.

All' interno delle mura del XII secolo si trasferì intorno al 1185 - 90 il monastero vallombrosano di Santa Maria a Grignano, dopo aver superato la forte opposizione della propositura di Prato, che aveva ritenuto questo atto lesivo dei suoi interessi e autorità (il trasferimento era stato autorizzato intorno alla metà del secolo da Papa Adriano IV, poi bloccato). Nel XIII secolo furono costruiti nuovi locali e probabilmente ampliata la chiesa. Il monastero fu soppresso da Leone X, e i suoi beni vennero uniti al patrimonio della cattedrale fiorentina, che gli affittò a privati, finché nel 1676 il complesso venne venduto ai Gesuiti, perché vi realizzassero un collegio, in base al lascito testamentario del canonico pratese Francesco Cicognini. Dopo alcuni progetti i lavori di costruzione furono avviati nel 1692, ma subito sospesi, per ripartire tre anni più tardi.
Nel 1698 il Collegio fu aperto provvisoriamente nelle Case Nuove dei Ceppi sul Mercatale, dove rimase fino al trasferimento nell' attuale edificio, nel 1715, quando però la struttura non era ancora stata completata. Nel 1721, dopo essere stata inglobata nel nuovo complesso e utilizzata come chiesa pubblica, l' antica abbazia di Grignano venne demolita; nel 1724 fu completata l' ala meridionale del Collegio mentre la zona centrale subì alcune modifiche e venne terminata tra il 1735 ed il 1748. I Gesuiti gestirono il complesso fino al 1773, quando il Granduca soppresse tutti i loro conventi ed istituti, laicizzandoli. Nel 1882 il Collegio Cicognini divenne convitto nazionale. Centro di attiva vita culturale soprattutto nel Sette-Ottocento, quando vi si formò la colta borghesia pratese, il Collegio divenne uno degli istituti più apprezzati d' Italia (vi studiarono fra gli altri Gabriele D' Annunzio, Curzio Malaparte e Bettino Ricasoli).
Il progetto eseguito dal gesuita milanese Giovan Battista Origoni (anche se in parte modificato), si ispira ai grandi istituti di educazione lombardi (Collegi Borromeo e Ghislieri a Pavia, Collegio Elvetico a Milano), mentre non ha paralleli in Toscana, e costituisce in Prato, con le Case Nuove sul Mercatale l' intervento dimensionalmente più consistente nell' edilizia non religiosa del periodo.

Un attraversamento del Bisenzio, nella zona dell'attuale Ponte Petrino fu realizzato probabilmente in periodo romano, intorno al I secolo a.C., lungo una variante alla via Cassia collegata alla centuriazione della piana di Prato. Di un successivo ponte dell' alto medioevo, documentato almeno dal 1038, si vedevano fino a pochi anni fa evidenti tracce nell'alveo del fiume. La notevole importanza sempre rivestita da questo attraversamento del Bisenzio è ulteriormente cresciuta nel dopoguerra, soprattutto con lo sviluppo della città in questa zona e con la creazione del v.le della Repubblica, nel quale immette il recente ponte.

Lungo il Bisenzio le mura formano un angolo (coperto in parte da strutture del Novecento) che nel Cinquecento fu protetto da un piccolo bastione poi ingrandito nel 1555-60 sotto la direzione di David Fortini. Il Bastione era detto delle Forche perché sorgeva sul luogo delle esecuzioni capitali; nel Seicento, franato a causa del fiume, venne restaurato, mentre dopo la smilitarizzazione di Prato, a metà Settecento fu venduto a privati. Scendendo lungo l'argine del fiume a sinistra del ponte si può vedere un tratto del bastione, con paramento in mattoni, con tracce del cedimento Secentesco e, sul fianco, una bella cannoniera coperta, con cornice in pietra a bozze alternate.