La data di costruzione è incerta, ma dovrebbe risalire alla prima metà del 400. L'edificio originariamente pare fosse di proprietà dei conti Ricciardelli, poi passato alla famiglia Monticoli,quindi di nuovo posseduto dai discendenti dei Ricciardelli. Il palazzo era una sontuosa dimora del primo Rinascimento con un grandioso cortile con doppio ordine di arcate su colonne, ma purtroppo subì numerosi rifacimenti specialmente nell'Ottocento e anche nel dopo guerra è stato in gran parte ricostruito. Rimane ancora qualcosa dell'antica fisionomia tanto all'esterno che all'interno. Il Marcheselli nel 1754 lo chiamò"una delle maggiori fabbriche di questa città dove si ammira una numerosa raccolta di buone pitture"(oggi scomparse). Discendente di questa nobile casata fu il disegnatore di moda fra più celebrati del Novecento " Renè Gruau" all'anagrafe conte Renato Zavagli Ricciardelli delle Caminate. Nato nel 1909 e giunto a Parigi negli anni trenta divenne famoso per la sua inconfondibile attività artistica. Morto di recente molte sue sue opere sono esposte nello spazio permanente che il Museo della Città gli ha dedicato.