Il grande e incompiuto palazzo (1795) venne rifatto dall'architetto Giuseppe Achilli.
Proprio in questo luogo, nel II secolo d.C. sorgeva una domus, scoperta nel 1975  e  da allora conosciuta come la grande domus di palazzo Diotallevi. Radicalmente ristrutturata intorno alla metà del II secolo dopo Cristo, la domus  fu trasformata in un'abitazione lussuosa, con pareti decorate da affreschi e pavimenti a mosaico. Qui è stato rinvenuto il celebre mosaico "delle barche",  in tessere bianche e nere, che rappresenta il porto, verosimilmente di Ariminum, col faro (e l'addetto che alimenta la fiamma), una scialuppa e due navi da trasporto su cui si affaccendano gli equipaggi.  Nel mare nuotano pesci tipici dell'Adriatico: delfini, triglie, mazzole. Il suggestivo mosaico con scena portuale è ora conservato al Museo della Città.