Diomede Leoni non aveva i fondi per costruire una grande villa. Invece, mentre restaurava la cinta muraria della città, la allargò leggermente per farne un semplice alloggio che costituisse una sorta di scenografia bidimensionale per il giardino. Questa caratteristica sposta visivamente l'attenzione dello spettatore dall'asse centrale a quello laterale e unisce le diagonali del giardino inferiore. La casa è larga solo pochi metri ma forniva un rifugio alla nobiltà in caso di necessità lungo la strada da e per Roma e Firenze. L'interno ha molte targhe destinate a mostrare la sua raffinatezza ed erudizione a coloro che hanno la fortuna di soggiornarvi.
Alla base dei gradini della Palazzetta, notate un'altra targa in marmo. Era strategicamente situato alla fine del sentiero diagonale che collega alla porta orientale (ora chiusa). Attualmente è difficile da vedere con la scultura del Granduca che blocca la vista. L'iscrizione accoglie il visitatore a casa sua dopo i lunghi viaggi:
«Pellegrino labore fessi/venimus larem ad nostrum» Catullo, 31 anni
I viaggiatori stanchi sono i benvenuti nel nostro cuore»
Costruì questa piccola casa mentre riparava le mura della fortezza della città danneggiate dalla guerra senese con Firenze nel 1550, una guerra aspramente combattuta, con l'ultima battaglia senese che si svolse nella vicina Montalcino. Gli eserciti saccheggiarono anche San Quirico, lasciando in rovina le mura di protezione della città e la torre del Cassero. Gli eserciti fiorentini vinsero, rivendicando successivamente tutta Siena e i suoi territori per formare la moderna Toscana.