La costruzione di questo antico palazzo, sorto sui resti dell'Odeon di Domiziano, risale agli inizi del XVI secolo. Nel 1612 fu ceduto dal nobile Ludovico Torres a San Giuseppe Calasanzio grazie all'intercessione del cardinal Benedetto Giustiniani. Nel palazzo ammireremo il grazioso cortile, la sala grande che ospita una collezione di dipinti, l'Oratorio dell'Apparizione con i dipinti di Antonino Calcagnodoro, la splendida Cappella delle Reliquie e la stanza ove visse il santo spagnolo per oltre tredecenni e che conserva fregi dipinti della metà del Cinquecento e gli arredi originali. Il palazzo è collegato per mezzo di alcuni passaggi all'attigua chiesa di San Pantaleo che conserva pregevolissime opere d'arte e una bella sagrestia, la cui visita è inclusa nel nostro itinerario.