Il palazzo fu costruito a partire dal 1455, quando il cardinale veneziano Pietro Barbo fu nominato titolare della Basilica di San Marco. Si creò un enorme complesso, merlato e turrito che inglobò anche la chiesa. Dietro la severa facciata si apre un grande giardino tornato allo splendore di un tempo mentre dallo scalone monumentale si accede alla loggia e alle sale del piano nobile che ospitarono l'Ambasciata di Venezia, gli appartamenti cardinalizi e l'Accademia d'Austria. La visita condurrà nelle sale che per quasi venti anni furono occupate dalla segreteria di Mussolini, inclusa la sala del Mappamondo, la Sala del Concistoro, la Sala del Pappagallo, la Sala Regia e il famoso affaccio sul balcone. Di notevole interesse risulta la Sala Altoviti, smontata dall'antico palazzo ubicato nella piazza di ponte Sant'Angelo - demolito per la realizzazione dei muraglioni del Tevere - e qui perfettamente rimontata. All'interno del contiguo palazzetto di Venezia, in un suggestivo allestimento lungo il loggiato affacciato sullo splendido "giardino segreto", sono esposti 120 pezzi e risalenti all'età romana, medievale e rinascimentale. Splendide le collezioni di mortai di farmacia, bronzi e ceramiche.