O Castelo de Itaipava, que foi construído em 1920 pelo Barão J. Smith de Vasconcellos, é famoso por ser uma reprodução de castelo renascentista, projetado pelo arquiteto Lúcio Costa e seu amigo Fernando Valentim, que fazem dele o único castelo em estilo medieval com um toque normando clássico das Américas.

A construção foi feita por vinte famílias trazidas da Europa que utilizaram material totalmente euroupeu: de Portugal vieram os blocos de pedras que foram talhadas por artesão portugueses; da França, o telhado de ardósia; da Itália, o mármore de Carrara, que compõe o piso de vários salões, inclusive o do famoso salão do Zodíaco. As portas e janelas são do mais puro jacarandá, com ferragens inglesas; os vitrais são austríacos e finalizando os principais detalhes, cada porta do quartos de seus filhos tinha seus nomes gravados em ouro. Esta construção levou em torno de 5 anos.

O hall com as escadarias e o teto de jacarandá é finamente trabalhado. Há vitrais com o brasão da família, bibliotecas com estantes esculpidas em relevo e um exuberante jardim natural cercando a mansão. Personalidades como Adhemar de Barros, Getúlio Vargas, Amaral Peixoto e várias outras pessoas da alta sociedade carioca e paulista frequentavam o local.

Como curiosidade, o Barão na primeira metade do século passado, encomendou à fábrica Rolls Royce uma Limousine com 11 lugares, onde passou a acomodar seus 7 filhos, a Baronesa Anna Thereza, a babá e o motorista. Esse automóvel tão especial também tinha em suas portas gravado em ouro, o brasão da família.