A Fazenda Ponte Alta teve como primeiro proprietário José Luiz Gomes, futuro Barão de Mambucaba, então proprietário em Angra dos Reis. Por volta de 1808, o Barão ocupou sesmarias nesta região, cujas terras pertenciam à enorme Fazenda de Santa Cruz, que havia pertencido aos Jesuítas. Fundou a Fazenda Ponte Alta por volta de 1830, porém não fez desta sua principal propriedade.
Em 1855, com sua morte, a fazenda tornou-se propriedade de José Gonçalves de Oliveira Roxo, futuro Barão de Guanabara, que edificou casa, já no apogeu do café, com todas as suas benfeitorias, inclusive grande aqueduto, em pedra, para abastecer os engenhos, levando água para os moinhos. Em 1875, com a morte do Barão da Guanabara, seu pai, o Barão de Vargem Alegre, comprou a fazenda da nora, com 306 escravos.
Em 1879, passou, por herança a seu filho, o Comendador Raymundo Breves de Oliveira Roxo. Foi ele quem enfrentou a crise do café até entregar a fazenda, em 1890, para pagamento de dívida com a carteira hipotecária do Banco do Brasil.
Executada esta e muitas outras dívidas pelo Banco, este vendeu as fazendas ao Coronel Arthur Ferreira Torres. Em 1900, em pacote que inclui mais 19 outras propriedades, a Fazenda Ponte Alta foi adquirida pelo Comendador, e Conde, Modesto Leal. João Leopoldo Modesto Leal foi negociante de imóveis e de sucatas de navio. As fazendas foram adquiridas no momento em que se fez substituição da agricultura pela pecuária, particularmente, a pecuária leiteira no Vale do Paraíba. A fazenda se situava, originalmente, no município de Vassouras, passando depois a divisão geográfica de Barra do Piraí, pela criação deste município em 1890.
Fonte: Hotel Palmeira Imperial