Eu estava na mesma situação que você, mas depois de ponderar prós e contras, resolvi deixar o que tenho aplicado em um fundo S&P500 national e fazer os novos aportes no IVV.
Cheguei a conclusão de que o IR seria descontado na saída, depois tem o IOF da transferência para o exterior, spread e a corretagem na hora da aplicação.
Achei melhor deixar o que já estava aplicado no Brasil como está e aplicar no IVV apenas os novos aportes.
Em relação a variação cambial, o fundo que aplico replica as variações do dólar deixando o resultado final "menos ruim".