Você pode dar saida definitiva do país por até 5 anos retroativo, e antes disso a receita não pode te cobrar.
O que eu faria era dar saida em 2019 (máximo permitido) e reentrada em 2023 quando seus investimentos começaram.
Daí vc pagaria pelos rendimentos (no Brasil ou exterior) adquiridos de 2023 pra cá, mas não teria que pagar impostos sobre o que acumulou antes disso.
Mas, claro, cada caso é um caso e um especialista vai te orientar melhor.