Só para clarificar um pouco pq acho q ficou levemente confuso. O problema seria se a receita falasse q mesmo com vc fora do pais por tantos anos, vc ainda é residente fiscal do BR e deveria ter pago seu imposto. E te cobrar o imposto devido dos últimos 5 anos. E quem considera isso é a propria receita, eles vão te julgar se você manteve uma residencia fiscal no BR. Se vc movimentou muito suas contas bancarias(q vc nem deveria ter pq não residente n pode ter a maioria das contas), se vc comprou imoveis, carros e etc. Tudo isso conta para oq eles vao pensar sobre sua residencia fiscal. Vale lembrar q o imposto q eles vao cobrar é sobre tudo que vc ganhou, até fora do brasil.
Com sorte, talvez eles não vão te considerar como residente fiscal, então pelo menos vão te cobrar o imposto dos alugueis q era para você ter pago.
Mas novamente. eu confirmaria isso com um bom advogado. Um bom pode ter dar dicas de como vc pode se blindar a uma possível convocação pela receita.