Também sou servidor público federal. Ao meu ver, não há conflito. Temos algumas vedações: proibição de exercer comércio e serviços de gestão/administração, além de não poder ter empresa. Também não pode fazer "propaganda/divulgação" no local de serviço. Se trabalhar na área fim, só sendo consulto mesmo, não tem problema. Tem que haver compatibilidade de horários (nada de trabalhar no horário disponível para o remoto).
Se for trabalhar mesmo, é bom fazer tudo direito. Declarações, pagar o INSS como CI, os recolhimentos de IR. A única coisa ruim é que podem te denunciar falando que está fazendo algo errado, aí, mas não vão encontrar nada.