Vou te responder com o que já digo a muito tempo sobre isso.
a IA é um amplificador.
se você é bom e sabe o que faz, ela acelera muito o trabalho.
se não sabe o que faz, ela pode até resolver muita coisa mas a hora que vier a loucura e ela começar a se perder você não vai saber arrumar a cagada.
Estou 100% contigo no "aprender a descrever melhor o problema e explorar soluções" é aí que está, e sempre esteve o ouro.
Para documentar, gosto da capacidade que alguns modelos tem de buscar relações que não são tão óbvias e dar insights sobre edge cases que as vezes nem considerei.
e hoje o que mais tenho feito é na parte de agentes, onde basicamente se encadeiam sequências de operações onde as vezes é algo pronto e deterministico (uma query sql) e as vezes são prompts para modelos específicos.
é praticamente uma forma de programação, mas o programa é feito como uma configuração de etapas que podem ser pequenos programas por si só.