Projeto $ardinh'IA v3

[Augusto Brasil]

Opa!! Guess who's back?! 

Eis que volto com as atualizações do Projeto $ardinh'IA. Na última vez que publiquei (https://comunidade.auvp.com.br/topic/39592-projeto-ardinhia-v2/), grande parte da lógica do projeto já estava cumprindo o objetivo central:

Quote

Criar um repositório otimizado que coletasse o conteúdo do canal do Investidor Sardinha. Em outras palavras: montar um datalake usando a cabeça do @Raul sena.

Após evoluir bastante o motor de extração e também aprimorar os detalhes de criação dos arquivos usando de chunking, acabei optando por trazer uma proposta um pouco mais "ousada". O que era um monolito em python, agora é o SardinhIA App, uma versão executável onde é possível rodar a aplicação e armazenar todo o conteúdo localmente e, em sequência fazendo o upload ao Google Drive de maneira otimizada. Os arquivos gerados são quebrados em pacotes menores e transformados Gdocs (decisão estratégica) para viabilizar uma melhor performance da IA, seja ela no NotebookLM ou até mesmo no Gemini.

O projeto está no Git: https://github.com/augustoalvesbrasil/sardinh-ia e o executável está aí pra que quiser testar.

Por fim, não vou ficar me alongando demais dessa vez, mas trago um vídeo de como ele está rodando e alguns artefatos resultado das interações com as IAs:
 

 

Arquivos criados no NotebookLM:
Na última versão eu já havia postado outro, mas achei esses aqui bem legais também.

O_Terminal_Estratégico.pdf

Por fim, segue o link para os chats com os GEMS personalizados e alimentados com o repositório do drive:

https://gemini.google.com/gem/13OdAGHCpVKQYRrLLUbas6z3TQmfPvNAP?usp=sharing (Versão free - Conta Teste)

https://gemini.google.com/gem/132eo6eNLkQdXqe0WSm1Yl3gWxbFqtFpA?usp=sharing (Versão Pro - Conta Pessoal)

E aqui, a cereja do bolo, a versão do chat já interativo e funcional (sem conexão com a base ainda devido ao faturamento):
https://ai.studio/apps/110c8251-3aab-445e-9979-e30ea9e57b53

No mais é isso, galera! Se você chegou até aqui, obrigado pelo seu tempo.
Vamos ver até onde eu vou com essa iniciativa ou se meus planos de trabalhar com a AUVP vão sofrer um halving 🙄🚀.

 

SardinhIA.rar

[Augusto Brasil]

Perdão, o arquivo enviado anteriormente ficou corrompido. Segue uma nova versão que já empacotei o token pra não precisar autenticar numa conta pessoal, mas sim na conta criada para o projeto. Vale ressaltar que versão com o token não estaria pública, é só a título de teste aqui na comunidade.

SardinhIA.zip

Segue o link da pasta para que possa analisar o resultados:
https://drive.google.com/drive/folders/1MMmW1QwIf8_8jBHmnLIdHOYwGBSrIa1R?usp=drive_link

Esqueci de citar também que na pasta de Gestao_Metadatos estão sendo trazidos dois arquivos importantes:
- Relatórios detalhado da extração

- Planilha de gestão dos ativos 

SardinhIA.zip

Editado Sexta-feira às 14:45 por Augusto Brasil

[Anderson Lima De Araujo Júnior]

E aí, beleza? Parabéns pelo projeto, ficou sensacional! Fiquei com uma dúvida: vi que o código agrupa até 40.000 palavras por arquivo por causa das limitações do Google Docs. Você já considerou pular essa parte e salvar direto em um banco vetorial ou em chunks menores locais?

[Augusto Brasil]

Fala @Anderson Lima De Araujo Júnior! Considerei essa ideia sim, mano. Inclusive, esse é um dos próximos passos para escalar. O chunking agora foi só pra deixar ele condizente com o MVP no NotebookLM.

Fazendo nesse formato eu acabei conseguindo validar a proposta sem custo nenhum. Se eu levar pro Supabase, por exemplo, acabava que eu ia ter custo com a API.

Editado 1 hora atrás por Augusto Brasil