Pergunta para os DEVs de plantão ! ( talvez oportunidade )

[Marcelo Ribeiro]

DEVs de plantão...

Tenho uma duvida, quão difícil é fazer uma aplicação para consultar dados de um site ?

Por exemplo:

Quero comprar uma passagem na Azul usando pontos... e isso flutua loucamente...

Teria como fazer uma aplicação que consulta o site da azul digamos 4 vezes ao dia, e se o numero de pontos estiver dentro de parâmetros que você escolheu ele te avisa ?

Seria util demais uma brincadeira assim ! Alguém se aventura ae ? 

Posso ser a cobaia ! kkkkk

[Adam Iki Yoshikai]

Pelo que sei dá para fazer com python. O processo chama web scraping... Só tem que ver as questões dos dados e a quantidade de movimentação que vai usado no site, não prejudicando o site que você quer pegar as informações.

O quão difícil pode ser eu não sei pois nunca fiz, mas vai depender do conhecimento e como o site funciona.

[Leonardo Salles Binato]

Aí é que tá o paranauê da parada inteira... Foi justamente isso que a 123 milhas alegou quando entrou com pedido de recuperação judicial, que a Azul cortou o serviço de consultas de emissão de passagens que tinha em parceria com a 123 milhas.

Nou sou nenhum especialista no assunto, mas pelo meu conhecimento de dev, não podemos simplesmente coletar as informações do site (tá até poderíamos, mas isso em um sistema fica muito lento e custoso, precisaríamos preencher as informações obrigatórias, passar pelo CAPTCHA provando que não somos um robô e ainda provavelmente seríamos bloqueado pelo volume seguidos de consulta).

A maneira correta de fazer isso seria utilizando uma API de consulta das informações, onde a própria empresa, no caso do seu exemplo a Azul deveria disponibilizar, e como você deve imaginar, eles não tem muito interesse em disponibilizar isso de forma fácil pra pessoa física.

Eu tava querendo fazer um desse pra puxar os dados dos fundos imobiliários, antes eu conseguia fácil no fundsexplorer porque eles disponibilizavam uma tabela com todas as informações dos fiis, então eu simplesmente copiava e colava no Excel e analisava a cada 2 ou 3 meses os indicadores já comparando eles. Agora o site mudou o componente de apresentação das informações dos FIIs, já não consigo mais pegar as informações de todos como antes... =(

 

[Henrique Magalhães]

20 horas atrás, Marcelo R disse:

DEVs de plantão...

Tenho uma duvida, quão difícil é fazer uma aplicação para consultar dados de um site ?

Por exemplo:

Quero comprar uma passagem na Azul usando pontos... e isso flutua loucamente...

Teria como fazer uma aplicação que consulta o site da azul digamos 4 vezes ao dia, e se o numero de pontos estiver dentro de parâmetros que você escolheu ele te avisa ?

Seria util demais uma brincadeira assim ! Alguém se aventura ae ? 

Posso ser a cobaia ! kkkkk

Preciso achar o @ correto mas tem o Glauber que estava na baguncinha em SP que tem empresa que tem solução de suprimentos usando IA!

talvez tenha 90% do caminho pronto ! 
 

https://supplybrain.ai/

@Glauber Almeida

[Glauber Almeida]

On 18/01/2024 at 12:11, Marcelo R disse:

DEVs de plantão...

Tenho uma duvida, quão difícil é fazer uma aplicação para consultar dados de um site ?

Por exemplo:

Quero comprar uma passagem na Azul usando pontos... e isso flutua loucamente...

Teria como fazer uma aplicação que consulta o site da azul digamos 4 vezes ao dia, e se o numero de pontos estiver dentro de parâmetros que você escolheu ele te avisa ?

Seria util demais uma brincadeira assim ! Alguém se aventura ae ? 

Posso ser a cobaia ! kkkkk

Bem fácil, só usar scrapping, o único desafio é dar manutenção sempre que o site mudar. Se for para alimentar uma base de dados é só alguns dias de projeto. 

 

 

On 19/01/2024 at 09:11, Henrique Magalhães disse:

Preciso achar o @ correto mas tem o Glauber que estava na baguncinha em SP que tem empresa que tem solução de suprimentos usando IA!

talvez tenha 90% do caminho pronto ! 
 

https://supplybrain.ai/

@Glauber Almeida

O @Henrique Magalhães valeu por ter me marcado, nem iria ver o post nessa correria toda.

[Lucas De Souza Alves]

On 19/01/2024 at 00:45, Leonardo Salles Binato disse:

Aí é que tá o paranauê da parada inteira... Foi justamente isso que a 123 milhas alegou quando entrou com pedido de recuperação judicial, que a Azul cortou o serviço de consultas de emissão de passagens que tinha em parceria com a 123 milhas.

Nou sou nenhum especialista no assunto, mas pelo meu conhecimento de dev, não podemos simplesmente coletar as informações do site (tá até poderíamos, mas isso em um sistema fica muito lento e custoso, precisaríamos preencher as informações obrigatórias, passar pelo CAPTCHA provando que não somos um robô e ainda provavelmente seríamos bloqueado pelo volume seguidos de consulta).

A maneira correta de fazer isso seria utilizando uma API de consulta das informações, onde a própria empresa, no caso do seu exemplo a Azul deveria disponibilizar, e como você deve imaginar, eles não tem muito interesse em disponibilizar isso de forma fácil pra pessoa física.

Eu tava querendo fazer um desse pra puxar os dados dos fundos imobiliários, antes eu conseguia fácil no fundsexplorer porque eles disponibilizavam uma tabela com todas as informações dos fiis, então eu simplesmente copiava e colava no Excel e analisava a cada 2 ou 3 meses os indicadores já comparando eles. Agora o site mudou o componente de apresentação das informações dos FIIs, já não consigo mais pegar as informações de todos como antes... =(

 

Dá para fazer web scraping, algo que muitos serviços faziam no início da web. A questão central é o quanto isso agrega de valor e como monetizar. Muitos serviços já tentaram, no entanto, monetizar isso é complicado, considerando que a manutenção disso demanda muito tempo. Os sites frequentemente modificam suas estruturas, o que torna a manutenção desafiadora. Por isso, as APIs são importantes, mas não são o único recurso.