Comments (1)
Fala @rafaelribeiroo!
Desde a PR #8 as informações dos anúncios estão vindos de um json que fica em cada página, fica bem mais fácil de puxar as informações do json que extrair do HTML, o OLX já mudou algumas vezes a estrutura dos anúncios o script parava de funcionar.
Estava fazendo uns testes agora usando esse link para fazer a busca: https://www.olx.com.br/moveis/estado-sp?q=sof%C3%A1 e aparentemente as vezes o json trazia infomações que não tinham nada a ver com os resultados exibidos, olha esse exemplo:
Esses são os primeiros 4 resultados
Mas no JSON estão aparecendo anúncios que não tem relação alguma com a buscar e não o aparecem na página. No json a ordem é a seguinte:
- ✅ Sofá retrátil em estado impecável, pouquíssimo uso.
- ✅ Sofá Cama
- 🛑 Lava e seca Samsung 8,5kg 127v novíssima com garantia
- 🛑 Lixeiras De Rua Calçada Prime Branco/Preto
- 🛑 Entregamos hoje!! Cama Box Conjugada Preço promocional Aproveite!!
- 🛑 Mesa Com Tampo + Cavaletes Em Mdf Na Cor Verde (pintados)
- 🛑 Entregamos hoje!! Cama Box Conjugada Preço promocional Aproveite!!
- 🛑 churrasqueira para espetinhos
- 🛑 Purificador de água Lorenzetti Gioviale água natural
Rack - ✅ Sofa cinza grande retratil 4 lugares
- 🛑 Pontaletes
...
Em um outro teste na mesma url parece que voltou tudo ao normal, não sei se teve algum bug na hora que estava testando, mas não consegui mais reproduzir essa divergência, vou ter que fazer mais testes, talvez isso também esteja acontecendo no seu caso. Você consegue compartilhar algum exemplo?
Lendo o json vi que tem uma propriedade isFeatured: true
nos anúnicos Impulsionados e nos Destacados, mas nos casos que vi eles faziam sentido com a busca que estava sendo realizada, por faz sentido manter, até por que essa é uma das formas do OLX ganhar dinheiro, mas se de fato estiver vindo informações que não fazem sentido talvez seja necessário voltar puxar os dados direto do HTML mesmo.
from olx-monitor.
Related Issues (16)
- Enviando notificação de todos os anúncios encontrados quando adiciono uma nova URL
- ReferenceError: config is not defined HOT 1
- Acho que parou de funcionar... HOT 25
- ERROR Cannot read properties of undefined (reading 'length') HOT 7
- Bot roda normal mas não envia a mensagem para o TELEGRAM HOT 2
- Problemas em encontrar novos anúncios HOT 4
- Não é mais possível persistir as URLs a partir de hoje HOT 34
- Does it still work? HOT 1
- ERROR Scraping failed HOT 4
- Dúvida sobre o filtro das pesquisas HOT 3
- Como contribuir? HOT 2
- Dúvida HOT 6
- Erro ao executar o node index.js HOT 1
- Dúvida sobre arquivo .env HOT 5
- Error: SQLITE_CONSTRAINT: NOT NULL constraint failed: ads.searchTerm HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from olx-monitor.