Aplicação Streaming com Python e Spark para raspagem e contagem de palavras
- Spark
- Vs Code
- Python
- Crie seu ambiente virtual e utilize o requirement.txt para instalar as bibliotexas necessárias
-
Scraping scrapy runspider src/web_scraping.py
-
Spark spark-submit --py-files src/count_word.py src/spark_app.py