freddypinto / easybroker-scraping Goto Github PK

EasyBroker Scraping

Web scraping en el sitio web de EasyBroker
Explorar docs »

Reportar Bug · Request Feature

Este proyecto utiliza Selenium y BeautifulSoup para hacer web scraping en el sitio web de EasyBroker y extraer el nombre, ubicación, teléfono y pagina web de las inmobiliarias registradas.

(volver arriba)

(volver arriba)

Para ejecutar este proyecto localmente sigue estos pasos para configurarlo:

1. Clona el repositorio:

   git clone https://github.com/FreddyPinto/easybroker-scraping.git

2. Crea un entorno virtual de Python:

   python -m venv venv

3. Activa el entorno virtual:
   • En Windows:

     .\env\Scripts\activate

   • Unix o MacOS:

     env/bin/activate

4. Instala las dependencias:

   pip install -r requirements.txt

5. Configura tus variables de entorno. Crea un archivo .env en la raíz del proyecto y añade tus credenciales de EasyBroker:

   EMAIL=tu_email
   PASSWORD=tu_contraseña

(volver arriba)

Ejecuta el script de Python para hacer web scraping en el sitio web de EasyBroker:

python src/scripts/make_data.py

Esto generará un archivo CSV en la carpeta data con la información extraída.

(volver arriba)

Este proyecto se realizó como un Producto Mínimo Viable, por lo que se podrían mejorar algunos aspectos en el futuro, con la finalidad de lograr un producto más completo y robusto. Algunas de las posibles mejoras son:

• Mejorar la eficiencia del web scraping, explorando técnicas para acelerar la extracción de datos.

• Implementar un manejo de errores más robusto para manejar posibles fallos durante el web scraping.

• Explorar el uso de una base de datos para almacenar los datos extraídos, lo que permitiría consultas más eficientes y un almacenamiento más seguro.

• Mejorar la limpieza y el preprocesamiento de los datos, para asegurar que los datos estén en el formato más útil para el análisis.

• Implementar pruebas automatizadas para asegurar que el código funciona como se espera después de cada cambio.

• Explorar otras bibliotecas o herramientas para el web scraping que podrían ofrecer mejores prestaciones o facilidades de uso.

• Mejorar la documentación del proyecto, incluyendo más detalles sobre cómo se realiza el web scraping y cómo se pueden utilizar los datos extraídos.

Consulta los issues abiertos para proponer características (y problemas conocidos).

(volver arriba)

Las contribuciones son lo que hacen que la comunidad de código abierto sea un lugar increíble para apBeautifulSoup, inspirarse y crear. Cualquier contribución que hagas será muy apreciada.

Si tienes una sugerencia para mejorar este proyecto, haz un fork del repositorio y crea un pull request. También puedes simplemente abrir un issue con la etiqueta “enhancement”. ¡No olvides darle una estrella al proyecto! Gracias de nuevo.

1. Haz un fork del Proyecto
2. Crea tu feature Branch (git checkout -b feature/AmazingFeature)
3. Haz commit de tus cambios (git commit -m 'Add some AmazingFeature')
4. Push a la Branch (git push origin feature/AmazingFeature)
5. Abre un Pull Request

(volver arriba)

Distribuido bajo la licencia MIT. Consulta el archivo LICENSE para más información.

(volver arriba)

Freddy Pinto - [email protected]

Project Link: https://github.com/FreddyPinto/easybroker-scraping

(volver arriba)