professional
VivienTech Scrappers
Thu 05 Jan, 2023
-Sat 10 Feb, 2024
( 13 months)
Plataforma básica de scrappers para recopilación de datos de agencias inmobiliarias.
Tecnologías
Python
Scrapy
SQLite
Streamlit
Docker
Docker Compose
Roles
- WebBackendAPIDBDevOps
VivienTech Scrappers es un conjunto de scrappers personalizados para extraer información de diversas fuentes en línea con el fin de recopilar un índice de inmobiliarias presentes en distintas zonas de España.
Vivientech Scrappers es una colección de proyectos orientados a la extracción y gestión de datos de agencias inmobiliarias desde múltiples fuentes web.
El sistema está compuesto por dos piezas principales:
- Agencies Indexing: pipeline que recorre configuraciones (una hoja de Google Sheets) y ejecuta los scrapers correspondientes para poblar una base de datos SQLite con la información de agencias. Al finalizar, publica una copia de la base de datos en una hoja de Google Sheets para facilitar el acceso y la revisión.
- Admin Panel: una aplicación web (interfaz administrativa) para visualizar KPIs, explorar los datos de la base, y ver las agencias en un mapa.
Principales características:
- Arquitectura modular: cada scraper está encapsulado y puede habilitarse/deshabilitarse mediante la configuración en la hoja
configde Google Sheets. - Persistencia ligera: uso de SQLite para almacenamiento local y copia periódica a Google Sheets.
- Ejecución flexible: soporta ejecución puntual, por bucle, y ejecución programada (schedule).
- Panel administrativo para consulta y monitorización (carpeta
admin-panel).


