VivienTech Scrappers
professional

VivienTech Scrappers

Thu 05 Jan, 2023

-

Sat 10 Feb, 2024

( 13 months)

Plataforma básica de scrappers para recopilación de datos de agencias inmobiliarias.

Tecnologías

    Python

    Scrapy

    SQLite

    Streamlit

    Docker

    Docker Compose

Roles

    WebBackendAPIDBDevOps

VivienTech Scrappers es un conjunto de scrappers personalizados para extraer información de diversas fuentes en línea con el fin de recopilar un índice de inmobiliarias presentes en distintas zonas de España.

python
scrapy
sqlite
streamlit
docker

Vivientech Scrappers es una colección de proyectos orientados a la extracción y gestión de datos de agencias inmobiliarias desde múltiples fuentes web.

El sistema está compuesto por dos piezas principales:

  • Agencies Indexing: pipeline que recorre configuraciones (una hoja de Google Sheets) y ejecuta los scrapers correspondientes para poblar una base de datos SQLite con la información de agencias. Al finalizar, publica una copia de la base de datos en una hoja de Google Sheets para facilitar el acceso y la revisión.
  • Admin Panel: una aplicación web (interfaz administrativa) para visualizar KPIs, explorar los datos de la base, y ver las agencias en un mapa.

Principales características:

  • Arquitectura modular: cada scraper está encapsulado y puede habilitarse/deshabilitarse mediante la configuración en la hoja config de Google Sheets.
  • Persistencia ligera: uso de SQLite para almacenamiento local y copia periódica a Google Sheets.
  • Ejecución flexible: soporta ejecución puntual, por bucle, y ejecución programada (schedule).
  • Panel administrativo para consulta y monitorización (carpeta admin-panel).