Este proyecto fué un reto para mi debido a la volatilidad de los requisitos, ya que se trataba de una startup en proceso de lanzamiento que pretendía encontrar su sitio en el mercado.

Construí el stack tecnológico desde 0, principalmente centrado en NodeJS.

El proyecto era muy ambicioso, captación de contenido de prensa de cualquier tipo de formato: PDF, Digital, Audio, Vídeo, Streaming e incluso documentos oficiales del estado. Todo ello estructurado, analizado y categorizado para ser servido en una arquitectura de feeds similar a la que tiene Twitter, para el consumo de usuario final (gabinetes de comunicación de empresas y profesionales) en función de condiciones complejas especificadas por ellos.

Los principales retos fueron:

• Varios formatos de periódicos (PDF) que necesitaban ser parseados, Mediante la utilización de algoritmos de OCR, page layout detection and NLP.
• Captación de canales de video en streaming de las principales plataformas de televisión y radio.
• Categorización del contenido de las noticias mediante NLP y un sistema de condiciones adaptado a la estructura del modelo.
• Gestión de los datos, con una ingesta diaria de más de 150k documentos needed to be indexed.

El producto empezó consistiendo de un típico stack MERN, para luego implementar mejoras con:

• Django (ORM)
• ManticoreDB y MeiliSearch (Search Engine)
• Redis (Cacheo y gestión de colas)

Todas estas tareas las realicé yo mismo desde 0 de forma iterativa mientras manteníamos el servicio productivo para los clientes según lo requirieron las circunstancias.