5.3 KiB
RSS2 - Plataforma de Inteligencia de Noticias con IA
RSS2 es una plataforma avanzada de agregación, traducción, análisis y vectorización de noticias diseñada para procesar grandes volúmenes de información en tiempo real. Combina una arquitectura de microservicios híbrida (Go + Python) con modelos de Inteligencia Artificial locales para transformar flujos RSS crudos en inteligencia accionable, permitiendo búsqueda semántica y análisis de tendencias.
🏗️ Arquitectura de Servicios (Docker)
El sistema está orquestado mediante Docker Compose y se divide en 3 redes aisladas (frontend, backend, monitoring) para garantizar la seguridad y el rendimiento.
🌐 Core & Acceso (Red Frontend)
| Servicio | Tecnología | Puerto Ext. | Descripción |
|---|---|---|---|
nginx |
Nginx Alpine | 8001 | Gateway Público. Proxy inverso que sirve la aplicación y archivos estáticos. |
rss2_web |
Python (Flask+Gunicorn) | - | Servidor de aplicación principal. Gestiona la API, interfaz web y lógica de negocio. |
📥 Ingesta y Descubrimiento (Red Backend)
| Servicio | Tecnología | Descripción |
|---|---|---|
rss-ingestor-go |
Go | Crawler de ultra-alto rendimiento. Monitoriza y descarga cientos de feeds RSS por minuto. |
url-worker |
Python | Scraper profundo. Descarga el contenido completo (HTML limpio via newspaper3k) de cada noticia. |
url-discovery-worker |
Python | Agente autónomo que descubre y sugiere nuevos feeds RSS basándose en el tráfico actual. |
<EFBFBD> Procesamiento de IA (Red Backend)
Estos workers procesan asíncronamente la información utilizando modelos locales (GPU/CPU).
| Servicio | Función | Modelo / Tecnología |
|---|---|---|
translator (x3) |
Traducción Neural | NLLB-200. Traduce noticias de cualquier idioma al Español. Escalado horizontalmente (3 réplicas). |
embeddings |
Vectorización | Sentence-Transformers. Convierte texto en vectores matemáticos para búsqueda semántica. |
ner |
Entidades | Modelos SpaCy/Bert. Extrae Personas, Organizaciones y Lugares. |
topics |
Clasificación | Clasifica noticias en temas (Política, Economía, Tecnología, etc.). |
cluster |
Agrupación | Agrupa noticias sobre el mismo evento de diferentes fuentes. |
related |
Relaciones | Calcula y enlaza noticias relacionadas temporal y contextualmente. |
💾 Almacenamiento y Búsqueda (Red Backend)
| Servicio | Rol | Descripción |
|---|---|---|
db |
Base de Datos Relacional | PostgreSQL 18. Almacenamiento principal de noticias, usuarios y configuración. |
qdrant |
Base de Datos Vectorial | Qdrant. Motor de búsqueda semántica de alta velocidad. |
qdrant-worker |
Sincronización | Worker dedicado a mantener sincronizados PostgreSQL y Qdrant. |
redis |
Caché y Colas | Redis 7. Gestiona las colas de tareas para los workers y caché de sesión. |
⚙️ Orquestación y Mantenimiento
| Servicio | Descripción |
|---|---|
rss-tasks |
Scheduler (Cron) que ejecuta tareas periódicas de limpieza, mantenimiento y optimización de índices. |
📊 Observabilidad (Red Monitoring)
Acceso exclusivo vía localhost o túnel SSH.
| Servicio | Puerto Local | Descripción |
|---|---|---|
grafana |
3001 | Dashboard visual para monitorizar CPU/RAM, colas de Redis y estado de ingesta. |
prometheus |
- | Recolección de métricas de todos los contenedores. |
cadvisor |
- | Monitor de recursos del kernel de Linux para Docker. |
🚀 Guía de Inicio Rápido
Requisitos Previos
- Docker y Docker Compose V2.
- Drivers de NVIDIA (Opcional, pero recomendado para inferencia rápida de IA).
1. Instalación
git clone <repo>
cd rss2
2. Configuración de Seguridad
Genera contraseñas robustas automáticamente para todos los servicios:
./generate_secure_credentials.sh
Esto creará un archivo .env configurado y seguro.
3. Iniciar la Plataforma
Utiliza el script de arranque que verifica dependencias y levanta el stack:
./start_docker.sh
Alternativamente: docker compose up -d
4. Acceder a la Aplicación
- Web Principal: http://localhost:8001
- Monitorización: http://localhost:3001 (Usuario:
admin, Password: ver archivo.env)
<EFBFBD>️ Operaciones Comunes
Ver logs en tiempo real
# Ver todo el sistema
docker compose logs -f
# Ver un servicio específico (ej. traductor o web)
docker compose logs -f translator
docker compose logs -f rss2_web
Generación de Videos (Nuevo)
El sistema incluye un script para convertir noticias en videos narrados automáticamente:
# Ejecutar generador manual
python3 scripts/generar_videos_noticias.py
Copias de Seguridad (Backup)
# Backup de PostgreSQL
docker exec rss2_db pg_dump -U rss rss > backup_full_$(date +%Y%m%d).sql
# Backup de Qdrant (Vectores)
tar -czf vector_backup.tar.gz qdrant_storage/
Reinicio Completo (con reconstrucción)
Si modificas código o configuración:
docker compose down
docker compose up -d --build