fix: revision completa de rutas Docker, logica SQL y configuracion
Backend Go:
- backend/cmd/server/main.go: ruta wiki_images configurable via WIKI_IMAGES_PATH
- backend/cmd/wiki_worker/main.go: default /opt/rss2 en lugar de /app, leer env
- workers/ctranslator_worker.py: default CT2_MODEL_PATH /opt/rss2 en lugar de /app
- workers/llm_categorizer_worker.py: default LLM_MODEL_PATH /opt/rss2
- workers/{langdetect,simple_translator,translation_scheduler}.py: DB_HOST default 'localhost' en lugar de 'db' (hostname Docker)
SQL / esquema:
- poc/seed.sql: corregir logica de auto-traducciones ES (id LIKE md5() era incorrecto)
- init-db/06-tags.sql: eliminar columna wiki_checked duplicada
Documentacion y configuracion:
- docs/DEPLOY_DEBIAN.md: usar ct2-transformers-converter (lo que usa el worker real)
- deploy/debian/env.example: agregar WIKI_IMAGES_PATH
- deploy/debian/systemd/rss2-cluster.service: agregar HF_HOME faltante
- deploy/debian/install.sh: comparacion numerica correcta de version Go
- scripts/generate_secure_credentials.sh: ruta CT2_MODEL_PATH corregida
- frontend/nginx.conf: advertencia de que es configuracion Docker legacy
- docs/QUICKSTART_LLM.md: nota de deprecacion Docker
- README.md: renombrar backend-go a backend en diagrama
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
10f0555c46
commit
d9ea78b8a7
17 changed files with 55 additions and 21 deletions
|
|
@ -76,16 +76,23 @@ python3 -m venv /opt/rss2/venv
|
|||
/opt/rss2/venv/bin/pip install ctranslate2 transformers sentencepiece
|
||||
|
||||
# Convertir modelo NLLB-200 a formato CTranslate2 (tarda 10-30 min)
|
||||
/opt/rss2/venv/bin/python - <<'EOF'
|
||||
from ctranslate2.converters import OpusMTConverter
|
||||
converter = OpusMTConverter("facebook/nllb-200-distilled-600M")
|
||||
converter.convert("/opt/rss2/models/nllb-ct2", quantization="int8", force=True)
|
||||
print("Modelo convertido OK en /opt/rss2/models/nllb-ct2")
|
||||
EOF
|
||||
mkdir -p /opt/rss2/models/nllb-ct2
|
||||
HF_HOME=/opt/rss2/hf_cache \
|
||||
/opt/rss2/venv/bin/ct2-transformers-converter \
|
||||
--model facebook/nllb-200-distilled-600M \
|
||||
--output_dir /opt/rss2/models/nllb-ct2 \
|
||||
--quantization int8 \
|
||||
--force
|
||||
|
||||
# Verificar que se generó correctamente
|
||||
ls /opt/rss2/models/nllb-ct2/model.bin && echo "Modelo OK"
|
||||
```
|
||||
|
||||
> El modelo ocupa ~600 MB convertido. Si la descarga de HuggingFace falla, exporta
|
||||
> `HF_ENDPOINT=https://huggingface.co` o usa un mirror.
|
||||
> El modelo ocupa ~600 MB convertido. Si la descarga de HuggingFace falla:
|
||||
> `export HF_ENDPOINT=https://huggingface.co` antes del comando de conversión.
|
||||
|
||||
> **Nota:** El worker convierte el modelo automáticamente si no lo encuentra,
|
||||
> pero hacerlo a mano evita que el primer arranque tarde 30 minutos.
|
||||
|
||||
### 4. Ejecutar el instalador
|
||||
|
||||
|
|
|
|||
|
|
@ -1,4 +1,8 @@
|
|||
# 🚀 Guía Rápida: Sistema LLM Categorizer
|
||||
> **NOTA:** Esta guía está basada en la configuración Docker original. En el despliegue
|
||||
> Debian nativo, el LLM categorizer se controla con `systemctl start rss2-categorizer`
|
||||
> y el modelo se coloca en `/opt/rss2/models/llm` (var `LLM_MODEL_PATH`).
|
||||
|
||||
# Guía Rápida: Sistema LLM Categorizer
|
||||
|
||||
## ✅ Estado Actual
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue