Fix cursor closed error, improve feed parsing, and update worker counts
This commit is contained in:
jlimolina
parent
ce19d301e6
commit
824ff0539d
523 changed files with 190411 additions and 355 deletions
154
install.sh
154
install.sh
|
|
@ -1,7 +1,5 @@
|
|||
#!/bin/bash
|
||||
|
||||
# Script de instalación completo y robusto para el Agregador RSS.
|
||||
# Instala y configura PostgreSQL, Python, y la aplicación como un servicio systemd usando Waitress.
|
||||
# --- SCRIPT DE INSTALACIÓN FINAL (Arquitectura Web + Worker) ---
|
||||
|
||||
set -e
|
||||
|
||||
|
|
@ -9,36 +7,35 @@ set -e
|
|||
APP_NAME="rss"
|
||||
DB_NAME="rss"
|
||||
DB_USER="rss"
|
||||
DB_PASS="x" # ¡IMPORTANTE! Usar una contraseña más segura en un entorno real.
|
||||
APP_USER="x" # El usuario no-root que ejecutará la aplicación.
|
||||
|
||||
# Directorios (se calculan automáticamente)
|
||||
APP_USER="x"
|
||||
APP_DIR="/home/$APP_USER/$APP_NAME"
|
||||
PYTHON_ENV="$APP_DIR/venv"
|
||||
SERVICE_FILE="/etc/systemd/system/$APP_NAME.service"
|
||||
WSGI_APP_ENTRY="app:app" # Formato para Waitress/Gunicorn: "nombre_fichero:nombre_variable_app"
|
||||
WSGI_APP_ENTRY="app:app"
|
||||
|
||||
# ========= 1. INSTALAR DEPENDENCIAS DEL SISTEMA =========
|
||||
echo "🟢 Instalando dependencias del sistema (PostgreSQL, Python, etc.)..."
|
||||
sudo apt-get update
|
||||
sudo apt-get install -y wget ca-certificates postgresql postgresql-contrib python3-venv python3-pip
|
||||
|
||||
# ========= 2. CONFIGURAR POSTGRESQL =========
|
||||
echo "🛠️ Configurando PostgreSQL..."
|
||||
|
||||
# Ajustar autenticación para permitir login con contraseña
|
||||
PG_HBA=$(find /etc/postgresql -name pg_hba.conf | head -1)
|
||||
if [ -n "$PG_HBA" ] && grep -q "local\s\+all\s\+all\s\+peer" "$PG_HBA"; then
|
||||
echo "📝 Ajustando pg_hba.conf para autenticación md5..."
|
||||
sudo sed -i 's/local\s\+all\s\+all\s\+peer/local all all md5/' "$PG_HBA"
|
||||
sudo systemctl restart postgresql
|
||||
# ========= 0. COMPROBACIONES INICIALES Y CREACIÓN DE USUARIO =========
|
||||
echo "🟢 Paso 0: Verificando usuario y pidiendo contraseña de la BD..."
|
||||
if ! id "$APP_USER" &>/dev/null; then
|
||||
echo "👤 Creando usuario del sistema '$APP_USER'..."
|
||||
sudo useradd -m -s /bin/bash "$APP_USER"
|
||||
else
|
||||
echo "✅ pg_hba.conf ya parece estar configurado para md5."
|
||||
echo "✅ Usuario del sistema '$APP_USER' ya existe."
|
||||
fi
|
||||
|
||||
# Crear usuario y base de datos de forma segura (solo si no existen)
|
||||
echo "👤 Creando usuario y base de datos '$DB_NAME'..."
|
||||
sudo -u postgres psql -c "DO \$\$ BEGIN IF NOT EXISTS (SELECT FROM pg_catalog.pg_user WHERE usename = '$DB_USER') THEN CREATE USER $DB_USER WITH PASSWORD '$DB_PASS'; END IF; END \$\$;"
|
||||
if [ -z "$DB_PASS" ]; then
|
||||
read -sp "🔑 Introduce la contraseña para el usuario de la base de datos '$DB_USER': " DB_PASS
|
||||
echo
|
||||
if [ -z "<span class="math-inline">DB\_PASS" \]; then
|
||||
echo "❌ La contraseña no puede estar vacía\. Abortando\."
|
||||
exit 1
|
||||
fi
|
||||
fi
|
||||
\# \=\=\=\=\=\=\=\=\= 1\. INSTALAR DEPENDENCIAS DEL SISTEMA \=\=\=\=\=\=\=\=\=
|
||||
echo "🟢 Paso 1\: Instalando dependencias del sistema\.\.\."
|
||||
sudo apt\-get update
|
||||
sudo apt\-get install \-y wget ca\-certificates postgresql postgresql\-contrib python3\-venv python3\-pip python3\-dev libpq\-dev
|
||||
\# \=\=\=\=\=\=\=\=\= 2\. CONFIGURAR POSTGRESQL \=\=\=\=\=\=\=\=\=
|
||||
echo "🛠️ Paso 2\: Configurando PostgreSQL\.\.\."
|
||||
sudo \-u postgres psql \-c <7\>"DO \\$\\</span> BEGIN IF NOT EXISTS (SELECT FROM pg_catalog.pg_user WHERE usename = '$DB_USER') THEN CREATE USER $DB_USER WITH PASSWORD '$DB_PASS'; ELSE ALTER USER $DB_USER WITH PASSWORD '<span class="math-inline">DB\_PASS'; END IF; END \\$\\</span>;"
|
||||
if ! sudo -u postgres psql -lqt | cut -d \| -f 1 | grep -qw "$DB_NAME"; then
|
||||
sudo -u postgres psql -c "CREATE DATABASE $DB_NAME OWNER $DB_USER;"
|
||||
echo "Base de datos '$DB_NAME' creada."
|
||||
|
|
@ -46,82 +43,41 @@ else
|
|||
echo "✅ Base de datos '$DB_NAME' ya existe."
|
||||
fi
|
||||
|
||||
# ========= 3. CREAR TABLAS CON RESTRICCIONES 'UNIQUE' =========
|
||||
echo "📐 Creando tablas con protección anti-duplicados..."
|
||||
export PGPASSWORD="$DB_PASS"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" <<EOF
|
||||
CREATE TABLE IF NOT EXISTS continentes (id SERIAL PRIMARY KEY, nombre VARCHAR(50) NOT NULL UNIQUE);
|
||||
CREATE TABLE IF NOT EXISTS categorias (id SERIAL PRIMARY KEY, nombre VARCHAR(100) NOT NULL UNIQUE);
|
||||
CREATE TABLE IF NOT EXISTS paises (id SERIAL PRIMARY KEY, nombre VARCHAR(100) NOT NULL UNIQUE, continente_id INTEGER REFERENCES continentes(id) ON DELETE SET NULL);
|
||||
CREATE TABLE IF NOT EXISTS feeds (id SERIAL PRIMARY KEY, nombre VARCHAR(255), descripcion TEXT, url TEXT NOT NULL UNIQUE, categoria_id INTEGER REFERENCES categorias(id) ON DELETE SET NULL, pais_id INTEGER REFERENCES paises(id) ON DELETE SET NULL, idioma CHAR(2), activo BOOLEAN DEFAULT TRUE, fallos INTEGER DEFAULT 0);
|
||||
CREATE TABLE IF NOT EXISTS noticias (id VARCHAR(32) PRIMARY KEY, titulo TEXT, resumen TEXT, url TEXT NOT NULL UNIQUE, fecha TIMESTAMP, imagen_url TEXT, categoria_id INTEGER REFERENCES categorias(id) ON DELETE SET NULL, pais_id INTEGER REFERENCES paises(id) ON DELETE SET NULL);
|
||||
EOF
|
||||
unset PGPASSWORD
|
||||
echo "✅ Tablas creadas/verificadas."
|
||||
# ========= 3. PREPARAR DIRECTORIO Y ENTORNO DE LA APP =========
|
||||
echo "🐍 Paso 3: Configurando el directorio de la aplicación y el entorno virtual..."
|
||||
sudo mkdir -p "$APP_DIR"
|
||||
sudo chown -R "$APP_USER":"$APP_USER" "$APP_DIR"
|
||||
|
||||
# ========= 4. INSERTAR DATOS INICIALES (OPCIONAL) =========
|
||||
# Nota: Si se ejecuta el script de nuevo, los INSERT darán un error de "violación de unicidad"
|
||||
# y no se insertarán duplicados, lo cual es el comportamiento deseado.
|
||||
for sql_file in continentes.sql paises.sql categorias.sql; do
|
||||
if [ -f "$APP_DIR/$sql_file" ]; then
|
||||
echo "🗂️ Insertando datos desde $sql_file..."
|
||||
export PGPASSWORD="$DB_PASS"
|
||||
# El '|| true' al final evita que el script se detenga si los datos ya existen
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -f "$APP_DIR/$sql_file" || true
|
||||
unset PGPASSWORD
|
||||
else
|
||||
echo "⚠️ Archivo de datos iniciales no encontrado, omitiendo: $sql_file"
|
||||
fi
|
||||
done
|
||||
|
||||
# ========= 5. PREPARAR ENTORNO PYTHON =========
|
||||
sudo -u "$APP_USER" bash <<EOF
|
||||
set -e
|
||||
cd "$APP_DIR"
|
||||
echo "🐍 Creando entorno virtual en $PYTHON_ENV"
|
||||
python3 -m venv "$PYTHON_ENV"
|
||||
|
||||
echo "📦 Instalando dependencias desde requirements.txt..."
|
||||
"$PYTHON_ENV/bin/python" -m pip install --upgrade pip
|
||||
"$PYTHON_ENV/bin/python" -m pip install -r "$APP_DIR/requirements.txt"
|
||||
|
||||
# ========= 6. CREAR SERVICIO SYSTEMD (CON WAITRESS) =========
|
||||
echo "⚙️ Creando servicio systemd con Waitress..."
|
||||
sudo tee "$SERVICE_FILE" > /dev/null <<EOF
|
||||
[Unit]
|
||||
Description=Servicio del Agregador RSS (con Waitress)
|
||||
After=network.target postgresql.service
|
||||
Requires=postgresql.service
|
||||
|
||||
[Service]
|
||||
# Ejecutar como un usuario normal por seguridad
|
||||
User=$APP_USER
|
||||
Group=$APP_USER
|
||||
|
||||
WorkingDirectory=$APP_DIR
|
||||
|
||||
# Comando final: Usa Waitress, un servidor simple y eficiente sin workers.
|
||||
ExecStart=$PYTHON_ENV/bin/waitress-serve --host 0.0.0.0 --port 8000 $WSGI_APP_ENTRY
|
||||
|
||||
Restart=always
|
||||
Environment="PYTHONUNBUFFERED=1"
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
if [ -f "requirements.txt" ]; then
|
||||
"$PYTHON_ENV/bin/python" -m pip install -r "requirements.txt"
|
||||
else
|
||||
echo "⚠️ ADVERTENCIA: No se encontró requirements.txt."
|
||||
fi
|
||||
EOF
|
||||
|
||||
# ========= 7. ACTIVAR Y LANZAR EL SERVICIO =========
|
||||
echo "🚀 Recargando systemd y activando el servicio '$APP_NAME'..."
|
||||
sudo systemctl daemon-reload
|
||||
sudo systemctl enable --now "$APP_NAME"
|
||||
sudo systemctl restart "$APP_NAME"
|
||||
|
||||
# ========= ESTADO FINAL =========
|
||||
echo ""
|
||||
echo "✅ ¡Instalación completada!"
|
||||
echo " El servicio '$APP_NAME' se ha instalado y está corriendo."
|
||||
echo " La aplicación es accesible en: http://<IP-DE-LA-VM>:8000"
|
||||
echo ""
|
||||
echo "👉 Comandos útiles:"
|
||||
echo " Revisar estado: sudo systemctl status $APP_NAME"
|
||||
echo " Ver logs en vivo: sudo journalctl -u $APP_NAME -f"
|
||||
echo " Reiniciar servicio: sudo systemctl restart $APP_NAME"
|
||||
echo ""
|
||||
echo "Recuerda configurar la redirección de puertos en VirtualBox y el firewall si es necesario."
|
||||
# ========= 4. CREAR TABLAS Y CONFIGURAR BÚSQUEDA DE TEXTO COMPLETO =========
|
||||
echo "📐 Paso 4: Creando/verificando tablas y configurando Full-Text Search..."
|
||||
export PGPASSWORD="$DB_PASS"
|
||||
# --- Creación de tablas base completas ---
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "CREATE TABLE IF NOT EXISTS continentes (id SERIAL PRIMARY KEY, nombre VARCHAR(50) NOT NULL UNIQUE);"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "CREATE TABLE IF NOT EXISTS categorias (id SERIAL PRIMARY KEY, nombre VARCHAR(100) NOT NULL UNIQUE);"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "CREATE TABLE IF NOT EXISTS paises (id SERIAL PRIMARY KEY, nombre VARCHAR(100) NOT NULL UNIQUE, continente_id INTEGER REFERENCES continentes(id) ON DELETE SET NULL);"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "CREATE TABLE IF NOT EXISTS feeds (id SERIAL PRIMARY KEY, nombre VARCHAR(255), descripcion TEXT, url TEXT NOT NULL UNIQUE, categoria_id INTEGER REFERENCES categorias(id) ON DELETE SET NULL, pais_id INTEGER REFERENCES paises(id) ON DELETE SET NULL, idioma CHAR(2), activo BOOLEAN DEFAULT TRUE, fallos INTEGER DEFAULT 0, last_etag TEXT, last_modified TEXT);"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "CREATE TABLE IF NOT EXISTS noticias (id VARCHAR(32) PRIMARY KEY, titulo TEXT, resumen TEXT, url TEXT NOT NULL UNIQUE, fecha TIMESTAMP, imagen_url TEXT, categoria_id INTEGER REFERENCES categorias(id) ON DELETE SET NULL, pais_id INTEGER REFERENCES paises(id) ON DELETE SET NULL, tsv tsvector);"
|
||||
# --- Configuración de FTS ---
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "ALTER TABLE noticias ADD COLUMN IF NOT EXISTS tsv tsvector;"
|
||||
psql -U "$DB_USER" -h localhost -d "<span class="math-inline">DB\_NAME" \-c "CREATE OR REPLACE FUNCTION noticias\_tsv\_trigger\(\) RETURNS trigger AS \\$\\$ begin new\.tsv \:\= setweight\(to\_tsvector\('spanish', coalesce\(new\.titulo,''\)\), 'A'\) \|\| setweight\(to\_tsvector\('spanish', coalesce\(new\.resumen,''\)\), 'B'\); return new; end \\$\\</span> LANGUAGE plpgsql;"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "DROP TRIGGER IF EXISTS tsvectorupdate ON noticias;"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "CREATE TRIGGER tsvectorupdate BEFORE INSERT ON noticias FOR EACH ROW EXECUTE PROCEDURE noticias_tsv_trigger();"
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "CREATE INDEX IF NOT EXISTS noticias_tsv_idx ON noticias USING gin(tsv);"
|
||||
echo "🔄 Actualizando índice de búsqueda para noticias existentes (puede tardar)..."
|
||||
psql -U "$DB_USER" -h localhost -d "$DB_NAME" -c "UPDATE noticias SET tsv = setweight(to_tsvector('spanish', coalesce(titulo,'')), 'A') || setweight(to_tsvector('spanish', coalesce(resumen,'')), 'B') WHERE tsv IS NULL;"
|
||||
# --- Cargar datos iniciales ---
|
||||
for sql_file in continentes.sql paises.sql
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue