solcuionado un problema con el restaurador de feeds
This commit is contained in:
jlimolina
parent
19ee3df515
commit
841f0e610b
1 changed files with 96 additions and 24 deletions
120
app.py
120
app.py
|
|
@ -41,14 +41,13 @@ def get_conn():
|
|||
"""Devuelve una conexión nueva usando psycopg2 y el diccionario DB_CONFIG."""
|
||||
return psycopg2.connect(**DB_CONFIG)
|
||||
|
||||
MAX_FALLOS = 5 # Número máximo de fallos antes de desactivar el feed
|
||||
MAX_FALLOS = 5
|
||||
|
||||
# ======================================
|
||||
# Filtro de Plantilla para HTML Seguro
|
||||
# ======================================
|
||||
@app.template_filter('safe_html')
|
||||
def safe_html(text):
|
||||
"""Sanitiza el HTML para prevenir ataques XSS, permitiendo etiquetas seguras."""
|
||||
if not text:
|
||||
return ""
|
||||
allowed_tags = {'a', 'abbr', 'b', 'strong', 'i', 'em', 'p', 'br', 'img'}
|
||||
|
|
@ -114,9 +113,6 @@ def home():
|
|||
return render_template("noticias.html", noticias=noticias, categorias=categorias, continentes=continentes, paises=paises,
|
||||
cat_id=int(cat_id) if cat_id else None, cont_id=int(cont_id) if cont_id else None, pais_id=int(pais_id) if pais_id else None)
|
||||
|
||||
# Aquí incluyo el resto de rutas que habías creado, con la gestión de conexión mejorada
|
||||
# (El código es largo, si quieres omitir alguna parte que no uses, puedes hacerlo)
|
||||
|
||||
@app.route("/feeds")
|
||||
def feeds():
|
||||
feeds_, categorias, continentes, paises = [], [], [], []
|
||||
|
|
@ -212,6 +208,100 @@ def reactivar_feed(feed_id):
|
|||
flash(f"Error al reactivar el feed: {db_err}", "error")
|
||||
return redirect(url_for("feeds"))
|
||||
|
||||
# ===================================================================
|
||||
# [INICIO DEL CÓDIGO AÑADIDO] Backup y Restauración de Feeds
|
||||
# ===================================================================
|
||||
@app.route("/backup_feeds")
|
||||
def backup_feeds():
|
||||
"""Exporta todos los feeds a un archivo CSV."""
|
||||
try:
|
||||
with get_conn() as conn:
|
||||
with conn.cursor(cursor_factory=psycopg2.extras.DictCursor) as cursor:
|
||||
cursor.execute("""
|
||||
SELECT f.id, f.nombre, f.descripcion, f.url, f.categoria_id, c.nombre AS categoria,
|
||||
f.pais_id, p.nombre AS pais, f.idioma, f.activo, f.fallos
|
||||
FROM feeds f
|
||||
LEFT JOIN categorias c ON f.categoria_id = c.id
|
||||
LEFT JOIN paises p ON f.pais_id = p.id
|
||||
ORDER BY f.id
|
||||
""")
|
||||
feeds_ = cursor.fetchall()
|
||||
if not feeds_:
|
||||
flash("No hay feeds para exportar.", "warning")
|
||||
return redirect(url_for("feeds"))
|
||||
|
||||
si = StringIO()
|
||||
writer = csv.DictWriter(si, fieldnames=[desc[0] for desc in cursor.description])
|
||||
writer.writeheader()
|
||||
writer.writerows([dict(row) for row in feeds_])
|
||||
|
||||
output = si.getvalue()
|
||||
si.close()
|
||||
|
||||
return Response(
|
||||
output,
|
||||
mimetype="text/csv",
|
||||
headers={"Content-Disposition": "attachment;filename=feeds_backup.csv"},
|
||||
)
|
||||
except Exception as e:
|
||||
app.logger.error(f"[ERROR] Al hacer backup de feeds: {e}", exc_info=True)
|
||||
flash("Error al generar el backup.", "error")
|
||||
return redirect(url_for("feeds"))
|
||||
|
||||
@app.route("/restore_feeds", methods=["GET", "POST"])
|
||||
def restore_feeds():
|
||||
"""Muestra el formulario de restauración y procesa el archivo CSV subido."""
|
||||
if request.method == "POST":
|
||||
file = request.files.get("file")
|
||||
if not file or not file.filename.endswith(".csv"):
|
||||
flash("Archivo no válido. Por favor, sube un archivo .csv.", "error")
|
||||
return redirect(url_for("restore_feeds"))
|
||||
|
||||
try:
|
||||
file_stream = StringIO(file.read().decode("utf-8"))
|
||||
reader = csv.DictReader(file_stream)
|
||||
rows = list(reader)
|
||||
n_ok, n_err = 0, 0
|
||||
|
||||
with get_conn() as conn:
|
||||
with conn.cursor() as cursor:
|
||||
for row in rows:
|
||||
try:
|
||||
activo_val = str(row.get("activo", "")).strip().lower()
|
||||
activo = activo_val in ["1", "true", "t", "yes", "on"]
|
||||
cursor.execute(
|
||||
"""
|
||||
INSERT INTO feeds (id, nombre, descripcion, url, categoria_id, pais_id, idioma, activo, fallos)
|
||||
VALUES (%(id)s, %(nombre)s, %(descripcion)s, %(url)s, %(categoria_id)s, %(pais_id)s, %(idioma)s, %(activo)s, %(fallos)s)
|
||||
ON CONFLICT (id) DO UPDATE SET
|
||||
nombre = EXCLUDED.nombre, descripcion = EXCLUDED.descripcion, url = EXCLUDED.url,
|
||||
categoria_id = EXCLUDED.categoria_id, pais_id = EXCLUDED.pais_id, idioma = EXCLUDED.idioma,
|
||||
activo = EXCLUDED.activo, fallos = EXCLUDED.fallos;
|
||||
""",
|
||||
{
|
||||
"id": int(row.get("id")), "nombre": row.get("nombre"), "descripcion": row.get("descripcion") or "",
|
||||
"url": row.get("url"), "categoria_id": int(row["categoria_id"]) if row.get("categoria_id") else None,
|
||||
"pais_id": int(row["pais_id"]) if row.get("pais_id") else None, "idioma": row.get("idioma") or None,
|
||||
"activo": activo, "fallos": int(row.get("fallos", 0)),
|
||||
}
|
||||
)
|
||||
n_ok += 1
|
||||
except Exception as e:
|
||||
n_err += 1
|
||||
app.logger.error(f"Error procesando fila del CSV: {row} - Error: {e}")
|
||||
|
||||
flash(f"Restauración completada. Feeds procesados: {n_ok}. Errores: {n_err}.", "success" if n_err == 0 else "warning")
|
||||
|
||||
except Exception as e:
|
||||
app.logger.error(f"Error al restaurar feeds desde CSV: {e}", exc_info=True)
|
||||
flash(f"Ocurrió un error general al procesar el archivo: {e}", "error")
|
||||
|
||||
return redirect(url_for("feeds"))
|
||||
|
||||
return render_template("restore_feeds.html")
|
||||
# ===================================================================
|
||||
# [FIN DEL CÓDIGO AÑADIDO]
|
||||
# ===================================================================
|
||||
|
||||
# ================================
|
||||
# Lógica de procesado de feeds
|
||||
|
|
@ -234,28 +324,22 @@ def fetch_and_store():
|
|||
with conn.cursor(cursor_factory=psycopg2.extras.DictCursor) as cursor:
|
||||
cursor.execute("SELECT id, url, categoria_id, pais_id FROM feeds WHERE activo = TRUE")
|
||||
feeds_to_process = cursor.fetchall()
|
||||
|
||||
for feed in feeds_to_process:
|
||||
try:
|
||||
app.logger.info(f"Procesando feed: {feed['url']}")
|
||||
parsed = feedparser.parse(feed['url'])
|
||||
|
||||
if getattr(parsed, "bozo", False):
|
||||
app.logger.warning(f"[BOZO] Feed mal formado: {feed['url']}")
|
||||
sumar_fallo_feed(cursor, feed['id'])
|
||||
continue
|
||||
|
||||
resetear_fallos_feed(cursor, feed['id'])
|
||||
|
||||
for entry in parsed.entries:
|
||||
try:
|
||||
link = entry.get("link")
|
||||
if not link: continue
|
||||
|
||||
noticia_id = hashlib.md5(link.encode()).hexdigest()
|
||||
titulo = entry.get("title", "")
|
||||
resumen = entry.get("summary", "")
|
||||
|
||||
imagen_url = ""
|
||||
if "media_content" in entry and entry.media_content:
|
||||
imagen_url = entry.media_content[0].get("url", "")
|
||||
|
|
@ -263,19 +347,13 @@ def fetch_and_store():
|
|||
img_search = re.search(r'src="([^"]+)"', resumen)
|
||||
if img_search:
|
||||
imagen_url = img_search.group(1)
|
||||
|
||||
fecha_publicacion = None
|
||||
if "published_parsed" in entry:
|
||||
fecha_publicacion = datetime(*entry.published_parsed[:6])
|
||||
elif "updated_parsed" in entry:
|
||||
fecha_publicacion = datetime(*entry.updated_parsed[:6])
|
||||
|
||||
cursor.execute(
|
||||
"""
|
||||
INSERT INTO noticias (id, titulo, resumen, url, fecha, imagen_url, categoria_id, pais_id)
|
||||
VALUES (%s, %s, %s, %s, %s, %s, %s, %s)
|
||||
ON CONFLICT (id) DO NOTHING
|
||||
""",
|
||||
"INSERT INTO noticias (id, titulo, resumen, url, fecha, imagen_url, categoria_id, pais_id) VALUES (%s, %s, %s, %s, %s, %s, %s, %s) ON CONFLICT (id) DO NOTHING",
|
||||
(noticia_id, titulo, resumen, link, fecha_publicacion, imagen_url, feed['categoria_id'], feed['pais_id'])
|
||||
)
|
||||
except Exception as entry_err:
|
||||
|
|
@ -283,25 +361,19 @@ def fetch_and_store():
|
|||
except Exception as e:
|
||||
app.logger.error(f"[PARSE ERROR] En feed {feed['url']}: {e}", exc_info=True)
|
||||
sumar_fallo_feed(cursor, feed['id'])
|
||||
|
||||
app.logger.info(f"Ciclo de feeds completado.")
|
||||
except psycopg2.Error as db_err:
|
||||
app.logger.error(f"[DB ERROR] Fallo en el ciclo de actualización de feeds: {db_err}", exc_info=True)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Lanzador de la aplicación + scheduler
|
||||
# ---------------------------------------------------------------------------
|
||||
if __name__ == "__main__":
|
||||
# Evita que el scheduler se inicie dos veces en modo debug con el re-cargador
|
||||
if os.environ.get('WERKZEUG_RUN_MAIN') != 'true':
|
||||
scheduler = BackgroundScheduler(daemon=True)
|
||||
scheduler.add_job(fetch_and_store, "interval", minutes=2, id="rss_job", misfire_grace_time=60)
|
||||
scheduler.start()
|
||||
app.logger.info("Scheduler iniciado correctamente.")
|
||||
|
||||
# Apagar el scheduler de forma limpia al salir
|
||||
import atexit
|
||||
atexit.register(lambda: scheduler.shutdown())
|
||||
|
||||
app.run(host="0.0.0.0", port=5000, debug=True, use_reloader=True)
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue