código completo FLUJOS — snapshot limpio sin datos scrapeados
Incluye: backend Node.js/Express, visualización 3D (Three.js/3d-force-graph), scrapers Wikipedia/noticias/imágenes, analizador Qwen3-VL, pipeline maestro con systemd timer, fixes de seguridad (NoSQL injection, XSS, ReDoS, port binding) y documentación técnica completa en docs/. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
013fe673f3
commit
83f67b76b4
190 changed files with 193337 additions and 2 deletions
22
FLUJOS_DATOS/WIKIPEDIA/wikipedia_utils.py
Executable file
22
FLUJOS_DATOS/WIKIPEDIA/wikipedia_utils.py
Executable file
|
|
@ -0,0 +1,22 @@
|
|||
import wikipedia
|
||||
import wikipediaapi
|
||||
import time
|
||||
|
||||
# Inicializar Wikipedia API en español con un user agent adecuado
|
||||
user_agent = 'HacklabLaRaizBot/1.0 (hacklab.laraiz@protonmail.com)'
|
||||
wikipedia.set_lang("es")
|
||||
wikipedia.set_user_agent(user_agent)
|
||||
|
||||
wiki_wiki = wikipediaapi.Wikipedia(
|
||||
language='es',
|
||||
extract_format=wikipediaapi.ExtractFormat.WIKI,
|
||||
user_agent=user_agent
|
||||
)
|
||||
|
||||
def buscar_articulos(palabra_clave, max_articulos=50, offset=0):
|
||||
search_results = wikipedia.search(palabra_clave, results=max_articulos)
|
||||
return search_results
|
||||
|
||||
def obtener_contenido_wikipedia(titulo):
|
||||
pagina = wiki_wiki.page(titulo)
|
||||
return pagina.text if pagina.exists() else ''
|
||||
Loading…
Add table
Add a link
Reference in a new issue