Portabilidad, licencia GPL-3.0 y diagrama del stack
Portabilidad (el repo estaba escrito como si solo sirviera para el portatil del autor): - num_gpu ya NO se fija en los Modelfile: Ollama reparte las capas segun la VRAM, asi el modelo va igual en GPU pequeña, grande o CPU. Se documenta cuando conviene fijarlo (solo tarjetas de 4 GB muy justas). - install.sh detecta el gestor de paquetes (apt/dnf/pacman/zypper) y la GPU (NVIDIA/AMD/ninguna), sin asumir Debian ni CUDA. - README reescrito: el hardware es una REFERENCIA (lo probado), no un requisito. Nueva seccion de portabilidad: cualquier distro, cualquier escritorio (ventanas necesitan X11+xdotool, degradan solas en Wayland), GPU opcional. - Eliminado config/jarvis-herramientas.json: llevaba rutas personales. Licencia: GPL-3.0 (copyleft). docs/stack.svg: diagrama del stack (oir-pensar-hacer-hablar), reemplaza el ASCII en el README. Anadido que el RAG sube la recuperacion de 48 a 82% (hit@1) medido.
This commit is contained in:
parent
3c94c1f375
commit
55e967b940
8 changed files with 864 additions and 4272 deletions
|
|
@ -19,8 +19,11 @@ PARAMETER presence_penalty 0.0
|
|||
PARAMETER frequency_penalty 0.0
|
||||
PARAMETER top_p 0.9
|
||||
PARAMETER top_k 20
|
||||
# Que pare cuando acabe la respuesta, no cuando se le acabe la cuerda.
|
||||
# Que pare cuando acabe la respuesta, no cuando se le acabe la cuerda. En una
|
||||
# tarjeta con mas VRAM puedes subirlo (voz corta no lo necesita, pero el RAG
|
||||
# agentico si agradece mas margen).
|
||||
PARAMETER num_predict 300
|
||||
# 24 de 32 capas en la grafica: deja sitio a whisper en los 4 GB.
|
||||
PARAMETER num_gpu 24
|
||||
PARAMETER num_ctx 4096
|
||||
# num_gpu NO se fija: Ollama reparte las capas segun la VRAM de tu tarjeta, asi
|
||||
# el modelo va igual en una GPU pequeña, en una grande o en CPU. Solo fijalo si
|
||||
# necesitas reservar VRAM a whisper en una tarjeta muy justa (4 GB): num_gpu 24.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue