8e4bc8ad94
Nucleo propio: oye con whisper.cpp, piensa con un modelo de Ollama, habla con Piper, y hace RAG sobre los apuntes del usuario. 100% local, sin cuentas ni claves. Escrito bajo una restriccion dura, 4 GB de VRAM: el cerebro y whisper comparten tarjeta y solo caben porque estan dimensionados para ello. El RAG usa embeddings estaticos con busqueda hibrida; la voz clonada se sirve de una cache de frases. Incluye instalador (install.sh), requisitos, y documentacion del stack, del manejo de root y de las acciones. Los apuntes indexados y el diario NO se incluyen: son privados y el .gitignore los bloquea.
18 lines
826 B
Text
18 lines
826 B
Text
# Variante de qwen3.5:4b para JARVIS: deja sitio a whisper en la tarjeta.
|
|
#
|
|
# La T1200 tiene 3717 MiB utiles. Con el reparto automatico ollama coge 2941 y
|
|
# deja 776 libres: whisper small CARGA (757) pero se mata al transcribir, cuando
|
|
# pide su pico de 839. El sintoma en la app es "Error recognizing file with
|
|
# server", que despista, porque el fichero y el servidor estan bien.
|
|
#
|
|
# Con 24 de las 32 capas en GPU el LLM ocupa 2177 y deja 1540 libres: caben los
|
|
# dos con 700 MiB de holgura. Y no cuesta velocidad — medido con tres tiradas en
|
|
# caliente, la respuesta baja de 2,71 s a 2,31 s, porque el reparto automatico
|
|
# se queda sin VRAM y acaba peleandose consigo mismo.
|
|
#
|
|
# Crear o recrear: ollama create qwen3.5:4b-jarvis -f qwen3.5-4b-jarvis.Modelfile
|
|
|
|
FROM qwen3.5:4b
|
|
|
|
PARAMETER num_gpu 24
|
|
PARAMETER num_ctx 4096
|