hacklab/JARVIS
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

cerebro: num_ctx 6144 (cabe el prompt largo + RAG, whisper sigue en GPU)

Browse source
This commit is contained in:
sito 2026-08-16 17:22:21 +02:00
parent 0c6ea3e7bb
commit 29860fac86
2 changed files with 2 additions and 2 deletions
Download patch file Download diff file Expand all files Collapse all files

2
config/qwen3.5-4b-jarvis.Modelfile
View file

@ -15,4 +15,4 @@
FROM qwen3.5:4b FROM qwen3.5:4b
PARAMETER num_gpu 24 PARAMETER num_gpu 24
PARAMETER num_ctx 8192 PARAMETER num_ctx 6144

2
nucleo/cerebro/Modelfile
View file

@ -23,4 +23,4 @@ PARAMETER top_k 20
PARAMETER num_predict 300 PARAMETER num_predict 300
# 24 de 32 capas en la grafica: deja sitio a whisper en los 4 GB. # 24 de 32 capas en la grafica: deja sitio a whisper en los 4 GB.
PARAMETER num_gpu 24 PARAMETER num_gpu 24
PARAMETER num_ctx 8192 PARAMETER num_ctx 6144