cerebro: capacidades detalladas en el prompt (que no dude), contexto 8192
This commit is contained in:
parent
60c2842a0f
commit
0c6ea3e7bb
3 changed files with 64 additions and 42 deletions
|
|
@ -19,11 +19,8 @@ PARAMETER presence_penalty 0.0
|
|||
PARAMETER frequency_penalty 0.0
|
||||
PARAMETER top_p 0.9
|
||||
PARAMETER top_k 20
|
||||
# Que pare cuando acabe la respuesta, no cuando se le acabe la cuerda. En una
|
||||
# tarjeta con mas VRAM puedes subirlo (voz corta no lo necesita, pero el RAG
|
||||
# agentico si agradece mas margen).
|
||||
# Que pare cuando acabe la respuesta, no cuando se le acabe la cuerda.
|
||||
PARAMETER num_predict 300
|
||||
PARAMETER num_ctx 4096
|
||||
# num_gpu NO se fija: Ollama reparte las capas segun la VRAM de tu tarjeta, asi
|
||||
# el modelo va igual en una GPU pequeña, en una grande o en CPU. Solo fijalo si
|
||||
# necesitas reservar VRAM a whisper en una tarjeta muy justa (4 GB): num_gpu 24.
|
||||
# 24 de 32 capas en la grafica: deja sitio a whisper en los 4 GB.
|
||||
PARAMETER num_gpu 24
|
||||
PARAMETER num_ctx 8192
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue