Ollama Note

Config

~/.ollama
/usr/share/ollama

Service

/etc/systemd/system/ollama.service

Port 11434

Environment Variables

(https://github.com/ollama/ollama/blob/main/cmd/cmd.go#L1243)

OLLAMA_DEBUG
OLLAMA_HOST
OLLAMA_KEEP_ALIVE
OLLAMA_MAX_LOADED_MODELS
OLLAMA_MAX_QUEUE
OLLAMA_MODELS
OLLAMA_NUM_PARALLEL
OLLAMA_NOPRUNE
OLLAMA_ORIGINS
OLLAMA_TMPDIR
OLLAMA_FLASH_ATTENTION
OLLAMA_LLM_LIBRARY
OLLAMA_MAX_VRAM

E.g. Have Ollama serve external requests