ollama baseline

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

Get up and running with large language models locally.

Quickstart

ollama run llama3

Customize a model

Ollama는 Modelfile에서 GGUF 모델 가져오기를 지원합니다.

hugging face

pip install huggingface-hub

huggingface-cli download \\
  {huggingface_repository} \\
  {file_name}.gguf \\
  --local-dir {local directory}\\
  --local-dir-use-symlinks False

Ollama 실행

ollama를 실행하기 위해서는 Modelfile이 필요한데, 다음을 참고하면 좋습니다.

ollama/docs/modelfile.md at main · ollama/ollama

FROM (Required)

FROM은 모델을 생성할 때 사용할 기본 모델을 정의합니다.

TEMPLATE

템플렛에는 시스템 메시지, 사용자 메시지, 모델 응답이 포함됩니다. 템플릿은 모델마다 다를 수 있고, Go 템플릿 구문을 사용합니다.

PARAMETER

PARAMETER은 모델이 실행될 때 설정할 수 있는 파라미터를 정의합니다

{{ .System }}	The system message used to specify custom behavior.
{{ .Prompt }}	The user prompt message.
{{ .Response }}	The response from the model. When generating a response, text after this variable is omitted.
-----------------------------------------------------------------------------------
# example

From llama2
TEMPLATE """[INST] {{ if .System }}<<SYS>>{{ .System }}<</SYS>>
{{ end }}{{ .Prompt }} [/INST] """
SYSTEM """"""
PARAMETER stop [INST]
PARAMETER stop [/INST]
PARAMETER stop <<SYS>>
PARAMETER stop <</SYS>>

ollama create {ollama_model_name} -f {Modelfile path}
ollama run {ollama_model_name}:latests
-------------------------------------------------------------------------------------
# example
ollama create EEVE-Korean-10.8B -f EEVE-Korean-Instruct-10.8B-v1.0-GGUF/Modelfile
ollama run EEVE-Korean-10.8B:latests

List models

ollama에 생성한 모델 리스트를 볼 수 있습니다.

ollama run을 할 때 ollama list에 있는 목록에 있는 모델을 사용할 수 있습니다.

ollama list
-------------------------------------------------------------------------------------
# example
NAME                            ID              SIZE    MODIFIED
EEVE-Korean-10.8B:latest        c3ebb32b93a5    7.7 GB  3 days ago
llama3:latest                   71a106a91016    4.7 GB  2 hours ago

run

PS C:\\workspace> ollama run llama3:latest
>>> 안녕하세요!
😊 안녕하세요! 👋 How are you today? 🤗

Ref

https://github.com/teddylee777/langserve_ollama