GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.
Get up and running with Llama 3, Mistral, Gemma, and other large language models. - ollama/ollama
github.com
Get up and running with large language models locally.
Quickstart
ollama run llama3
Customize a model
Ollama는 Modelfile에서 GGUF 모델 가져오기를 지원합니다.
hugging face
pip install huggingface-hub
huggingface-cli download \\
{huggingface_repository} \\
{file_name}.gguf \\
--local-dir {local directory}\\
--local-dir-use-symlinks False
Ollama 실행
ollama를 실행하기 위해서는 Modelfile이 필요한데, 다음을 참고하면 좋습니다.
ollama/docs/modelfile.md at main · ollama/ollama
Get up and running with Llama 3, Mistral, Gemma, and other large language models. - ollama/ollama
github.com
FROM (Required)
FROM은 모델을 생성할 때 사용할 기본 모델을 정의합니다.
TEMPLATE
템플렛에는 시스템 메시지, 사용자 메시지, 모델 응답이 포함됩니다. 템플릿은 모델마다 다를 수 있고, Go 템플릿 구문을 사용합니다.
PARAMETER
PARAMETER은 모델이 실행될 때 설정할 수 있는 파라미터를 정의합니다
{{ .System }} The system message used to specify custom behavior.
{{ .Prompt }} The user prompt message.
{{ .Response }} The response from the model. When generating a response, text after this variable is omitted.
-----------------------------------------------------------------------------------
# example
From llama2
TEMPLATE """[INST] {{ if .System }}<<SYS>>{{ .System }}<</SYS>>
{{ end }}{{ .Prompt }} [/INST] """
SYSTEM """"""
PARAMETER stop [INST]
PARAMETER stop [/INST]
PARAMETER stop <<SYS>>
PARAMETER stop <</SYS>>
ollama create {ollama_model_name} -f {Modelfile path}
ollama run {ollama_model_name}:latests
-------------------------------------------------------------------------------------
# example
ollama create EEVE-Korean-10.8B -f EEVE-Korean-Instruct-10.8B-v1.0-GGUF/Modelfile
ollama run EEVE-Korean-10.8B:latests
List models
ollama에 생성한 모델 리스트를 볼 수 있습니다.
ollama run을 할 때 ollama list에 있는 목록에 있는 모델을 사용할 수 있습니다.
ollama list
-------------------------------------------------------------------------------------
# example
NAME ID SIZE MODIFIED
EEVE-Korean-10.8B:latest c3ebb32b93a5 7.7 GB 3 days ago
llama3:latest 71a106a91016 4.7 GB 2 hours ago
run
PS C:\\workspace> ollama run llama3:latest
>>> 안녕하세요!
😊 안녕하세요! 👋 How are you today? 🤗
Ref
'AI' 카테고리의 다른 글
EasyOCR 간단 리뷰(Recognition) (0) | 2024.07.04 |
---|---|
YOLO Custom Dataset (0) | 2024.05.29 |
LLaMA-Factory Baseline (1) | 2024.04.18 |