ollama使用，本地部署大模型

ollama命令

模型拉取命令

ollama pull <model_name>

# 作用 
从 Ollama 模型库中下载指定名称的模型到本地。 
# 示例 
ollama pull llama2 
# 解释 此命令会将名为 llama2 的模型下载到本地，之后就可以在本地使用该模型进行交互。

模型运行命令

ollama run <model_name>

# 作用
启动指定模型并进入交互模式，用户可以在命令行中输入问题或指令，模型会生成相应的回答。
# 示例
ollama run llama2
# 解释
运行 llama2 模型，随后可以在命令行输入内容与模型进行对话。

ollama run <model_name> -n <number> -t <temperature>

# 作用
运行指定模型，并可以指定一些参数来调整模型的行为。
# 参数说明
- -n <number>：设置生成文本的最大长度。
- -t <temperature>：设置生成文本的随机性，值越大生成的文本越随机。
# 示例
ollama run llama2 -n 500 -t 0.7
# 解释
运行 llama2 模型，将生成文本的最大长度设置为 500，温度设置为 0.7。

服务启动命令

ollama serve

# 作用
启动 Ollama 服务，使其在默认端口（11434）监听，以便通过 API 或者客户端工具来和 Ollama 进行交互。
# 示例
ollama serve
# 解释
启动服务后，就可以使用 API 向该服务发送请求，获取模型生成的内容。
# tip
注册为后台服务，开机自启
sc create OllamaService binPath= "C:\Path\To\ollama serve" start= auto
然后启动
sc start OllamaService

ollama serve --port <port_number>

# 作用
启动 Ollama 服务，并指定服务监听的端口号。
# 示例
ollama serve --port 8080
# 解释
启动服务并让其在 8080 端口监听。

模型信息查看命令

ollama show <model_name>

# 作用
显示指定模型的详细信息，可能包含模型的参数大小等内容。
# 示例
ollama show llama2
# 解释
查看 llama2 模型的详细信息。

API 请求示例

curl -s -X POST -H "Content-Type: application/json" -d '{"model": "llama2", "prompt": "你好"}' http://localhost:11434/api/generate

# 作用
使用 curl 工具向本地运行的 Ollama 服务发送 API 请求，请求指定模型生成文本。
# 参数说明
- -s：静默模式，不显示进度信息。
- -X POST：指定请求方法为 POST。
- -H "Content-Type: application/json"：设置请求头，表明请求体为 JSON 格式。
- -d '{"model": "llama2", "prompt": "你好"}'：设置请求体，指定使用的模型和输入的提示信息。
# 示例解释
向本地 11434 端口的 Ollama 服务发送请求，使用 llama2 模型根据“你好”这个提示信息生成文本。

Ollama Tips

模型放在 C:\Users\Administrator.ollama\models

赏

谢谢你请我吃糖果