minicpm2.6
4,940 Pulls Updated 5 weeks ago
Updated 5 weeks ago
5 weeks ago
4c8f61be804a · 5.7GB
Readme
能执行minicpm2.6模型的windows ollama安装包
使用下面的windows安装包进行安装,安装完可运行openbmb官方的模型minicpm2.6。
百度网盘:
https://pan.baidu.com/s/1yE1ekw25pMBt4DHOtWOedg?pwd=cs89
google 网盘:
https://drive.google.com/file/d/1A4cUxUyYonYcQRBcRCpcVp2TKLfTKvMM/view?usp=sharing
支持和安装说明
- 这个 ollama 安装包支持minicpm2.6模型的windows安装包。
ollama 官方版本目前是不支持minicpm2.6,请从上面的网盘下载和安装
- 从最上面的链接下载ollama安装包,安装成功后会自动启动,如果之前有装过,需要在进程管理器停掉所有ollama相关进程。在继续安装。
请确保删除掉老版本的所有dll文件
- 可自行从gguf文件制作ollama模型,教程参考地址:https://modelbest.feishu.cn/wiki/LZxLwp4Lzi29vXklYLFchwN5nCf
已知问题
如果之前安装有ollama程序,覆盖安装时,run的时候可能会崩溃。
原因可能和之前的库存在冲突。
请先删除安装路径下的所有文件
默认的ollama路径地址为:
%localappdata%\Programs\Ollama
请拷贝到路径栏,回车即可。
例如我的安装地址:
C:\Users\Administrator\AppData\Local\Programs\Ollama
可手动删除这个目录下的所有文件后在进行安装。
从gguf文件创建ollama模型的详细步骤如下:
1. 创建Modelfile文件
文件名为:Modelfile
文件内容说明:
包含两个gguf文件的路径,一个是多模态模型mmproj-model-f16.gguf。
另外一个是模型文件,可使用ggml-model-Q4_K_M.gguf,或者别的量化模型。
把ggml-model-Q4_K_M.gguf文件和mmproj-model-f16.gguf下载到和Modelfile共同一个目录下。
修改配置文件的这两行,./后面是文件名,改成你下载好的本地文件名。
FROM ./ggml-model-Q4_K_M.gguf
FROM ./mmproj-model-f16.gguf
gguf格式的模型下载地址:https://huggingface.co/openbmb/MiniCPM-V-2_6-gguf/tree/main
Modelfile文件内容示例如下:
注意:前面两行需要按需修改为你本地自己的路径,其它内容不要修改。
FROM ./ggml-model-Q4_K_M.gguf
FROM ./mmproj-model-f16.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}
{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>{{ end }}
<|im_start|>assistant<|im_end|>
{{ .Response }}<|im_end|>"""
PARAMETER stop "<|endoftext|>"
PARAMETER stop "<|im_end|>"
PARAMETER num_ctx 2048
2. 创建模型
在Modelfile文件所在的目录下执行
ollama create minicpm2.6 -f Modelfile
3. 测试验证
ollama run minicpm2.6
describe the image in detail? "C:\\Users\\Administrator\\Pictures\\test.png"