🤔关于

如下

📌

ollama

ollama是一个开源的本地大模型部署工具，它具有多平台、易部署的特点。

 

• 官网：https://ollama.com/

• GitHub：https://github.com/ollama/ollama

 

📌

Open webUI

Open WebUI是一个可扩展、功能丰富、用户友好的自托管人工智能界面，旨在完全离线运行。它支持各种LLM运行器，包括Ollama和OpenAI兼容的API。

 

• 官网：https://docs.openwebui.com

• GitHub：https://github.com/open-webui/open-webui

 

🦁Ollama

如下

📌

安装

直接访问官网下载安装即可。

📌

环境变量

点击展开/折叠

详情参考中文网说明，我这边需要设置：

网络监听端口OLLAMA_HOST，以便开放服务供其他设备访问；

模型的存储路径OLLAMA_MODELS，以便方便管理。

之后本地浏览器访问http://localhost:11434/就可以看到已经成功开放访问权限。。

跨域访问

如上，可以发现使用localhost正常访问，但是一旦使用本地IP进行访问，就会发现无法正常访问。

解决方案

输入如下代码即可

 

📌

模型选择及拉取

点击折叠/展开

可以在ollama官网选择自己想要配置的模型，建议根据自己的硬件情况合理选择。

我这边由于是用来接入home assistant控制智能家居设备，所以选择如下模型：

allenporter/assist-llm

直接拉取

 

😌Open webUI

如下

📌

部署

详情参考官网部署教程（这里以Ollama 位于其他服务器为例）

• docker cli

 

• 关键配置说明



1. ollama服务器URL
2. 数据库本地映射路径
3. 访问端口

📌

使用

点击折叠/展开

部署成功后直接访问地址即可；

创建管理员账户

登陆页面后，在左上角选择对应的模型即可

测试刚才部署的模型，响应速度5s左右，响应结果一言难尽，所以计划拉取千问大模型2.5试试。

可以发现效果还不错，响应速度也加快了