实干、实践、积累、思考、创新。
利用Open WebUI部署本地家庭or企业知识库
来自团队成员 陈浩伟 的分享
1 引言
本地化部署AI知识库,将能保证数据的私密性,避免泄密,为企业或家庭个人赋能,提升工作学习效率。
2 技术方案
根据个人目前电脑配置,采用Ollama 开源项目选择合适的Deepseek模型,利用WEB管理工具Open WebUI搭建用户使用界面和知识库,同时兼顾用户管理。
3 实施过程
3.1 安装Ollama及deepseek
安装Ollama,并在ollama中安装deepseek和embedding模型nomic-embed-text。
Ollama部署和配置模型选择参考文章:DeepSeek R1 本地部署看这篇
3.2 安装Anaconda和Open-webui
这一步是为了安装Open-webui,但是采用Anaconda来安装Open-webui会比较方便。
- 下载安装Anaconda(或者miniconda)。
- 打开Anaconda Prompt,注意,以下命令均在Anaconda Prompt
中输入,非系统的CMD平台,我们使用命令安装Open-webui并运行。
具体操作:a、在Anaconda Prompt中输入下列命令创建工作区:
conda create -n open-webui python=3.11
b、在Anaconda Prompt中输入下列命令进入工作区:
conda activate open-webui
c、配置pip镜像地址,加速下载。
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
d、输入命令安装openwebUI,等待自动安装完成。
pip install open-webui
e、输入以下命令启动openwebui。
open-webui serve
出现下面页面即为成功。至此,openwebui安装完成。
3.3 设置open-webui
1. 打开openwebUI并创建管理员账号登入。
打开浏览器输入http://localhost:8080/,大概率会出现“无法访问此页面”的提示(包括后续普通用户注册登录都可能出现暂时性的无法访问),这时候不要慌,应该是程序内部需要运行一段时间,过一会重新输入这个地址或刷新页面,就会出现开始使用界面了。
以下是初始界面,我们点击开始使用并创建管理员账号。
2. 检查与ollama的链接
点击界面左下角名称——点击管理员面板,进入管理界面。
点击[外部链接]和[模型],可以看到open-webui可以链接到本地Ollama及其模型:
3. 设置语义向量模型,填写合适的块大小和块重叠(参数需根据效果自行测试)
4. 点击[通用],勾选允许用户注册
4 OpenwebUI功能及特点介绍
4.1 支持多用户访问和管理
我们使用另一台设备,在浏览器中输入主机(部署了openwebUI的这台电脑)的ip加端口,例如http://192.168.*.*:8080/,并点击注册。
注册提交后需要管理员审核,转化为[用户]或[管理员]即可正常登入使用。
同时管理员可以对成员进行分组管理。对于企业而言,分组可以使得不同职能的人员使用不同的数据库,例如将公司人员分组为[人力组]和[技术组],同时公司具有三个数据库[人力数据库]、[技术数据库]和[公司规章制度库],我们可以对[技术组]人员开放[技术数据库]和[公司规章制度库],而未授权的[人力数据库]则无法使用。下面会介绍到相关内容。
4.2 使用OpenwebUI配置本地知识(数据)库
本地部署大模型的一个重要目的就是配置本地的知识库,保护数据的私密性,那么OpenwebUI如何实现这一功能呢?
这里用网页版满血deepseek生成一些项目信息,作为数据库示例使用,保存到TXT文件中。
1. 点击[工作空间]-知识库-创建并上传该TXT文件
2. 创建对应知识库的模型
点击[工作空间]-模型-[加号]创建。
可以配置授权访问该模型的用户组、所使用的知识库和基础模型。
未授权的用户将无法访问该模型和知识库。
需要注意的是,与管理员用户不同,普通用户无法直接访问基础模型(如ollama中的deepseek-r1:14),需要通过这种创建项目模型(也可以不设置知识库)的方式间接授权给普通用户才可访问。如管理员未创建模型并授权,则普通用户的模型列表为空。
3. 测试知识库效果
用户登入后可看到拥有权限访问的模型[项目资料库1]和[项目资料库3],而没有授权的[项目资料库2]则不显示。
提问一个项目相关的问题,可见模型能从知识库中找到相关信息并回答。
但是较复杂的问题就回答不完整或不准确。
4.3 支持多平台使用——电脑端和手机端
既然是通过浏览器可以直接访问OpenwebUI,那么就能保证用户端的普适性。经测试手机端同样可以使用。如下图为手机使用界面(需能访问到主机端口,如同一局域网)。
5 总结
利用Openwebui等工具可以方便家庭或企业部署AI大模型使用环境,做到一台主机部署即可全员使用,其他用户仅需使用浏览器(电脑或手机均可)便可轻松访问,无需安装其他应用,同时方便管理用户和知识库。
当前使用仍存在一些问题,使得回答效果并不理想,其原因可能如下:
- 由于电脑算力的原因仅部署尝试了R1-14b模型,回答质量不高,同时经过测试目前仅支持单线程任务,由于硬件水平不足,多用户同时提问将会出现等待,有条件可以采用满血版R1进行尝试;
- 对资料的分割识别和向量化存在问题,后续可研究如何应对不同数据文件类型、不同知识领域等。优质的数据输入将带来更好的效果,同时这一过程中embedding模型的作用也至关重要,可调整、更换或开发embedding模型,也可采用付费的embedding模型进行测试,如通用文本向量-v3;
- 模型缺乏微调训练。后续可进行微调测试。
附Open WebUI项目地址:https://github.com/open-webui/
本文编者介绍
陈浩伟 (1995.02-), 一级注册结构工程师,注册岩土工程师,工学硕士 , 毕业于汕头大学,土木工程系结构工程专业。目前就职于广州容柏生建筑结构设计事务所(RBS),结构工程师。致力于复杂及超高层结构设计、性能化设计、分析及优化咨询等方面的研究与工作。
关于我们
超限复杂高层结构设计 | 软件定制开发| 环评减振控制 |人行及风致振动控制 | 减隔震设计 | 施工过程模拟 | 小品钢结构 | 有限元仿真与开发 | BIM与GH参数化 | 大震弹塑性分析
追求卓越 脚踏实地 致力于探索和拓展行业设计前沿
https://www.jdcui.com
合作及技术咨询
COOPERATION & CONTACT
E-mail:jidong_cui@163.com
WeChat & Tel: 13450468449