本篇文章给大家谈谈AI，从零开始在本地部署开源模型，以及对应的知识点，文章可能有点长，但是希望大家可以阅读完，增长自己的知识，最重要的是希望对各位有所帮助，可以解决了您的问题，不要忘了收藏本站喔。
但现在有很多AI初创公司用各种夸张的宣传和内容标题来吸引流量。很多人都觉得AI高不可攀，对AI感到恐慌和焦虑。如何消除这种信息鸿沟，更好地利用AI，就是继续用它、用它折腾。
今天给大家介绍一下“如何在本地部署大型开源模型”来实现一个文字语音聊天机器人。后期我们会部署非常强大的LLMOps工具平台Dify来快速构建一些AI工具，比如会议纪要助手、阅读助手、人事助手、家长指导助手等。
在开始之前，先给大家展示一下搭建完成后的界面。它与GPT非常相似，主要是可以在本地计算机上运行，并且会话流畅度非常高。
本地聊天机器人
整个搭建过程非常简单，不涉及编程，适合初学者。不过因为它会安装很多软件，所以比较适合有一定操作Windows系统经验的同学。
工具准备：
Ollama和Docker，Ollama负责运行模型，Docker负责操作界面。 Ollama：Ollama是一款开源的大语言模型服务工具，可以帮助用户在本地快速运行大型模型。它极大地简化了在Docker 容器内部署和管理大型语言模型（LLM）的过程，使用户可以轻松地在本地运行大型语言模型。下载网址：https://ollama.com/Docker：Docker 是一个开源应用程序容器引擎，允许开发人员将他们的应用程序和应用程序运行环境打包到可移植的容器中，然后将其发布到任何流行的Linux 机器上。可以实现虚拟化。容器完全使用沙箱机制，相互之间没有任何接口（类似于iPhone应用程序）。更重要的是，容器的性能开销极低。下载地址：https://docs.openwebui.com/
奥拉马下载和安装
打开主页，直接点击“下载”，根据您的系统选择合适的安装包。该软件支持MacOS/Windows/Linux系统。
奥拉马下载页面
下载完成后，您可以双击安装文件并运行Ollama安装程序。会弹出一个提示页面。根据提示多次点击下一步后，Ollama安装完成。完成后，你看右下角的图标。如果出现Ollama图标，则表示软件安装成功。
安装后的Ollama图标
安装完成后，我们还需要配置一个环境变量来更改Ollama模型的存储位置。由于Ollama 默认将模型存储在C 盘，因此这会造成C 盘的存储限制（Mac OS 不需要此步骤）。
点击我的电脑-右键-属性中的高级系统设置，在弹出的界面中选择环境变量按钮，然后在系统变量下新建一个名为OLLAMA_MODELS的变量名和值。
Oloma环境变量配置
Ollama 安装语言模型
安装语言模型也非常简单，只需打开命令提示符并运行说明即可。
打开命令提示符：右键单击Windows 开始菜单并选择命令提示符（管理员）
打开命令提示符
llama3安装命令字
在终端输入ollama run llama3后，如果是第一次安装，需要耐心等待几分钟。大语言模型将自动安装在您的计算机上。当出现提示时，您的llama3模型已经安装成功。
llama3模型安装及安装后提示
下次运行Llama3模型时，只需在终端中输入ollama run llama3即可。如果您的电脑上已经安装了Llama3，则直接进入对话框环境。如果没有安装，或者上次安装没有完成，系统会自动下载Llama3，然后进入Llama3对话环境。
奥拉马常见操作
如何选择模型参数：以lama3为例
模型
硬件要求
速度
智力
70B
大小4.7GB，显存15G
快速回答
好的
8B
大小70GB，内存4G
回答慢
比70B型号还差
模型常用命令：以lama3为例
操作说明
阐明
乌拉马名单
列出已安装的本地大型号信息
骆驼跑骆驼3
安装型号
llama 拉llama3:最新
更新模型
llama rm llama3
删除模型
奥拉马-h
获取更多参数
至此，我们的聊天机器人就已经部署完毕，使用起来非常流畅，如下图：
聊天机器人
好的，现在让我们构建一个网页。通过页面输入文字、语音、上传图片将更加方便、流畅。整个过程也非常简单，只需要以下2步。
OpenWebUI安装
开放WebUI需要运行环境，其运行环境由Docker工具提供。
什么是Docker？ Docker是一个开源的应用程序容器引擎，允许开发者将他们的应用程序以及应用程序的运行环境打包到一个可移植的容器中，然后发布到任何流行的Linux机器上，这也可以进行虚拟化。容器完全使用沙箱机制，相互之间没有任何接口（类似于iPhone应用程序）。更重要的是，容器的性能开销极低。
网址：https://docs.openwebui.com/
从官网下载Docker安装文件
Docker下载图1
Docker下载图2
下载Windows版Docker安装文件并运行安装包完成安装。
Docker安装过程中需要注意的事项： Docker软件需要依赖系统软件WSL2才能在Windows上正常运行。第一次安装时，Docker会提示你是否要安装WSL2工具。请务必单击“同意”，否则Docker 将无法在您的Windows 上正确运行。
安装前启用虚拟机平台。在Windows中，打开“控制面板”“程序”“程序和功能”“启用或关闭Windows功能。在“Windows功能”窗口中，找到并选中“虚拟机平台”。
安装前，在BIOS中启用虚拟化，重新启动计算机，启动时进入BIOS设置（通常启动时需要按特定键，如F2、F10、Del等）。在BIOS设置中，找到与虚拟化技术相关的选项，例如“Intel虚拟化技术”或“AMD-V”（取决于您的CPU类型），并将其启用。
打开WebUI安装
打开终端命令行界面，输入安装命令： docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui - - 始终重新启动ghcr.io/open-webui/open-webui:main
安装说明
安装Open WebUI后，可以通过浏览器访问3000端口打开界面，URL：http://127.0.0.1:3000
注册用户使用
首次访问时，您需要注册一个帐户。您只需要填写您的电子邮件和密码，就可以登录Open WebUI界面并与模型对话。 ps：注册信息将保存在您的电脑中
注册页面
登录试卷后，可以在界面顶部选择想要使用的机型，并在对话框左右有文件上传和语音输入功能进行聊天。
聊天界面
注意：请注意不要忘记您的帐号和密码
总结
Ollama 是模型运行的基础。必须先安装Ollama，然后再安装模型。
Ollama 支持Gemma、Llama3、Codellama、phi 和Mistral 等常见模型的最新版本。在终端中执行ollama run llama3 以安装并运行模型。
Ollma可以通过Open WebUI提供Web界面，但是Open WebUI一般依赖于Docker来运行。您必须先安装Windows 版Docker 工具才能运行。
用户评论
看起来很有意思！我一直对本地部署 AI 解决方案感兴趣，但感觉门槛挺高，这个文章正好满足我的需求，希望能详细讲解一下怎么进行步骤。
有14位网友表示赞同！
终于有人写了关于本地部署的教程！市面上那么多 AI 服务商，用自己的模型会更安全可靠吧？
有5位网友表示赞同！
很佩服开源社区的力量，能在这样短的时间内建立起一个完整的模型训练框架。 这对于学习 AI 来说是一个绝佳时机！
有15位网友表示赞同！
部署太复杂了，我觉得还是购买现成的服务方案更直接简单。对于普通用户来说，这种技术门槛还是太高了
有11位网友表示赞同！
我很担心安全问题，本地部署的模型会不会更容易被攻击？而且维护成本很高吧？ 需要考虑清楚风险和收益。
有19位网友表示赞同！
开源模型确实很自由！可以按照自己的需求进行修改和训练，比那些封闭的商业模型灵活多了。 如果本文能提供一些实际案例，那更棒了！
有6位网友表示赞同！
我最近也在尝试学习 AI ，这个文章里提到的模型是否适合新手动手操作？ 希望能够循序渐进的讲解每个步骤，方便大家上手。
有7位网友表示赞同！
本地 deployment 对资源需求很高吗？我的电脑配置一般般，会不会跑不了？ 希望能详细说明硬件要求方面的细节。
有12位网友表示赞同！
我一直在想学习深度学习，但总是担心自己学习难度太大。看这篇文章觉得也许本地部署开源模型是一个好的实践项目，可以一步步了解AI技术！
有13位网友表示赞同！
能不能简要介绍一下哪些常见开源模型适合用于文本理解、图像识别等等场景？ 希望能够提供一些更具体的应用案例。
有17位网友表示赞同！
如果能提供一份详细的学习路线图就更好啦！从入门到搭建本地的 AI 环境，每一步都详细说明，这样大家就能跟着循序渐进。
有12位网友表示赞同！
我觉得本地部署 AI 模型有很多好处，比如数据安全性更高，也更灵活控制模型参数。 希望更多人能够关注开源社区的发展。
有11位网友表示赞同！
这篇文章写得不错，讲解很清晰！我之前也尝试过搭建本地部署环境，遇到不少问题，看了你的文章感觉很有帮助，希望能分享一些解决问题的经验。
有12位网友表示赞同！
我对 AI 的兴趣主要在于应用场景，希望能看到更多关于本地部署模型的实际案例，比如如何将其用于智能家居、图像识别等方面。
有17位网友表示赞同！
我很赞赏开源社区的贡献， 不过，本地部署模型需要一定的技术功底才能完成， 希望能够提供一些更接地气的学习资源，方便初学者入门。
有7位网友表示赞同！
这个文章让我更加了解了开源 AI 模型的可能性！ 希望未来更多优秀的开源项目能够得到大家的支持和推广。
有11位网友表示赞同！