![国产AI大崛起!谈谈我的24年大模型工作流,NAS部署](https://panda995.top:500/img/2025/01/image679b5e76e12e7.png)
亲爱的粉丝朋友们好啊!今天熊猫又来介绍好玩有趣的Docker项目了,喜欢的记得点个关注哦!
引言
相信这两天大家都被DeepSeek刷屏了,虽然目前熊猫体验得并不多,且对于AI领域熊猫也并不是很精通,但从它能让英伟达股价下跌损失好多亿美金、上线直接登顶中国和美国苹果应用商店免费榜第一名能看出来,它是真的强啊!
![DeepSeek](https://panda995.top:500/img/2025/01/image679b5e76e12e7.png)
说到AI,熊猫日常写作其实用到的时间并不多,大部分时候我都是拿AI来当搜索引擎使用,毕竟能联网搜索的AI比起百度的效率,大家懂得都懂。偶尔也会用AI来做图、知识库的应用以及角色扮演游戏,当然了AI其实并不提供这些功能,那么想要用到这些功能,就需要一个LLM应用开发平台。
![Dify](https://panda995.top:500/img/2025/01/image679b5f47f4193.png)
而这就是熊猫今天要介绍的AI应用引擎——Dify,也就是熊猫自用两年半的AI工具。
什么是Dify,它能做什么
借用官方的话,Dify就是一个开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。
![应用功能](https://panda995.top:500/img/2025/01/image679b6022544a2.png)
因为它本身开源,且支持多平台的自部署,所以部署在NAS上非常方便使用。另一方面它的功能性也是目前为止最为全面的LLM平台之一,支持设置前置领域条件的AI助理、不限长度的文档生成、知识库的链接、搜索以及问答、半自助Agent以及全球大模型调用等等,而Dify如今在github也是获得了60.5k的星标。
![项目页](https://panda995.top:500/img/2025/01/image679b612054ff0.png)
部署机
这次用到的机器为绿联的DXP6800 Pro,这里我还是得再再再次说明,绿联现在的系统已经不最初发布的样子了,基础功能完善的同时,应用中心也开始逐步接入第三方应用了,像是玩NAS常用的QB、Alist、Lucky等等,这些应用直接在应用中心就能直接安装使用,这为小白NAS玩家提供了更简单易上手的体验。
![应用中心](https://panda995.top:500/img/2025/01/image679b6222dff55.png)
Dify的运行需要非常多的容器协同运行,而绿联目前的Docker应用和群晖也非常相似,包括Docker-Compose堆栈也非常简单易上手。再一个,6800 Pro熊猫自认为是2024年性价比最高的NAS之一,这两天有以旧换新活动,4000左右的价格拿下双万兆口,满血Pcie拓展以及雷电四接口的高性能NAS,24年没有谁家能做到这个价了吧。
![绿联DXP 6800 Pro](https://panda995.top:500/img/2025/01/image679b633a2ed09.png)
项目部署
首先,我们需要去项目页下载项目,地址直接github搜索Dify即可,或者使用命令git clone https://github.com/langgenius/dify.git
拉取,拉取之后将其放到绿联的Docker文件夹中,如果是下载的,记得解压缩哦!
![项目下载](https://panda995.top:500/img/2025/01/image679b65101eb2c.png)
因为绿联的文件管理默认隐藏了前缀是.的文件,可以在文件夹的常规设置中设置。
![文件管理设置](https://panda995.top:500/img/2025/01/image679b660939224.png)
随后进到dify/docker目录下,将.env.example修改为.env,如果怕操作失误或者想要备份env配置文件,可以直接复制一份重命名为.env。
![前置工作](https://panda995.top:500/img/2025/01/image679b66ab8e681.png)
随后我们还需要修改一下docker-compse.yaml文件,把不支持的语法删掉,这里如果不好找,也可以在项目中导入docker-compose时看到绿联的提示。
![删除部分](https://panda995.top:500/img/2025/01/image679b673be0ce3.png)
端口方面因为熊猫用的家宽,是没有80和443端口的,所以需要修改.env文件中的http和https端口,这里熊猫就设置为6880和6443。
![端口修改](https://panda995.top:500/img/2025/01/image679b6817d0b88.png)
最后我们还需要为持久化运行创建一些文件夹,这里所有文件夹都需要创建在dify/docker/volumes目录下,会有一点多。
- 1. db/data
- 2. redis/data
- 3. weaviate
- 4. app/storage
- 5. certbot/conf/live
- 6. certbot/www
目录树
最后打开绿联的Docker应用,选择项目,项目名命名为dify,配置文件直接导入docker文件夹下的docker-compose文件即可。
![项目创建](https://panda995.top:500/img/2025/01/image679b69cb60b24.png)
最后点击立即部署,然后等待镜像拉取和启动即可,一共有9个容器,启动后记得确认一下数量。
![项目运行](https://panda995.top:500/img/2025/01/image679b6a0509106.png)
项目使用
首次使用需要我们创建管理员账户。
![首次使用](https://panda995.top:500/img/2025/01/image679b77f4227a6.png)
dify并不能直接运行大模型,所以这里我们需要让其对接大模型的API。在首页的设置中选择模型供应商,可以看到,提供了非常多的模型对接,包括Ollama自部署的模型,选择你需要的模型,设置好对应的对接地址和API,随后点击保存即可。
![API设置](https://panda995.top:500/img/2025/01/image679b799a1ffb5.png)
设置好大模型之后,随后就是智能体以及工作流和知识库的使用了,在创建空白应用中,我们可以选择基础的AI对话机器人,也可以创建具备推理和工具调用的智能助手,甚至可以设置对应的工作流。
![项目功能](https://panda995.top:500/img/2025/01/image679b7b2406a53.png)
智能体其实可以理解为一键AI的助手,类似于其他LLM工具中的条件预设,例如给AI设定角色,让其充当一个代码机器人、分析师或者文案助手等等,不过dify有一点比较特殊,在调用智能体的同时,可以选择调用工具,同时dify也提供了提示词生成器,不知道怎么生成提示词,那么直接用它也行。
![提示词生成](https://panda995.top:500/img/2025/01/image679b7bcbd29ca.png)
在工具调用中,可以看到涉及的类别非常多,从简单的网络搜索、天气资讯等等,到非常严谨的医疗和新闻领域都有。
![image.png](https://panda995.top:500/img/2025/01/image679b7c2db99c8.png)
工作流可以理解为一键执行你一系列的动作,例如再开始时我们可以设置一个关键词,随后使用网络爬虫工具来爬取网页信息,最后再用AI来进行网页的总结。
![工作流](https://panda995.top:500/img/2025/01/image679b7e256820b.png)
最后则是熊猫用的最多的功能-知识库,因为写了很多Docker了,很多写了之后并不记得了,所以这时候就会用到知识库。在新建知识库中,可以直接导入文本,也可以选择同步Notion的内容,亦或者直接同步web站点的内容。
![知识库](https://panda995.top:500/img/2025/01/image679b7ec9d48cb.png)
同步知识库之后,再在工作流中设置优先提取知识库内容,这样一来每次我需要查看之前写过的docker项目,直接问AI机器人,机器人就能直接回复我正片文章总结之后的内容。
除此之外,如果觉得这些比较麻烦,其实网上很多dify预制的工作流或者智能体,在探索中也有预设的一些模版项目,可以看看。
![模版](https://panda995.top:500/img/2025/01/image679b7fa1596cd.png)
写在最后
dify最强大的地方在于工具和工作流,熟练的使用工具和工作流很大程度能帮你节省很多时间,搭配自己的知识库食用,效果很多时候比起直接网页端问AI快上不少。
以上便是本期的全部内容了,如果你觉得还算有趣或者对你有所帮助,不妨点赞收藏,最后也希望能得到你的关注,咱们下期见!三连