tx

熊猫不是猫QAQ

平平无奇小熊猫
738,324
国产AI大崛起!谈谈我的24年大模型工作流,NAS部署 国产AI大崛起!谈谈我的24年大模型工作流,NAS部署

亲爱的粉丝朋友们好啊!今天熊猫又来介绍好玩有趣的Docker项目了,喜欢的记得点个关注哦!

引言

相信这两天大家都被DeepSeek刷屏了,虽然目前熊猫体验得并不多,且对于AI领域熊猫也并不是很精通,但从它能让英伟达股价下跌损失好多亿美金、上线直接登顶中国和美国苹果应用商店免费榜第一名能看出来,它是真的强啊!

DeepSeekDeepSeek

说到AI,熊猫日常写作其实用到的时间并不多,大部分时候我都是拿AI来当搜索引擎使用,毕竟能联网搜索的AI比起百度的效率,大家懂得都懂。偶尔也会用AI来做图、知识库的应用以及角色扮演游戏,当然了AI其实并不提供这些功能,那么想要用到这些功能,就需要一个LLM应用开发平台

DifyDify

而这就是熊猫今天要介绍的AI应用引擎——Dify,也就是熊猫自用两年半的AI工具。

什么是Dify,它能做什么

借用官方的话,Dify就是一个开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。

应用功能应用功能

因为它本身开源,且支持多平台的自部署,所以部署在NAS上非常方便使用。另一方面它的功能性也是目前为止最为全面的LLM平台之一,支持设置前置领域条件的AI助理、不限长度的文档生成、知识库的链接、搜索以及问答、半自助Agent以及全球大模型调用等等,而Dify如今在github也是获得了60.5k的星标。

项目页项目页

部署机

这次用到的机器为绿联的DXP6800 Pro,这里我还是得再再再次说明,绿联现在的系统已经不最初发布的样子了,基础功能完善的同时,应用中心也开始逐步接入第三方应用了,像是玩NAS常用的QB、Alist、Lucky等等,这些应用直接在应用中心就能直接安装使用,这为小白NAS玩家提供了更简单易上手的体验。

应用中心应用中心

Dify的运行需要非常多的容器协同运行,而绿联目前的Docker应用和群晖也非常相似,包括Docker-Compose堆栈也非常简单易上手。再一个,6800 Pro熊猫自认为是2024年性价比最高的NAS之一,这两天有以旧换新活动,4000左右的价格拿下双万兆口,满血Pcie拓展以及雷电四接口的高性能NAS,24年没有谁家能做到这个价了吧。

绿联DXP 6800 Pro绿联DXP 6800 Pro

项目部署

首先,我们需要去项目页下载项目,地址直接github搜索Dify即可,或者使用命令git clone https://github.com/langgenius/dify.git拉取,拉取之后将其放到绿联的Docker文件夹中,如果是下载的,记得解压缩哦!

项目下载项目下载

因为绿联的文件管理默认隐藏了前缀是.的文件,可以在文件夹的常规设置中设置。

文件管理设置文件管理设置

随后进到dify/docker目录下,将.env.example修改为.env,如果怕操作失误或者想要备份env配置文件,可以直接复制一份重命名为.env。

前置工作前置工作

随后我们还需要修改一下docker-compse.yaml文件,把不支持的语法删掉,这里如果不好找,也可以在项目中导入docker-compose时看到绿联的提示。

删除部分删除部分

端口方面因为熊猫用的家宽,是没有80和443端口的,所以需要修改.env文件中的http和https端口,这里熊猫就设置为6880和6443。

端口修改端口修改

最后我们还需要为持久化运行创建一些文件夹,这里所有文件夹都需要创建在dify/docker/volumes目录下,会有一点多。

  • 1. db/data
  • 2. redis/data
  • 3. weaviate
  • 4. app/storage
  • 5. certbot/conf/live
  • 6. certbot/www目录树目录树

最后打开绿联的Docker应用,选择项目,项目名命名为dify,配置文件直接导入docker文件夹下的docker-compose文件即可。

项目创建项目创建

最后点击立即部署,然后等待镜像拉取和启动即可,一共有9个容器,启动后记得确认一下数量。

项目运行项目运行

项目使用

首次使用需要我们创建管理员账户。

首次使用首次使用

dify并不能直接运行大模型,所以这里我们需要让其对接大模型的API。在首页的设置中选择模型供应商,可以看到,提供了非常多的模型对接,包括Ollama自部署的模型,选择你需要的模型,设置好对应的对接地址和API,随后点击保存即可。

API设置API设置

设置好大模型之后,随后就是智能体以及工作流和知识库的使用了,在创建空白应用中,我们可以选择基础的AI对话机器人,也可以创建具备推理和工具调用的智能助手,甚至可以设置对应的工作流。

项目功能项目功能

智能体其实可以理解为一键AI的助手,类似于其他LLM工具中的条件预设,例如给AI设定角色,让其充当一个代码机器人、分析师或者文案助手等等,不过dify有一点比较特殊,在调用智能体的同时,可以选择调用工具,同时dify也提供了提示词生成器,不知道怎么生成提示词,那么直接用它也行。

提示词生成提示词生成

在工具调用中,可以看到涉及的类别非常多,从简单的网络搜索、天气资讯等等,到非常严谨的医疗和新闻领域都有。

image.pngimage.png

工作流可以理解为一键执行你一系列的动作,例如再开始时我们可以设置一个关键词,随后使用网络爬虫工具来爬取网页信息,最后再用AI来进行网页的总结。

工作流工作流

最后则是熊猫用的最多的功能-知识库,因为写了很多Docker了,很多写了之后并不记得了,所以这时候就会用到知识库。在新建知识库中,可以直接导入文本,也可以选择同步Notion的内容,亦或者直接同步web站点的内容。

知识库知识库

同步知识库之后,再在工作流中设置优先提取知识库内容,这样一来每次我需要查看之前写过的docker项目,直接问AI机器人,机器人就能直接回复我正片文章总结之后的内容。

除此之外,如果觉得这些比较麻烦,其实网上很多dify预制的工作流或者智能体,在探索中也有预设的一些模版项目,可以看看。

模版模版

写在最后

dify最强大的地方在于工具和工作流,熟练的使用工具和工作流很大程度能帮你节省很多时间,搭配自己的知识库食用,效果很多时候比起直接网页端问AI快上不少。

以上便是本期的全部内容了,如果你觉得还算有趣或者对你有所帮助,不妨点赞收藏,最后也希望能得到你的关注,咱们下期见!三连三连

版权声明 ▶ 本文作者:panda
▶ 本文链接:https://panda995.xyz/network/5268.html
▶ 本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长进行核实删除。
▶ 转载本站文章需要遵守:商业转载请联系站长,非商业转载请注明出处!!
0 条评论
user 编辑评论信息
插入图片

隐私评论