企业官网建设流程全解析

成都营销型网站建设公司,制作网站商,wordpress媒体编辑器,重庆公司专业建站这篇聚焦落地过程的具体问题及解决方案。 在最开始 搭建 RAG 产品/系统#xff0c;90%的功夫应该花在知识库资料处理上。 “巧妇难为无米之炊”。 在 RAG 系统里#xff0c;AI 大模型只在最后一步发挥价值。这个“巧妇”不可能把“烂树叶”做成一顿能果腹的晚饭。 前面这…这篇聚焦落地过程的具体问题及解决方案。在最开始搭建 RAG 产品/系统90%的功夫应该花在知识库资料处理上。“巧妇难为无米之炊”。在 RAG 系统里AI 大模型只在最后一步发挥价值。这个“巧妇”不可能把“烂树叶”做成一顿能果腹的晚饭。前面这 7 个常见问题只有 1 和 5 是由“巧妇”负责的其他 5 个都因为我们给她投喂了烂树叶。1自作主张回答问题出现这个问题的根本原因是没搞懂 RAG 的本质。在 RAG 系统里大模型只负责两件事判断这个问题能不能回答答案编辑之所以出现“自作主张”大部分时候是没有明确大模型的职责既然选择了 RAG就意味着我们已经不相信大模型生成的答案里不相信就坚持到底不要一边不信任一边委以重任。RAG 系统里关于角色和任务的标准描述结构角色描述一个没有主观能动性的角色比如助理任务情景接收问题和支持资料编辑输出文本任何试图使用如下“祈祷式”提示词约束大模型的行为都是外行的表现不要胡编乱造不要生成不存在的答案确保你的回答准确尊重事实……2回答不稳定核心原因有两个问题本身有问题无法稳定的检索到正确的答案资料和排序有问题无法稳定的召回正确的答案是的“用户的问题”有问题不是用户的问题是你的问题。我们不能要求用户都是专业的用户因为专业的用户大概率不会使用我们的产品……大部分用户在提问时不会像我们一样从「知识资料」出发使用完整、全面的描述。大部分时候他们的问题会类似下面这样有没有产品说明资料登录按钮点击没反应苹果可以么LightRAG 以查询优化狂揽 17K Star 不是没道理的强烈建议去看一看它们的工程优化。假设你已经明确了大模型的职责编辑那么影响它回答的关键因素就是我们给了它什么参考资料。选择什么支持资料给大模型依赖两个因素能回答用户问题的资料能不能被检索到资料有没有排在前面被找回因为资料的形态千奇百怪当前还没有方案能保证资料被 100% 检索到。但可以使用如下三个方案来优化对资料进行有效的预处理确保分段合理起码完整的答案没有被切碎对资料进行二次加工比如抽取关键词 提取可能的问题选一个高纬度的嵌入模型增强语义识别能力关于答案排序问题因素二一味的花钱买贵的 Rerank 也不是唯一解。多花些精力调整混合权重、Score 阈值仔细看看召回答案的特征获取更有效。3回答不完善出现这种问题的原因基本只有一个文档分段不合理完整的答案被切开了。而只有一段被召回。解法只有一个去看召回的段落重新分段。不要偷懒使用自定义分段或者简单粗暴的选择按字符数分段。另外需要注意一个细节知识库分段里的“按标识符”分段和“分段最大长度”是同时生效的。更值得注意的是那些残缺的答案是大模型幻觉的主要来源4包含错误回答两个原因召回段落中包含不相关答案导致了大模型的幻觉让大模型生成答案的提示不够召回策略里的 Top K 不是越大越好在没有相似度阈值约束的情况下召回的段落越多不相关的答案就越多。如果你在这个环节没有妥善的解决方案就只能在最后的“兜底”提示词里下功夫告诉大模型如何判断哪些答案是有效的如何剔除不相关段落。一般情况下我会在生成最终答案的提示词里加这么一句话审视支持资料与用户问题的相关性有些资料可能被错误的放进来但它们并不能用户回答用户的问题你可以选择不取用。5没有细节/全是细节这是一个响应格式问题它与“没法让 RAG 系统按指定格式生成答案”一样。本质上是你在最后的兜底提示词没讲清楚或者失效了。这个问题只有两个解法给出回答示例而不是描述要求把约束放在提示词最后user prompt 值得再放一遍6没有配图所有知识资料都应该被转成 Markdown 后再去分段。Word、PDF 这类格式是给人看的。你看到的跟大模型最终接收到的会是完全两个面貌。尤其是图片相关内容先确保你深刻理解了 RAG 的基本原理再来思考为什么不显示图片否则下面的解决方案并不能真正解决问题。告诉大模型正确显示 Markdown 或者标记的图片最好给图片增加注释以方便模型选用。7响应慢大模型的首 Token 响应速度除了受模型本身质量影响外上下文长度是另一个非常重要的因素。即便你心疼 Token 费用也务必从响应速度的角度考虑对支持资料进行分段处理。2000 个 Token 可以作为分段长度的上限再大首 Token 的响应时间就要超出 1 秒了如果没办法使用流式输出那么整体的响应时间可能会超过 10 秒。顺便嘱咐一下团队里成熟的工程师给 API 响应的 timeout 多留一些时间……8不系统分段带来的最大问题就是知识的碎片化。“碎片化知识”对 RAG 系统的影响主要在于召回答案的全面性上不能直接回答问题、但是作为背景信息或具备关联关系的资料几乎不会被检索到。目前流行的解决方案有以下两个知识图谱增强Agentic 增强个人此刻更看好只是图片增强的策略Agentic 会涉及到更多工程侧的优化和提示词规训主要此刻国内模型 Agentic 不了。推荐学习微软的 GraphRAG 项目。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】