Keyboard shortcuts

Press or to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

基础功能验证项目:知识库上传 → 检索 → 对话的端到端测试用例

端到端测试的价值在于,确认系统不是“某个页面能打开”,而是从文档进入到回答输出整条链路都可用。

这一题有相对明确的公开支撑。Dify 官方已经公开提供了知识检索测试入口、Question Classifier 节点文档,以及知识库相关说明;同时,公开文章里也已经有围绕 RAG 检索、自动评测和知识管道的实践。因此,这篇可以被写成“交付现场最小可复现测试集”的培训稿。

一、从公开资料能确认的端到端测试骨架

1. 知识库检索测试本身就是官方公开能力

Dify 官方已经提供 Knowledge Test Retrieval 相关能力,这说明“上传后先验证检索,再验证问答”是被产品层认可的测试路径。

2. 端到端验证至少要覆盖三段

对公开资料进行归纳后,可以明确最小链路应覆盖:

  • 文档进入知识库
  • 检索是否命中
  • 最终应用回答是否基于命中内容生成

3. 扩展用例应覆盖复杂文档与错误问题

公开 RAG 文章反复强调,复杂 PDF、参数调整和错误问题处理都会显著影响体验,因此这些都应纳入交付测试。

二、推荐最小用例

  1. 上传一份文档
  2. 等待索引完成
  3. 创建一个绑定知识库的应用
  4. 发起一个确定能命中的问题
  5. 观察是否引用正确内容作答

三、扩展用例

  • 上传多份文档
  • 上传含表格 PDF
  • 调整 Top-K 与 Rerank
  • 验证错误问题时是否能合理拒答

四、交付建议

培训时可直接给合作伙伴一套标准测试文本和预期结果,方便在现场快速验证。

公开资料线索

note.com

  • 「あるはずの情報が見つからない」── Dify RAGチャットボット開発で踏んだ落とし穴と自動評価システムの構築 | https://note.com/kadinche/n/n87b77918dab9
  • AIが自ら「検索し直す」。DeepSeek-R1とDifyが作る高度なRAG構築の最前線 | https://note.com/nocode_solutions/n/nbe6c159a5460

zenn.dev / 官方文档 / 其他公开页面

  • ナレッジ検索テスト | https://docs.dify.ai/ja/use-dify/knowledge/test-retrieval
  • 質問分類器 - Dify Docs | https://docs.dify.ai/ja/use-dify/nodes/question-classifier
  • 【Dify】RAG大全:仕組みと設定を徹底解説 | https://zenn.dev/upgradetech/articles/ac9099a6489abe

这篇当前能从公开资料确认的有效信息

  • 官方已公开提供知识检索测试能力,适合作为验收前最小验证步骤
  • 端到端测试至少应覆盖“上传 → 检索 → 对话”三段链路
  • 复杂 PDF、参数调优和错误问题处理应作为扩展测试项