基础功能验证项目:知识库上传 → 检索 → 对话的端到端测试用例
端到端测试的价值在于,确认系统不是“某个页面能打开”,而是从文档进入到回答输出整条链路都可用。
这一题有相对明确的公开支撑。Dify 官方已经公开提供了知识检索测试入口、Question Classifier 节点文档,以及知识库相关说明;同时,公开文章里也已经有围绕 RAG 检索、自动评测和知识管道的实践。因此,这篇可以被写成“交付现场最小可复现测试集”的培训稿。
一、从公开资料能确认的端到端测试骨架
1. 知识库检索测试本身就是官方公开能力
Dify 官方已经提供 Knowledge Test Retrieval 相关能力,这说明“上传后先验证检索,再验证问答”是被产品层认可的测试路径。
2. 端到端验证至少要覆盖三段
对公开资料进行归纳后,可以明确最小链路应覆盖:
- 文档进入知识库
- 检索是否命中
- 最终应用回答是否基于命中内容生成
3. 扩展用例应覆盖复杂文档与错误问题
公开 RAG 文章反复强调,复杂 PDF、参数调整和错误问题处理都会显著影响体验,因此这些都应纳入交付测试。
二、推荐最小用例
- 上传一份文档
- 等待索引完成
- 创建一个绑定知识库的应用
- 发起一个确定能命中的问题
- 观察是否引用正确内容作答
三、扩展用例
- 上传多份文档
- 上传含表格 PDF
- 调整 Top-K 与 Rerank
- 验证错误问题时是否能合理拒答
四、交付建议
培训时可直接给合作伙伴一套标准测试文本和预期结果,方便在现场快速验证。
公开资料线索
note.com
- 「あるはずの情報が見つからない」── Dify RAGチャットボット開発で踏んだ落とし穴と自動評価システムの構築 | https://note.com/kadinche/n/n87b77918dab9
- AIが自ら「検索し直す」。DeepSeek-R1とDifyが作る高度なRAG構築の最前線 | https://note.com/nocode_solutions/n/nbe6c159a5460
zenn.dev / 官方文档 / 其他公开页面
- ナレッジ検索テスト | https://docs.dify.ai/ja/use-dify/knowledge/test-retrieval
- 質問分類器 - Dify Docs | https://docs.dify.ai/ja/use-dify/nodes/question-classifier
- 【Dify】RAG大全:仕組みと設定を徹底解説 | https://zenn.dev/upgradetech/articles/ac9099a6489abe
这篇当前能从公开资料确认的有效信息
- 官方已公开提供知识检索测试能力,适合作为验收前最小验证步骤
- 端到端测试至少应覆盖“上传 → 检索 → 对话”三段链路
- 复杂 PDF、参数调优和错误问题处理应作为扩展测试项