优化模型上下文
编辑优化模型上下文编辑
此功能处于技术预览阶段，可能会在将来的版本中更改或删除。Elastic 将努力解决任何问题，但技术预览中的功能不受官方 GA 功能的支持 SLA 的约束。
上下文是您提供给 LLM 的信息，用于优化查询结果的相关性。如果没有额外的上下文，LLM 将仅根据其训练数据生成结果。在 Playground 中，此附加上下文是 Elasticsearch 索引中包含的信息。
有几种方法可以优化此上下文以获得更好的结果。一些调整可以直接在 Playground UI 中进行。其他调整需要改进您的索引策略，并可能重新索引您的数据。
目前，您只能选择 一个字段 作为 LLM 的上下文。
在 UI 中编辑上下文编辑
使用 Playground UI 中的 编辑上下文 按钮来调整发送到 LLM 的文档和字段数量。
如果您遇到上下文长度限制，请尝试以下操作
- 限制检索的文档数量
- 选择一个具有较少标记的字段，从而减少上下文长度
其他上下文优化编辑
本节介绍您无法在 UI 中直接进行的其他上下文优化。
对大型文档进行分块编辑
如果您使用的是大型字段，则可能需要调整您的索引策略。考虑将您的文档分解成更小的块，例如句子或段落。
如果您还没有分块策略，请先将您的文档分块成段落。
否则，请考虑更新您的分块策略，例如，从基于句子的分块改为基于段落的分块。
有关如何对文档进行分块的示例，请参阅以下 Python 笔记本
平衡成本和延迟编辑
以下是一些关于如何使用不同上下文大小平衡成本和延迟的一般建议
- 优化上下文长度
- 通过实证测试确定最佳上下文长度。从基线开始，逐步调整，找到一个平衡点，既能优化响应质量，又能优化系统性能。
- 为 ELSER 模型实现标记修剪
-
如果您使用的是我们的 ELSER 模型，请考虑实现标记修剪以减少发送到模型的标记数量。请参阅以下相关博客文章
- 监控和调整
- 持续监控上下文大小更改对性能的影响，并根据需要进行调整。