ELK高亮显示字段过大的问题

## 错误提示

在elk搜索日志的时候，发现以下报错信息：

```
"failures": [
      {
        "shard": 0,
        "index": "uat-srs-oaext-2025.10.28",
        "node": "u_9qAHNNT723Y3oKbg5N_g",
        "reason": {
          "type": "illegal_argument_exception",
          "reason": "The length of [content] field of [y-SUKJoB1FMilW5cqxGX] doc of [uat-srs-oaext-2025.10.28] index has exceeded [1000000] - maximum allowed to be analyzed for highlighting. This maximum can be set by changing the [index.highlight.max_analyzed_offset] index level setting. For large texts, indexing with offsets or term vectors is recommended!"
        }
      }
    ]

```

term vectors： 词向量

## 这个报错是什么意思？

这个报错的意思是：在尝试高亮显示 content 字段的时候，content字段的内容过大（超过了高亮显示最大允许分析长度1000000个字符）。

## 为什么会出现这个报错？

高亮显示是elasticsearch在返回搜索结果时，能够**在匹配的文字字段中标记出用户搜索的关键词**的功能

简单来说，就像你用荧光笔在书本上划出重点一样，Elasticsearch会在返回的文本中用特定的HTML标签（如`<em>`）包裹住匹配的搜索词。

当你的 content 字段非常大的时候，elasticsearch需要分析整个文本来确定高亮位置，这会消耗大量资源。因此elasticsearch设置了默认的长度限制来保护系统性能。

## 如何解决这个报错？

### 方案一，调整最大偏移量

通过修改索引设置，提高允许分析的最大字符偏移量（例如从100万 -->1000万）。

执行设置命令，将最大允许分析的偏移量设置为1000万（根据具体情况设置大小）

```bash
PUT /uat-srs-oaext-2025.10.28/_settings
{
  "index": {
    "highlight.max_analyzed_offset": 10000000
  }
}

```

方案一存在以下缺点：

1. 这个参数**只能通过 API 设置**，无法在 Elasticsearch 的配置文件中预先配置
2. 此值设置过大会给elasticsearch服务器内存带来相当大的负担，根据你的服务器资源和实际需求谨慎调整
3. 索引级设置

### 方案二，优化高亮策略（用于处理超大文本）

如果你的 "content" 字段是巨大的文本（例如几十MB甚至上百MB），那么单纯提高偏移量可能不是最佳选择。针对大文本，使用 **Fast Vector Highlighter (FVH)** 策略并配合 term vectors 是 Elasticsearch 官方推荐的方式，性能会显著提升。

1. 更新索引映射

```bash
PUT /uat-srs-oaext-2025.10.28/_mapping
{
  "properties": {
    "content": {
      "type": "text",
      "term_vector": "with_positions_offsets"
    }
  }
}
```

*请注意：对已存在的索引更新映射可能不会对已有数据生效，通常需要重建索引。对于新索引，此映射最有效。*

2. 在查询中使用FVH

```
GET /uat-srs-oaext-2025.10.28/_search
{
  "query": { ... },
  "highlight": {
    "type": "fvh",
    "fields": {
      "content": {}
    }
  }
}

```

### 方案三，调整高亮请求参数

如果不需要高亮整个大字段，你可以通过调整高亮请求的参数，只返回匹配的片段，从而避免分析整个大字段。

```bash
GET /uat-srs-oaext-2025.10.28/_search
{
  "query": { ... },
  "highlight": {
    "fields": {
      "content": {
        "number_of_fragments": 3,
        "fragment_size": 150
      }
    }
  }
}

```

`number_of_fragments`：指定返回的最大高亮片段数，默认为 5

`fragment_size`：每个高亮片段的大小（以字符为单位），默认为 100

## 关于elasticsearch的高亮显示实现方式

### Plain Highlighter（默认）

- 使用标准的Lucene高亮器
- 适合普通长度的文本
- 我们遇到的错误就是这种高亮器对文本长度的限制

### Fast Vector Highlighter (FVH)

- 需要字段启用`term_vector: "with_positions_offsets"`
- 适合大文本字段，性能更好

### Unified Highlighter

- 结合前两者的优点
- 是较新版本中的推荐选择