Fork me on GitHub

AIQ 10023 号成员
  •  0 回帖  •  1.2K 浏览  •  3 年前
   

构造 IndexWriter 对象（五）

系列文章：
构造 IndexWriter 对象（四）
构造 IndexWriter 对象（三）
构造 IndexWriter 对象（二）
构造 IndexWriter 对象（一）

  本文承接构造 IndexWriter 对象（四），继续介绍调用 IndexWriter 的构造函数的流程。

调用 IndexWriter 的构造函数的流程图

图 1：

1.png

根据不同的 OpenMode 执行对应的工作

  在上一篇文章中，我们介绍了执行 APPEND 模式下的工作的部分流程点，故继续对剩余的流程进行介绍。

执行 APPEND 模式下的工作的流程图

图 2：

2.png

用索引目录中最新的提交初始化一个新 SegmentInfos 对象

图 3：

3.png

  由于 StandardDirectoryReader 为空，那么就从索引目录中初始化一个新 SegmentInfos 对象（见构造 IndexWriter 对象（三）），即通过找到索引目录中的 segments_N 文件读取索引信息。

  当索引目录中有多个 segments_N 文件时该如何选择：

  • Lucene 设定为读取最新的一次提交，即选取 segments_N 的 N 值最大的那个，因为 N 越大意味着更新的提交（commit()操作）

IndexCommit 是否为空？

图 4：

4.png

  在构造 IndexWriter 对象（四）文章中我们说到，图 2 中 StandardDirectoryReader 为空的情况分为下面两种：

  • 用户没有设置 IndexCommit
  • 用户设置了 IndexCommit，但是 IndexCommit 中没有 StandardDirectoryReader 对象的信息

  如果是第一种情况的进入到当前流程点，那么当前流程点的出口为是，那么以 APPEND 模式打开的 IndexWriter 追加的索引信息为索引目录中最新的一次提交。

配置检查 3

图 5：

5.png

 如果 IndexCommit 不为空，那么 IndexCommit 必定是 CommitPoint 或者 SnapshotCommitPoint 对象，接着就需要执行下面的配置检查：

if (commit.getDirectory() != directoryOrig) {
            throw new IllegalArgumentException("IndexCommit's directory doesn't match my directory, expected=" + directoryOrig + ", got=" + commit.getDirectory());
          }

其中 commit 即 IndexCommit 对象、directoryOrg 为 IndexWriter 的工作目录，这个配置检查意味着要求当前构造的 IndexWriter 的工作目录必须和 IndexCommit 对应的索引信息所在的目录必须一致

用 IndexCommit 更新 SegmentInfos 对象

图 6：

6.png

  通过 IndexCommit 读取对应的索引信息，然后更新到上文中已经完成初始化的 SegmentInfos 对象中。

更新 SegmentInfos 的 version

图 7：

7.png

  对一个已经初始化的 SegmentInfos 进行更新操作必然需要更新 version，version 的概念在构造 IndexWriter 对象（三）的文章中介绍，这里不赘述。

  至此，我们介绍完了分别在 CREATE、APPEND、CREATE_AND_APPEND 模式下的执行流程，接着我们根据图 1 介绍剩余的流程点。

检查 IndexSort 合法性

图 8：

8.png

  如果设置了 IndexSort，那么在生成一个段的过程中，Lucene 会根据用户提供的排序规则对段内的文档进行排序，关于 IndexSort 的详细介绍见文章构造 IndexWriter 对象（一）， 如果用户通过 IndexWriterConfig.setIndexSort(Sort sort)设置了 IndexSort 配置，那么需要对参数 Sort 进行合法性检查，检查逻辑如下所示：

检查 IndexSort 合法性的流程图

图 9：

9.png

SegmentInfos 对象

图 10：

10.png

为什么检查 IndexSort 合法性的准备数据是 SegmentInfos 对象：

  SegmentInfos 对象是索引文件 segments_N 跟。si 文件在内存中的描述，如下图所示：

图 11：

11.png

  由图 11 可以看出，我们只能通过 SegmentInfos 找到每一个段（图 11 中的 SegmentCommitInfo）的段内排序规则 IndexSort（图 11 总红色标注）。

是否还有未处理的 SegmentCommitInfo？

图 12：

12.png

  对每一个 SegmentCommitInfo（见图 11）进行 IndexSort 合法性检查，只要有一个段判断为非法，那么就抛出异常，即构造 IndexWriter 对象失败。

比较 Lucene 版本

图 13：

13.png

 如果通过图 11 的[索引文件。si](https://www.amazingkoala.com.cn/Lucene/suoyinwenjian/2019/0605/63.html)中的 IndexSort 字段来判断出段中没有排序规则，那么需要判断生成该段的 Lucene 版本号，代码如下：

if (segmentIndexSort == null && info.info.getVersion().onOrAfter(Version.LUCENE_6_5_0)){
throw new CorruptIndexException("segment not sorted with indexSort=" + segmentIndexSort, info.info.toString());
}  上述代码中，segmentIndexSort 为段中的排序规则，info.info.getVersion( )中，第一个 info 是 SegmentCommitInfo，第二个 info 为 segmentInfo 对象（即索引文件。si 在内存中的描述），getVersion( )获得值即图 11 中 SegVersion。

  图 13 的流程描述的是，如果正在构造的 IndexWriter 对象设置了 IndexSort 配置，并且旧索引（旧索引指的是图 1 中执行三种打开模式流程获得的索引）中一个或多个段中没有排序规则，并且生成这些段的版本号大于等于 6.5.0，那么就不能通过调用 IndexWriter 构造函数来读取旧的索引。

如何读取没有排序规则的段，并且生成这些段的 Lucene 版本号大于等于 6.5.0 的旧索引：

比较排序规则

图 14：

14.png

如果旧索引中的段包含排序规则，那么需要判断是否与正在构造中的 IndexWriter 设置的排序规则一致，不一致则抛出异常，如下所示：

if (segmentIndexSort != null && indexSort.equals(segmentIndexSort) == false) {
    throw new IllegalArgumentException("cannot change previous indexSort=" + segmentIndexSort + " (from segment=" + info + ") to new indexSort=" + indexSort);
}

结语

  基于篇幅，剩余的流程点将在下一篇文章中展开。


本文地址：https://www.6aiq.com/article/1586279369002
本文版权归作者和AIQ共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出