AIQ - 干货 | Elasticsearch 趋势科技实战分享笔记



转载请注明 AIQ - 最专业的机器学习大数据社区  http://www.6aiq.com

AIQ 机器学习大数据 知乎专栏 点击关注

少啰嗦,直接看东西。

1、Elasticsearch 索引的设计

1.1 单一索引还是基于时间的索引?

单一索引的问题:

1)不能更新 Mapping。
比如:主分片数不可以修改(除非 reindex)。
2)无法灵活、快速地扩展。
3)更适合固定、小型数据集。

基于时间的索引面临的问题:

1)如何确定间隔?

  • 数据量

  • 变更频率

  • 默认尝试每周为单位分割——建议

2)如何实施?

  • 索引模板

1.2 定义索引注意事项

举例:

{
    "facet_internet_access_minute":{
        "template":"ce-index-access-v1-*",
        "order":0,
        "settings":{
            "number_of_shards":5
        },
        "aliases":{
            "{index}-query":{

            }
        },
        "mappings":{
            "es_doc":{
                "dynamic":"strict",
                "_all":{
                    "enabled":false
                },
                "_source":{
                    "enabled":false
                },
                "properties":{
                    "CLF_Timestamp":{
                        "type":"long"
                    },
                    "CLF_CustomerID":{
                        "type":"keyword"
                    },
                    "CLF_ClientIP":{
                        "type":"ip",
                        "ignore_malformed":true
                    }
                }
            }
        }
    }
}

注意 1:不要在一个索引中定义多个 type。

6.X 版本已经不支持,7.X 版本彻底不支持。

扩展问题:5.X 版本的父子文档实际实现中是一个索引中定义了多个 type,到了 6.X 中实现方式改变为:join 方式。

注意 2:将 Set _source 设置为 false。

假设你只关心度量结果,不是原始文件内容。

将节省磁盘空间并减少 IO。

这个点,需要结合实际的业务场景具体问题具体分析。

举例:

“_source”:{
“enabled”:false
},

注意 3:将 _all 设置为 false。

假设你确切地知道你对哪个 field 做查询操作?

能实现性能提升,缩减存储。

举例:

“_all”:{
“enabled”:false },

注意 4:设置 dynamic = strict。

假设你的数据是结构化数据。

字段设置严格,避免脏数据注入。

举例:

“dynamic”:“strict”,

注意 5:使用 keyword 类型

假设你只关心完全匹配

提高性能和缩小磁盘存储空间

举例:

“CLF_CustomerID”:{
“type”:“keyword”
},

注意 6:使用别名

如何在不停机的前提从一个索引切换到另一个索引?

举例:

“aliases”:{
“{index}-query”:{
}

或者你通过 head 插件创建。


2、Elasticsearch 分片分配原则

社区和 QQ 群中经常被问到的问题:

1)应该分几个索引、几个分片?

2)每个分片大小如何设置?

3)副本多少如何设置?

这里,明确给出实操可行的 6 个步骤。

步骤 1:定义索引

思考索引中要大致有哪些字段?

最好能列一个 Excel 表统计一下,包含但不限于:

序号、名称、类型、作用、备注。

以上对计算单条数据大小也有用。

步骤 2:评估数据量

评估方法举例:

1 分钟有 100 条数据,1 天 =1006024=144000 条。

1 月 =144000 条 30 天 =432W 条数据。 1 年 =432W12=5184W 条数据。

假设要保存 2 年,共 =10368W 条数据。

假设每条数据 20KB,共需要存储:10368W*20/1024/1024/1024=1.977TB。

步骤 3:评估索引大小和磁盘空间

步骤 4:计算分片数

细节考虑点:

1、每个分片大小应小于 30GB。
2、分片数量 = k * 数据节点数目(k = 一个足够小的整数,举例:1,2,3)
3、假设你有一个小的索引,并且你有集群中有足够的节点,请尝试使用默认值分片数 5。

步骤 5:评估索引数和类型

(此处可能会有多次反馈迭代)

3、数据去重的思考?


方法 1:指定唯一 id

缺点:

1、唯一值无法压缩,不利于存储。
2、存在高基数问题。

方法 2:用聚合方法实现

步骤 1:所有文档加一个 Hash 值;
步骤 2:检查重复;

GET *_index/_search {
    "size":0,
     "aggs":{
        "duplicate":{
            "terms":{
                 "field":"hash",
                 "min_doc_count":2,
                 "size":5000
            },
             "aggs":{
                 "documents":{
                     "top_hits":{
                         "size":2
                     }
                 }
             }
         }
     } }


步骤 3:批量删除步骤 2 中的重复 id。

以上步骤,不影响写入,可以实现异步。

缺点:

1. 存储量大(尤其超过 3 亿条 +);
2. 随着数据量增加,聚合受影响,越来越慢。
3. 存在高基数问题。

方法 3:用 distinct query 实现

深入方法待进一步探讨。

4、小结

以上内容是 Elasticsearch 南京分享会 20180630 上的分享核心笔记。

具体 PPT 地址:https://elasticsearch.cn/slides/115

很受用的分析步骤和实战经验,实战中都可以用得上。

出处:https://mp.weixin.qq.com/s/YocdEQ3cVcPoXRc4tUOxOA


更多高质资源 尽在AIQ 机器学习大数据 知乎专栏 点击关注

转载请注明 AIQ - 最专业的机器学习大数据社区  http://www.6aiq.com