Sunday, July 7, 2019

AWS Elasticsearch

ES的AWS封装云服务,开源搜索和分析引擎

使用场景
适用于日志分析、实时应用程序监控、点击流分析等使用案例

ES的意思是Full text search也就是一个text box根据词频用or来连接这些词来返回结果。
read-what-was-just-written performance. Search engines are better at really quick search with additional tricks like all kinds of normalization: lowercase, ä->a or ae, prefix matches, ngram matches (if indexed respectively)
另一个search是用户选择不同的field或者多个来search这种其实是query,不需要ES来实现。

最佳实践
Amazon S3(trigger->lambda)、Amazon Kinesis(data streams, firehose->lambda)和Amazon DynamoDB的CloudWatch, IoT集成,用于将流数据加载到 Amazon ES
DyanmoDB->stream->Lambda加载数据到ES
Kibana数据可视化

功能
Amazon ES 为您的 Elasticsearch 集群预置所有资源并启动集群。
它还自动检测和替换失败的 Elasticsearch 节点,减少与自管理基础设施相关的开销。
您只需调用一次 API 或在控制台中单击几下就可扩展集群

最多3 PB实例存储,常用Elasticsearch准则是不超过每个分片 50 GB
Amazon EBS存储卷
用于Kibana的Amazon Cognito 身份验证
自动快照用于备份和还原 Amazon ES 域
使用 Kibana 实现数据可视化

Domain
Elasticsearch 域名

EBS
带自动备份的云硬盘

快照
快照是群集的数据和状态的备份。状态包含集群设置、节点信息、索引设置和分片分配。

Logstash提供一种便捷的方式,通过 S3 插件使用批量 API 来上传数据到您的 Amazon ES 域

SQL支持

用Curator轮换数据
删除名称中包含的时间戳指示数据已超过 30 天的任何索引

底层API
AWS Elasticsearch原理

Ref
官方文档

No comments:

Post a Comment