八度空间


  • 首页

  • 标签

  • 分类

  • 归档

  • 搜索

Elasticsearch-78-fielddata内存控制及circuit breaker短路器

发表于 2019-01-14 | 分类于 Elasticsearch
fielddata核心原理fielddata加载到内存的过程是lazy加载的,对一个分词field执行聚合时,才会加载,field执行聚合时,才会加载(query-time),而且是field-level加载的一个index的一个field,所有doc都会被加载,而不是少数doc fieldd ...
阅读全文 »

Elasticsearch-77-fielddata原理

发表于 2019-01-14 | 分类于 Elasticsearch
对于不分词的field执行聚合操作.先来看一个请求12345678910GET /test_index/test_type/_search{ "aggs": { "group_by_test_field": { ...
阅读全文 »

Elasticsearch-76-基于doc value正排索引的聚合内部原理

发表于 2019-01-14 | 分类于 Elasticsearch
概述 聚合分析的内部原理是什么 aggs term avg max等执行一个聚合操作的时候,内部原理是怎样的 用了什么样的数据结构去执行聚合 是不是用的倒排索引 聚合分析原理先来看一个搜索 + 聚合的请求123456789101112131415GET /test_index/tes ...
阅读全文 »

Elasticsearch-75-percentiles百分比算法及优化

发表于 2019-01-12 | 分类于 Elasticsearch
需求背景有一个网站,记录了每次请求访问的耗时,需要统计tp50,tp90,tp99. tp50:50%的请求的耗时最长在多长时间 tp90:90%的请求的耗时最长在多长时间 tp99:99%的请求的耗时最长在多长时间 准备数据1DELETE /website 创建索引123456789101 ...
阅读全文 »

Elasticsearch-74-cartinality metric去重算法及性能优化

发表于 2019-01-11 | 分类于 Elasticsearch
cartinality metriccartinality metric:对每个bucket中的指定的field进行去重,取去重之后的count,类似于count(distinct) 案例需求: 每月销售品牌的数量统计12345678910111213141516171819GET tvs/s ...
阅读全文 »

Elasticsearch-73-易并行聚合算法 三角选择原则 近似聚合算法

发表于 2019-01-11 | 分类于 Elasticsearch
易并行聚合算法有些聚合分析的算法是很容易并行的,比如说max函数,如图 比如说,现在一共有三个shard,一个查询最大值的搜索请求过来了,那么coordinate node(协调节点)会把请求打到这三个shard上 这个时候,3个shard把他们各自的最大值返回给coordinate ...
阅读全文 »

Elasticsearch-72-聚合分析 自定义排序

发表于 2019-01-11 | 分类于 Elasticsearch
之前全部的排序都是按照每个bucket的doc_count降序来排的,那么如何自定义排序呢 自定义排序需求: 按每种颜色的平均销售额降序排序123456789101112131415161718192021GET /tvs/sales/_search{ "size" ...
阅读全文 »

Elasticsearch-71-过滤filter 聚合结合使用

发表于 2019-01-11 | 分类于 Elasticsearch
filter过滤+聚合分析需求: 统计价格大于1200的电视的平均价格 请求:12345678910111213141516171819202122GET tvs/sales/_search{ "size": 0, "query":  ...
阅读全文 »

Elasticsearch-70-搜索 聚合分析结合使用

发表于 2019-01-10 | 分类于 Elasticsearch
之前的几个案例都是全部使用的聚合分析,接下来呢,使用搜索和聚合分析结合起来使用 案例需求: 统计指定品牌下每个颜色的销量 (小米) 请求:123456789101112131415161718GET tvs/sales/_search{ "size" ...
阅读全文 »

Elasticsearch-69-深入聚合分析数据II

发表于 2019-01-09 | 分类于 Elasticsearch
常用的几种metric操作上文中,用了avg和count这两个操作,一般来说,常用的metric操作就是以下几种 count: 计算数量,用terms操作来分组的话,就会自动有一个doc_count,就相当于是count avg: 求一个bucket内,指定field数据的平均值 m ...
阅读全文 »
1…202122…28

周泽

279 日志
14 分类
19 标签
© 2020 周泽
本站访客数:35943
博客全站共313.6k字