PythonElasticsearchDSL查询、过滤、聚合操作实例

Elasticsearch 基本概念

Index：Elasticsearch⽤来存储数据的逻辑区域，它类似于关系型数据库中的database 概念。⼀个index可以在⼀个或者多个shard上⾯，同时⼀个shard也可能会有多个replicas。

Document：Elasticsearch⾥⾯存储的实体数据，类似于关系数据中⼀个table⾥⾯的⼀⾏数据。

document由多个field组成，不同的document⾥⾯同名的field⼀定具有相同的类型。document⾥⾯field可以重复出现，也就是⼀个field会有多个值，即multivalued。

Document type：为了查询需要，⼀个index可能会有多种document，也就是document type. 它类似于关系型数据库中的 table 概念。但需要注意，不同document⾥⾯同名的field⼀定要是相同类型的。

Mapping：它类似于关系型数据库中的 schema 定义概念。存储field的相关映射信息，不同document type会有不同的mapping。下图是ElasticSearch和关系型数据库的⼀些术语⽐较：Relationnal databaseDatabaseTableRowColumnSchemaSchemaIndexSQL

UPDATE table SET

ElasticsearchIndexTypeDocumentFieldMappingMapping

Everything is indexedQuery DSLPUT http://…

SELECT * FROM table…GET http://…

Python Elasticsearch DSL 使⽤简介

连接 Es：

import elasticsearch

es = elasticsearch.Elasticsearch([{'host': '127.0.0.1', 'port': 9200}])

先看⼀下搜索，q 是指搜索内容，空格对 q 查询结果没有影响，size 指定个数，from_ 指定起始位置，filter_path 可以指定需要显⽰的数据，如本例中显⽰在最后的结果中的只有 _id 和 _type。

res_3 = es.search(index=\"bank\", q=\"Holmes\", size=1, from_=1)

res_4 = es.search(index=\"bank\", q=\" 39225 5686 \", size=1000, filter_path=['hits.hits._id', 'hits.hits._type'])

查询指定索引的所有数据：

其中，index 指定索引，字符串表⽰⼀个索引；列表表⽰多个索引，如 index=[\"bank\；正则形式表⽰符合条件的多个索引，如 index=[\"apple*\"]，表⽰以 apple 开头的全部索引。

search 中同样可以指定具体 doc-type。from elasticsearch_dsl import Search

s = Search(using=es, index=\"index-test\").execute()print s.to_dict()

根据某个字段查询，可以多个查询条件叠加：

s = Search(using=es, index=\"index-test\").query(\"match\", sip=\"192.168.1.1\")s = s.query(\"match\", dip=\"192.168.1.2\")s = s.excute()

多字段查询：

from elasticsearch_dsl.query import MultiMatch, Matchmulti_match = MultiMatch(query='hello', fields=['title', 'content'])s = Search(using=es, index=\"index-test\").query(multi_match)

s = s.execute()print s.to_dict()

还可以⽤ Q() 对象进⾏多字段查询，fields 是⼀个列表，query 为所要查询的值。

from elasticsearch_dsl import Q

q = Q(\"multi_match\", query=\"hello\", fields=['title', 'content'])s = s.query(q).execute()print s.to_dict()

Q() 第⼀个参数是查询⽅法，还可以是 bool。

q = Q('bool', must=[Q('match', title='hello'), Q('match', content='world')])s = s.query(q).execute()print s.to_dict()

通过 Q() 进⾏组合查询，相当于上⾯查询的另⼀种写法。

q = Q(\"match\", title='python') | Q(\"match\", title='django')s = s.query(q).execute()print(s.to_dict())

# {\"bool\": {\"should\": [...]}}

q = Q(\"match\", title='python') & Q(\"match\", title='django')s = s.query(q).execute()print(s.to_dict())

# {\"bool\": {\"must\": [...]}}q = ~Q(\"match\", title=\"python\")s = s.query(q).execute()print(s.to_dict())

# {\"bool\": {\"must_not\": [...]}}

过滤，在此为范围过滤，range 是⽅法，timestamp 是所要查询的 field 名字，gte 为⼤于等于，lt 为⼩于，根据需要设定即可。

关于 term 和 match 的区别，term 是精确匹配，match 会模糊化，会进⾏分词，返回匹配度分数，（term 如果查询⼩写字母的字符串，有⼤写会返回空即没有命中，match 则是不区分⼤⼩写都可以进⾏查询，返回结果也⼀样）

# 范围查询

s = s.filter(\"range\", timestamp={\"gte\": 0, \"lt\": time.time()}).query(\"match\", country=\"in\")# 普通过滤

res_3 = s.filter(\"terms\", balance_num=[\"39225\", \"5686\"]).execute()

其他写法：

s = Search()

s = s.filter('terms', tags=['search', 'python'])print(s.to_dict())

# {'query': {'bool': {'filter': [{'terms': {'tags': ['search', 'python']}}]}}}

s = s.query('bool', filter=[Q('terms', tags=['search', 'python'])])print(s.to_dict())

# {'query': {'bool': {'filter': [{'terms': {'tags': ['search', 'python']}}]}}}s = s.exclude('terms', tags=['search', 'python'])# 或者

s = s.query('bool', filter=[~Q('terms', tags=['search', 'python'])])print(s.to_dict())

# {'query': {'bool': {'filter': [{'bool': {'must_not': [{'terms': {'tags': ['search', 'python']}}]}}]}}}

聚合可以放在查询，过滤等操作的后⾯叠加，需要加 aggs。

bucket 即为分组，其中第⼀个参数是分组的名字，⾃⼰指定即可，第⼆个参数是⽅法，第三个是指定的 field。

metric 也是同样，metric 的⽅法有 sum、avg、max、min 等，但是需要指出的是，有两个⽅法可以⼀次性返回这些值，stats 和 extended_stats，后

者还可以返回⽅差等值。

# 实例1

s.aggs.bucket(\"per_country\", \"terms\", field=\"timestamp\").metric(\"sum_click\", \"stats\", field=\"click\").metric(\"sum_request\", \"stats\", field=\"request\")# 实例2

s.aggs.bucket(\"per_age\", \"terms\", field=\"click.keyword\").metric(\"sum_click\", \"stats\", field=\"click\")# 实例3

s.aggs.metric(\"sum_age\", \"extended_stats\", field=\"impression\")# 实例4

s.aggs.bucket(\"per_age\", \"terms\", field=\"country.keyword\")

# 实例5，此聚合是根据区间进⾏聚合

a = A(\"range\", field=\"account_number\", ranges=[{\"to\": 10}, {\"from\": 11, \"to\": 21}])res = s.execute()

最后依然要执⾏ execute()，此处需要注意，s.aggs 操作不能⽤变量接收（如 res=s.aggs，这个操作是错误的），聚合的结果会保存到 res 中显⽰。排序

s = Search().sort( 'category', '-title',

{\"lines\" : {\"order\" : \"asc\", \"mode\" : \"avg\"}})

分页

s = s[10:20]

# {\"from\": 10, \"size\": 10}

⼀些扩展⽅法，感兴趣的同学可以看看：

s = Search()

# 设置扩展属性使⽤`.extra()`⽅法s = s.extra(explain=True)

# 设置参数使⽤`.params()`

s = s.params(search_type=\"count\")

# 如要要限制返回字段，可以使⽤`source()`⽅法# only return the selected fieldss = s.source(['title', 'body'])

# don't return any fields, just the metadatas = s.source(False)

# explicitly include/exclude fields

s = s.source(include=[\"title\"], exclude=[\"user.*\"])# reset the field selections = s.source(None)

# 使⽤dict序列化⼀个查询

s = Search.from_dict({\"query\": {\"match\": {\"title\": \"python\"}}})

# 修改已经存在的查询

s.update_from_dict({\"query\": {\"match\": {\"title\": \"python\"}}, \"size\": 42})

参考⽂档：