目录
上节回顾
本节前言
索引 index
创建索引
查看索引
查看单个索引
查看所有索引
删除索引
修改索引
修改副本分片数量
关闭索引
索引别名
增加索引别名:
查看索引别名:
删除索引别名:
补充
小节总结:
类型 type
补充:
小节总结:
文档 document
插入文档
查询指定文档
更新文档
删除文档
查询所有文档
补充:
小节总结
发表日期: 2019 年 9 月 19 日
上节回顾
在学习新的内容之前, 先回顾一下上节的内容, 上节主要讲述了以下的内容:
Elasticsearch 是什么? 什么是搜索引擎? 为什么选择 Elasticsearch?
搜索是怎么做到的: 分词, 倒排索引?
环境的搭建
如何通过 kibana 操作 Elasticsearch
hello world 中讲述了如何使用 "写数据 ->查指定数据","写数据 ->通过关键字搜索数据"
本节前言
这节将涉及 index,type,document 的增删查改相关的内容.
index 就像 sql 中的库, type 就像 sql 中的表, document 就像 sql 中的记录.
这节认识 index,type,document, 会帮助我们认识 Elasticsearch 数据存储的逻辑结构. 就好像你学 SQL 要先学会了建库, 建表, 才能插入记录. 而一些更深一点的内容, 例如如何对 document 进行搜索, 排序, 这些将留到下一节再讲.
索引 index
索引 index 是存储 document 文档数据的结构, 意义类似于关系型数据库中的数据库.
创建索引
在上一节的 hello world 中, 我们并没有讲如何创建索引, 那里直接就插入了数据, 那样的话 Elasticsearch 会帮我们以默认的配置来自动创建索引.
下面讲一下如何手动创建索引:
语法:
// 语法:
PUT / 索引名
{
index 的配置(primary shard 的数量等)
}
例子:
- // 例子(不带配置信息的话以默认配置创建)[请不要复制这个注释!] :
- PUT /product
- // 例子(带配置信息的话以配置信息创建)[请不要复制这个注释!]
- PUT /product
- {
- "settings":{
- "index":{
- "number_of_shards":3,
- "number_of_replicas":1
- }
- }
- }
在上述的例子中: number_of_shards 是主分片的数量; number_of_replicas 是副本分片的数量(这里提一下, number_of_replicas 副本分片的数量是面向主分片的, 所以这个值为 1 时代表每一个主分片有一个副本分片).
返回结果:
- {
- "acknowledged": true,
- "shards_acknowledged": true,
- "index": "product"
- }
[在插入一个文档的时候, 如果 index 还没有创建, 那么会自动创建, 这时候 index 的一些配置会采用默认的配置, 默认的主分片数量是 5, 副本分片数量是 1]
查看索引
查看单个索引
语法: GET / 索引名
效果: 返回指定索引的信息
例子: GET /product
返回结果解析:
aliases: 是索引的别名, 由于我们没有定义索引别名所以没有数据(索引别名后面再讲)
mappings: 是索引中存储的数据的结构信息, 由于上图的索引 product 中并没有存储 document, 而且我们也没有指定, 所以也为空. mappings 定义了文档的字段的数据类型和搜索策略等信息.[后面的知识点]
settings: 索引的配置信息
creation_date 是创建日期(毫秒级别的时间戳)
number_of_shards 是主分片数量
number_of_replicas 是副本分片的数量
uuid 是索引的 id
version 是索引的版本信息
provided_name 是索引名
一个包含了 mappings 的结果图:
查看所有索引
命令:
GET /_cat/indices?v
效果: 查看所有索引, 显示索引的健康状态等信息.
[如果没有 v 选项, 那么就不会有第一行关于该列意义的头部]
返回结果解析:
health: 索引的健康状态(受分片的运行状态影响)[集群管理的知识点]
status: 索引是开启的还是关闭的
index: index 的名称
uuid: 索引的 UUID
pri: primary shared 的数量
rep: replicated shared 的数量
docs.count: 文档 document 的数量
docs.deleted: 被删除的文档 document 的数量
store.size: 总数据的大小
pri.store.size: 主分片上的数据的大小(这里因为只运行了一个服务节点, 所以没有可运行的副本分片, 所以总数据大小等于主分片的数据大小)
删除索引
语法: DELETE / 索引名[支持同时删除多个索引, 以逗号分割, 如 DELETE /testindex1,testindex2]
语法例子: DELETE /product
返回结果:[当 acknowledged 为 true 的时候代表删除成功]
- {
- "acknowledged": true
- }
修改索引
[修改索引主要是修改分片数量, mapping, 分词器, 由于 mapping 和分词器涉及很深, 需要前置知识, 所以留到后面讲.]
修改副本分片数量
不讲语法了, 直接看例子:
- PUT /product/_settings
- {
- "index":{
- "number_of_replicas":2
- }
- }
关闭索引
关闭索引是为了避免修改索引的配置时他人进行文档读写. 关闭索引后, 就只能获取索引的配置信息, 而不能读写索引中的 document. 有时候也用于关闭一些无用的索引来减少资源消耗.
语法:
关闭索引:
POST / 索引名 /_close
打开索引:
POST / 索引名 /_open
索引别名
索引别名是一个 "别名", 但能够像索引名那样使用, 它的使用场景一方面是 "使用更简洁的索引名来获取数据", 另一个方面是 "通过索引别名来指向索引(别名 B 指向索引 A), 方便修改指向的索引, 用于解决可能的更换索引的场景(比如你需要统一修改原有索引的信息, 那你可以新建索引 C,C 存储了修改后的数据, 更改指向原本索引 A 的索引别名 B 指向 C)."
增加索引别名:
语法:
- POST /_aliases
- {
- "actions":[
- {
- "add":{
- "index":"索引名",
- "alias":"索引别名"
- }
- }
- ]
- }
例子:
- POST /_aliases
- {
- "actions":[
- {
- "add":{
- "index":"product",
- "alias":"pdt"
- }
- }
- ]
- }
查看索引别名:
方法一: 通过查看索引来查看索引别名: GET /product
方式二: 通过命令
GET /product/_alias
[索引别名有了就会生效, 不信你在 GET /product 的时候直接用上别名]
删除索引别名:
语法:
- POST /_aliases
- {
- "actions":[
- {
- "remove":{
- "index":"索引名",
- "alias":"索引别名"
- }
- }
- ]
- }
例子:
- POST /_aliases
- {
- "actions":[
- {
- "remove":{
- "index":"product",
- "alias":"pdt"
- }
- }
- ]
- }
[你应该看到了, actions 里面是一个数组, 所以你是可以同时进行多个操作的.]
补充
有很多关于 index 的配置. 由于也是一个比较大的知识点(需要一些前置知识, 单独在这里讲的话会很空白), 将会单独列出来.
index 有个 mapping 配置, mapping 定义整体的 index 的 document 的结构, 和影响分词策略. 由于会影响搜索, 所以把这个归为搜索的分支知识点, 将留到搜索篇再谈.
小节总结:
本小节讲了如何创建索引, 如何查看索引, 如何删除索引, 如何修改索引(修改副本分片数量), 如何关闭 / 开启索引, 如何定义索引别名.
目的在于介绍如何创建存储 document 的逻辑结构 -- 索引, 虽然我们有时候是不需要手动显示创建索引的, 但手动创建是个必须了解的知识, 因为 mapping 和分词器有时候需要手动来指定.
类型 type
类型 type 也是用于存储 document 的逻辑结构, 相对于 index 来说, type 是 index 的下级, 所以通常在面向有实际意义的数据时, index 作为大类的划分, type 作为小类的划分. 比如如果把 book 书作为一个大类来建立 index 的话, 那么书的类型 (小说类, 文学类, IT 技术类等) 就可以作为 type.
你可能以为下面要讲如何 CRUD 类型 type 了吧. 但其实这里并不需要讲这些, 因为 type 其实并不真的用来划分逻辑结构, 它只是意义上的! Elasticsearch 使用了 Lucene 的底层架构, 而 Lucene 是没有 type.
上面说了, index 就像 sql 中的库, type 就像 sql 中的表, document 就像 sql 中的记录.
但事实上, Elasticsearch"真正用于分隔数据的结构" 只有 index, 而没有 type,type 实际上作为了一个元数据 (类似 SQL 中的 id, 作为额外的标识数据) 来实现逻辑划分.[如果你不懂的话, 可以从 SQL 方面想, 就好像一个职员表, 一条记录中的某一个字段说明了他属于哪个部门] . 当然了, 这是一些偏原理的内容了. 这些都将留到原理篇来阐述. 这里仅仅是浅尝即止.
不过由于没有 type 没有真实地用于分隔数据, 所以要注意结构类型偏差太大的数据还是不要放在一个 index 好.
之前说了, index 用来划分大类, type 用来划分小类. 而可能有些人会把这个大类定的过大, 比如电影和书籍这两个小类 (type) 的数据大多是不一样的, 但他们都可以属于娱乐这一个大类(index), 由于 type 并没有真实地用于分隔数据地用于存储数据, 所以数据存储的时候针对的还是 index.
ElaticSearch 并不是完全无结构的, 不要与某些 NoSQL 数据库混为一谈, 虽然它的结构非常灵活(面向 JSON, 可以随意增加字段). 在 index 中还有一个 mapping,mapping 管理了整个 index 的各个字段的属性, 也就是定义了整个 index 中 document 的结构. 我们在 index 下不同 type 中定义的 document 的字段都会在 mapping 中. 所以说, 如果你定义的多个 type 的结构偏差太大, 那么会导致 mapping 需要存储的字段的数据过多, 同时也影响 index 的物理存储结构, 因为 index 会按照 mapping 来存储数据.[换到 SQL 中的话, 也就是比如你有一个商品表, 商品表下面有各种商品(书籍, 食物), 而它们的数据是很不一样的, 比如书籍有出版日期, 食物有保质期, 如果把它们都放到一个表中的话, 那么就会导致这个表的字段过多.]
如何测试 document 文档的数据结构是面向 index?[这个测试你可以不做, 现在仅仅记住上面的知识点, 测试后面再做, 因为这个涉及到一些后面的知识]
1. 定义一个 document 的一个字段为 date 类型; 然后在另一个 type 中添加为 text 类型的同名字段.
当我们直接插入 document 的时候, 如果不指定 document 的数据结构, 那么 ElastciSearch 会基于 dynamic mapping 来自动帮我们声明每一个字段的数据类型, 比如 "content":"hello world!" 会被声明成字符串类型,"post_date":"2017-07-07" 会被认为是 date 类型. 如果我们首先在一个 type 中声明了 content 为字符串类型, 再在另外一个 type 中声明成日期类型, 这会报错, 因为对于 index 来说, 这个 content 已经被声明成字符串类型了.
2. 查看 mapping:
在查看 mapping 的时候, 我们是通过查看索引来查看的, 其实也反向证明了 mapping 是面向 index 的.
补充:
上面说了 index 的 mapping 会存储完整的多个 type 的字段信息, 如果 type 的字段差别太大, 那么就会导致 mapping 需要存储的字段过多. Elasticsearch 维护组织后面发现这多个 type 的情况确实有点烦人. 于是他们准备让一个 index 只放一个 type 了, 在 6.x 版本中, 一个索引下只有一个 type, 如果声明多个 type, 会被标记为过期, 但是仍可以使用. 7.0 之后的版本将完全移除 .Elasticsearch 移除多个 type
小节总结:
本节重新解释了 type 的意义, type 实际上是作为 document 中的一个固定字段存在的, 文档的数据结构是面向 index 的, 所以不能把字段差异性较大的数据存储在一个 index 中.
文档 document
文档的格式是 JSON 式的.
对于文档, 有几个主要的标识信息:_index(插入到哪个索引中),_type(插入到哪个类型中),_id(文档的 id 是多少), 在插入一个文档的时候, 这几个信息也是必须的.
在考虑 web 开发的大多都知道 JSON 的基本格式, 所以我这里只会编写一个简单的 JSON 数据作为例子, JSON 数据里面的数据类型问题留到后面再进行补充.
插入文档
语法:
PUT /index/type/id
JSON 格式的数据
例子:
- PUT /douban/book/4
- {
- "book_id":4,
- "book_name":"Other Voices, Other Rooms",
- "book_author":"Truman Capote",
- "book_pages":240,
- "book_express":"Vintage",
- "publish_date":"1994-02-01",
- "book_summary":""" Truman Capote's first novel is a story of almost supernatural intensity and inventiveness, an audacious foray into the mind of a sensitive boy as he seeks out the grown-up enigmas of love and death in the ghostly landscape of the deep South.
- At the age of twelve, Joel Knox is summoned to meet the father who abandoned him at birth. But when Joel arrives at the decaying mansion in Skully's Landing, his father is nowhere in sight. What he finds instead is a sullen stepmother who delights in killing birds; an uncle with the face-and heart-of a debauched child; and a fearsome little girl named Idabel who may offer him the closest thing he has ever known to love."""
- }
结果解析:
_index: 插入到哪个 index 中.
_type: 插入到哪个 type 中.
_id: 插入的文档的 id 是多少.
_version: 版本, 对这个 ID 的文档的操作次数
result: 操作结果, 第一次操作时 created, 上图中因为我忘记截图了, 所以重新插入了一次, 所以时 updated
_shards:
total: 总共有多少个 shard
successful: 成功多少个,[由于写操作只会发生在 primary shard 中, 所以这里为 1, 另一个 shard 时 replica shard, 不发生写操作]
failed: 失败多少个
查询指定文档
语法:
GET /index/type/id
例子:
GET /douban/book/1
结果解析:
更新文档
语法:
- // 全替换 (覆盖) 式更新: 会使用新的 JSON 数据直接覆盖原有的[请不要复制注释]
- PUT /index/type/id
JSON 数据
- // 部分替换式更新: 只会覆盖指定数据
- POST /index/type/id/_update
- {
- "doc": {
- "需要修改的字段": "修改值"
- [,"需要修改的字段": "修改值"]
- }
- }
例子:
[全替换语句与插入差不多, 所以不举例了]
- POST /douban/book/4/_update
- {
- "doc": {
- "book_pages":241,
- "publish_date":"1994-02-02"
- }
- }
结果解析:
返回结果与插入时大概一致, 不同的时 result 变成了 updated
删除文档
语法:
DELETE /index/type/id
例子:
[删除后可以重新执行插入语句恢复数据]
DELETE /douban/book/4
结果解析:
返回结果与插入时大概一致, 不同的时 result 变成了 deleted.
查询所有文档
语法:
- GET /index/type/_search
- GET /index/type/_search
- {
- "query":{
- "match_all": {}
- }
- }
例子:
- GET /douban/book/_search
- GET /douban/book/_search
- {
- "query":{
- "match_all": {}
- }
- }
补充:
上面介绍了关于文档的 CRUD 基操, 但还有很多东西没讲, 这些将留到后面讲, 包括: 文档的字段的数据类型, 文档的搜索, 文档的元数据(_index,_type,_id 等)
小节总结
这节讲了如何对文档进行 CRUD 操作, PUT 用于插入, GET 用于查询, PUT 和 POST 用于修改, DELETE 用于删除.
来源: https://www.cnblogs.com/progor/p/11548269.html