Elasticsearch的文档、索引和rest api

拾叁不是13
1,860 阅读3分钟

基本概念

文档（document）

  • elasticsearch 是面向文档的，文档是所有可搜索数据的最小单位

    例如：

    • 日志文件中的日志项
    • 一部电影中的具体信息
    • 一首歌/一个PDF文档的具体内容

  • 文档会被序列化为JSON格式，保存在Elasticsearch中

    • JSON对象由字段组成
    • 每个字段都有相应的字段类型（字符串/数值/布尔/日期/二机制/范围类型）

  • 每个文档都有一个Unique ID

    • 可以自己指定ID
    • 或者通过Elasticsearch自动生成

JSON文档

  • 一篇文档包含了一系列的字段，类似于数据库中的一条记录
  • JSON 文档，格式灵活，不需要预先定义格式
    • 字段的类型可以指定或者通过Elasticsearch自动推算
    • 支持数据/支持嵌套
movieId,title,genres
1,Toy Story(1995),AdvenTure|Animation|Children|Comedy|Fantasy
  • csv file通过es转为json
{
    "year" : 1995,
    "@version" : 1,
    "genres" : [
        "AdvenTure","Animation",
        "Children","Comedy","Fantasy"
    ],
    "id" : "1",
    "title" : "Tony Story"
}

文档的元数据

{
    "_index" : "movies"，
    "_type" : "_doc"，
    "_id" : "1"，
    "_score" : "14.626"，
    "_source" : {
    	"year" : 1995,
    	"@version" : 1,
    	"genres" : [
        	"AdvenTure","Animation",
        	"Children","Comedy","Fantasy"
    	],
    	"id" : "1",
    	"title" : "Tony Story"
	}
}
  • 元数据，用于标注文档的相关信息
    • _index : 文档所属的索引名
    • _type : 文档所属的类型名
    • _id : 文档唯一ID
    • _source : 文档的原始Json数据
    • _all : 整合所有字段到该字段（已被废除）
    • _version : 文档的版本信息
    • _score : 相关性打分

索引

{
    "movies" : {
        "settings" : {
            "index" : {
                "create_date" : "15526261177",
                "number_of_shards" : "2",
                "number_of_replicas" : "0",
                "uuid" : "",
                "verison" : {
                    "created" : "302302"
                },
                "provided_name" : "movies"
            }
        }
    }
}
  • Index-索引是文档的容器，是一类文档的结合
    • Index 体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
    • Shard提现了物理空间的概念：索引中的数据分散在shard上
  • 索引的mapping 和Settings
    • Mapping 定义文档字段的类型
    • Setting 定义不同的数据分布

索引的不同语意

索引

  • 一个Elasticsearch 集群中，可以创建很多个不同的索引
  • 保存一个文档到Elasticsearch的过程也叫索引（indexing）
    • es中，创建一个倒排索引的过程
  • 一个B树索引，一个倒排索引

课程Demo

Index 相关 API

#查看索引相关信息
GET kibana_sample_data_ecommerce

#查看索引的文档总数
GET kibana_sample_data_ecommerce/_count

#查看前10条文档，了解文档格式
POST kibana_sample_data_ecommerce/_search
{
}

#_cat indices API
#查看indices
GET /_cat/indices/kibana*?v&s=index

#查看状态为绿的索引
GET /_cat/indices?v&health=green

#按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc

#查看具体的字段
GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

#How much memory is used per index?
GET /_cat/indices?v&h=i,tm&s=tm:desc

Type

  • 7.0之前，一个index可以设置多个types
  • 7.0之后，一个索引只能创建一个Type-"_doc"

抽象和类比

RDBMS Elasticsearch
Table Index(Type)
Row Document
Column Field
Schema Mapping
SQL DSL

传统关系型数据库和Elasticsearch的区别

  • Elasticsearch - Schemaless /相关性/高性能全文检索
  • RDMS - 事务性/Join

Rest API-被各种语言调用

一些基本的API

  • Indices
    • 创建Index
      • PUT movies
    • 查看所有Index
      • _cat/indices

部分操作

在kibana的 开发工具 中运行

// 查看索引相关信息
GET kibana_sample_data_ecommerce

// 查看索引的文档总数
GET kibana_sample_data_ecommerce/_count

// 查看前10条文档，了解文档格式
POST kibana_sample_data_ecommerce/_search
{
  
}

//_cat indeices API
// 查看indices
GET /_cat/indices/kibana*?v&s=index

// 查看状态为绿的索引
GET /_cat/indices?v&health=green

// 查看文档个数排序
GET /_cat/indices?v&s=docs.count:desc

// 查看具体的字段
GET /_cat/indices/kibana*?pri&h=health,index,pri,rep,docs.count,mt

// 每个索引所占的内存空间
GET /_cat/indices?v&h=i,tm&s=tm:desc

相关阅读

avatar
文章
阅读
粉丝