elasticsearch 如何提高插入資料速度?

時間 2021-06-01 13:59:13

1樓:

CPU 使用量

IO write 寫入速度

Memory 占用

公升級 ES,新版本有優化... 有修bug

換更快的磁碟

更多記憶體、CPU

refresh interval 預設是 1s,寫入記憶體的index資料到 segment,可以適當調整這個引數。

30s寫一次。提高前面index速度,但是搜尋要30s之後才能搜到,相當於寫降級。

是否需要增加 Heap size

chunk_size 調優,根據錄入日誌的大小

都是大檔案,可以適當調大 chunk_size

用 Routing 均衡一下 shards 在各個節點的分布。

檢查 shards 分布情況

配置多個worker 和 Thread 同時寫入

Bulk Request 批量index 資料,可以調整100 -400

調整 indices.memory.index_buffer_size

預處理需要轉換的資料

2樓:Erik

分index,revise your data model, store required/filtered data

parrelling processes, set up distributed system.

3樓:

1. 資料量大的話可以提高單次聚合插入的文件數量

2. 看下CPU或者IO是否已經成為瓶頸,如果是的話提高配置,用ssd硬碟,用多台機器shard

elasticsearch 集群設計

皮皮 三颱機器 IPHOSTANME OS是否是主節點 172.16.241.2 linux1 centos8 是 初始 172.16.241.3 linux2 centos8 是172.16.241.4 linux3 centos8 是Es不允許使用root啟動,故而建立使用者和組 三颱機器 gr...

Elasticsearch到底能玩多大的資料量?

熊哥club 我們目前3個集群,主集群30臺伺服器,配置512G記憶體40C,25T 30T,80T的磁碟容量都有,98個節點,單index最大7T,shard數接近1萬 日均30億條日誌記錄,6T資料,總容量已經達到pb級別。目前搜查都是毫秒級,由於是新手,踩過很多坑也填了很多坑,目前還在摸索優化...

在ElasticSearch中,集群 Cluster ,節點 Node ,分片 Shard ,Indices 索引 ,replicas 備份 之間是什麼關係?

最近正在研究 Elasticsearch 下稱 ES 試著回答下你的問題 幾個關鍵的概念 Node 乙個執行著的 ES 例項即為 Node Cluster 多個 Node 組成 Cluster。其中會有乙個 Node 充當 Master 角色,用來進行集群管理類的工作 Index ES 的資料從邏輯...