elasticsearch去中心化

1. elasticsearch 有沒有加減乘除的功能，有的話java的API是什麼

好像沒有，你可以去官方文檔查看

2. Elasticsearch到底能玩多大的數據量

般提這種問題的都是新手，而是由所在主機的OS上面的文件系統來決定了.23開始，MySQL單表最大限制就已經擴大到了64PB了（官方文檔顯示）。也就是說，從目前的技術環境來看，MySQL資料庫的MyISAM存儲 引擎單表大小限制已經不是有MySQL資料庫本身來決定。 1、從MySQL 3，好吧，簡單回答下吧。 2、沒有人會那麼去存數據的，因為查詢速度太慢了，這時候就分表了，比如垂直分割

3. elasticsearch的自動發現節點機制是怎麼實現的，原理是怎樣

1、Gossip 是一種去中心化、容錯而又最終一致性的絕妙演算法, 其收斂性不但得到證明還具有指數級的收斂速度。
2、使用 Gossip 的系統可以很容易的把 Server 擴展到更多的節點, 滿足彈性擴展輕而易舉。
3、唯一的缺點是收斂是最終一致性, 不適應那些強一致性的場景, 比如 2PC。

4. Elasticsearch是什麼以及核心概念

Elasticsearch是由Shay Banon發起的一個開源搜索伺服器項目，2010年2月發布。迄今，該項目已發展成為搜索和數據分析解決方案領域的主要一員，廣泛應用於聲名卓著或鮮為人知的搜索應用程序。此外，由於其分布式性質和實時功能，許多人把它作為文檔資料庫。 Elasticsearch架構簡單介紹如下。 索引 索引（index）是Elasticsearch對邏輯數據的邏輯存儲，所以它可以分為更小的部分。你可以把索引看成關系型資料庫的表。然而，索引的結構是為快速有效的全文索引准備的，特別是它不存儲原始值。如果你知道MongoDB，可以把Elasticsearch的索引看成MongoDB里的一個集合。如果你熟悉CouchDB，可以把索引看成CouchDB資料庫索引。Elasticsearch可以把索引存放在一台機器或者分散在多台伺服器上，每個索引有一或多個分片（shard），每個分片可以有多個副本（replica）。 文檔 存儲在Elasticsearch中的主要實體叫文檔（document）。用關系型資料庫來類比的話，一個文檔相當於資料庫表中的一行記錄。當比較Elasticsearch中的文檔和MongoDB中的文檔，你會發現兩者都可以有不同的結構，但Elasticsearch的文檔中，相同欄位必須有相同類型。這意味著，所有包含title欄位的文檔，title欄位類型都必須一樣，比如string。 文檔由多個欄位組成，每個欄位可能多次出現在一個文檔里，這樣的欄位叫多值欄位（multivalued）。每個欄位有類型，如文本、數值、日期等。欄位類型也可以是復雜類型，一個欄位包含其他子文檔或者數組。欄位類型在Elasticsearch中很重要，因為它給出了各種操作（如分析或排序）如何被執行的信息。幸好，這可以自動確定，然而，我們仍然建議使用映射。與關系型資料庫不同，文檔不需要有固定的結構，每個文檔可以有不同的欄位，此外，在程序開發期間，不必確定有哪些欄位。當然，可以用模式強行規定文檔結構。從客戶端的角度看，文檔是一個JSON對象（關於JSON格式的更多內容，參見中國en.wikipedia.org/wiki/JSON）。每個文檔存儲在一個索引中並有一個Elasticsearch自動生成的唯一標識符和文檔類型。文檔需要有對應文檔類型的唯一標識符，這意味著在一個索引中，兩個不同類型的文檔可以有相同的唯一標識符。 文檔類型 在Elasticsearch中，一個索引對象可以存儲很多不同用途的對象。例如，一個博客應用程序可以保存文章和評論。文檔類型讓我們輕易地區分單個索引中的不同對象。每個文檔可以有不同的結構，但在實際部署中，將文件按類型區分對數據操作有很大幫助。當然，需要記住一個限制，不同的文檔類型不能為相同的屬性設置不同的類型。例如，在同一索引中的所有文檔類型中，一個叫title的欄位必須具有相同的類型。 映射 在有關全文搜索基礎知識部分，我們提到了分析的過程：為建索引和搜索准備輸入文本。文檔中的每個欄位都必須根據不同類型做相應的分析。舉例來說，對數值欄位和從中國頁抓取的文本欄位有不同的分析，比如前者的數字不應該按字母順序排序，後者的第一步是忽略HTML標簽，因為它們是無用的信息噪音。Elasticsearch在映射中存儲有關欄位的信息。每一個文檔類型都有自己的映射，即使我們沒有明確定義。 現在，我們已經知道Elasticsearch把數據存儲在一個或多個索引上，每個索引包含各種類型的文檔。我們也知道了每個文檔有很多欄位，映射定義了Elasticsearch如何對待這些欄位。但還有更多，從一開始，Elasticsearch就被設計為能處理數以億計的文檔和每秒數以百計的搜索請求的分布式解決方案。這歸功於幾個重要的概念，我們現在將更詳細地描述。 節點和集群 Elasticsearch可以作為一個獨立的單個搜索伺服器。不過，為了能夠處理大型數據集，實現容錯和高可用性，Elasticsearch可以運行在許多互相合作的伺服器上。這些伺服器稱為集群（cluster），形成集群的每個伺服器稱為節點（node）。 分片 當有大量的文檔時，由於內存的限制、硬碟能力、處理能力不足、無法足夠快地響應客戶端請求等，一個節點可能不夠。在這種情況下，數據可以分為較小的稱為分片（shard）的部分（其中每個分片都是一個獨立的Apache Lucene索引）。每個分片可以放在不同的伺服器上，因此，數據可以在集群的節點中傳播。當你查詢的索引分布在多個分片上時，Elasticsearch會把查詢發送給每個相關的分片，並將結果合並在一起，而應用程序並不知道分片的存在。此外，多個分片可以加快索引。 副本 為了提高查詢吞吐量或實現高可用性，可以使用分片副本。副本（replica）只是一個分片的精確復制，每個分片可以有零個或多個副本。換句話說，Elasticsearch可以有許多相同的分片，其中之一被自動選擇去更改索引操作。這種特殊的分片稱為主分片（primary shard），其餘稱為副本分片（replica shard）。在主分片丟失時，例如該分片數據所在伺服器不可用，集群將副本提升為新的主分片

5. 如何在Eclipse上面跑Elasticsearch

在Eclipse上面跑Elasticsearch
下載ES項目，並將項目導入ECLIPSE中。

ES項目需要JDK1.7以上版本才支持，
進入Debug Configurations...，在Maven Build新建一個叫elasticsearch的配置。
Base directory選擇項目的目錄，Goals輸入package。
BUILDING項目。。。
BUILD完，有BUILD SUCCESS的信息列印。
最關鍵的一步：
Run As -> Java Application
這時會彈出一個選擇框，讓你選擇哪個類運行，ES項目中一般是ElasticSearchF.Java或ElasticSearch.java。
然後就開跑了。。。

6. 如何提高ElasticSearch 索引速度

提高ElasticSearch 索引速度方法：
1、使用bulk API
2、初次索引的時候，把 replica 設置為 0
3、增大 threadpool.index.queue_size
4、增大 indices.memory.index_buffer_size
5、增大 index.translog.flush_threshold_ops
6、增大 index.translog.sync_interval
7、增大 index.engine.robin.refresh_interval

7. elasticsearch的自動發現節點機制是怎麼實現的，原理是怎樣

早期 es 版本有 split brain 問題，俗稱腦裂。ES 採用的是一種 P2P 的 gossip 選舉方式，Gossip 演算法因為 Cassandra 而名聲大噪。
背景:
Gossip 演算法, 靈感來自辦公室八卦, 只要一個人八卦一下, 在有限的時間內所有人都會知道該八卦的信息,
這種方式也與病毒傳播類似, 因為 Gossip 有眾多的別名"閑話演算法"、"疫情傳播演算法"、"病毒感染演算法"、"謠言傳播(Rumor-Mongering)演算法".
但 Gossip 並不是一個新東西, 之前的泛洪查找、路由演算法都歸屬於這個范疇, 不同的是 Gossip 給這類演算法提供了明確的語義、具體實施方法及收斂性證明.

特點:
Gossip 演算法又被稱為反熵(Anti-Entropy), 熵是物理學上的一個概念, 代表雜亂無章, 而反熵就是在雜亂無章中尋求一致,
這充分說明了 Gossip 的特點：在一個有界網路中, 每個節點都隨機地與其他節點通信, 經過一番雜亂無章的通信,
最終所有節點的狀態都會達成一致. 每個節點可能知道所有其他節點, 也可能僅知道幾個鄰居節點,
只要這些節可以通過網路連通, 最終他們的狀態都是一致的, 當然這也是疫情傳播的特點.
要注意到的一點是, 即使有的節點因宕機而重啟, 有新節點加入, 但經過一段時間後,
這些節點的狀態也會與其他節點達成一致, 也就是說, Gossip 天然具有分布式容錯的優點.

本質:
Gossip 是一個帶冗餘的容錯演算法, 更進一步, Gossip 是一個最終一致性演算法。
雖然無法保證在某個時刻所有節點狀態一致, 但可以保證在」最終「所有節點一致, 」最終「是一個現實中存在, 但理論上無法證明的時間點。
因為 Gossip 不要求節點知道所有其他節點, 因此又具有去中心化的特點, 節點之間完全對等, 不需要任何的中心節點。
實際上 Gossip 可以用於眾多能接受「最終一致性」的領域：失敗檢測、路由同步、Pub/Sub、動態負載均衡。
但 Gossip 的缺點也很明顯, 冗餘通信會對網路帶寬、CPU 資源造成很大的負載, 而這些負載又受限於通信頻率, 該頻率又影響著演算法收斂的速度。

總結:
Gossip 是一種去中心化、容錯而又最終一致性的絕妙演算法, 其收斂性不但得到證明還具有指數級的收斂速度。
使用 Gossip 的系統可以很容易的把 Server 擴展到更多的節點, 滿足彈性擴展輕而易舉。
唯一的缺點是收斂是最終一致性, 不適應那些強一致性的場景, 比如 2PC。

8. 如何訪問elasticsearch 集群

使用TransportClient的代碼示例：
try {
int port = 9300;
Map<String, String> m = new HashMap<String, String>();
// 設置client.transport.sniff為true來使客戶端去嗅探整個集群的狀態，
//把集群中其它機器的ip地址加到客戶端中，這樣本地節點掛了，程序還可以正常工作
Settings settings = Settings.settingsBuilder().put(m).put("cluster.name", "elasticsearch").put("client.transport.sniff", true).build();
client = TransportClient.builder().settings(settings).build();
String ip = "";
InetAddress host = InetAddress.getLocalHost();
client.addTransportAddress(new InetSocketTransportAddress(host, port));
} catch (Exception e) {
e.printStackTrace();
}