DRYな備忘録

Don't Repeat Yourself.

elasticsearch

Elasticsearch: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

tl;dr Elasticsearchが動くコンテナの中に以下の環境変数をねじこめばよい。 参考: Running Elasticsearch 5 - Build Environment - CircleCI Discuss # これ # transport.host=localhost # # と、これ # bootstrap.system_call_filter=false # # docker run…

Elasticsearchの2.0にキャッチアップしたいんですが、Dockerで分離したい。Macで

背景 みんなだいすきElasticsearchがいつのまにか2.0になってた これを叩いていろいろためしたい だけど生ローカルで動いているElasticsearchがあり、これはカジュアルにAPI変えたくない Dockerイメージあるし、docker-machineでホストごと分離するのがよさ…

Elasticsearchでpartial update

たとえば、users_indexに以下のようなuserというtypeがあったとする { "id": 1234, "name": "otiai10", "age": 29, "lang": ["go","js","python"], "description": "落合展です。10は「じゅう」じゃなくて「テン」と読みます。" } 全体アップデート ドキュメ…

MacにElasticsearchをソースから入れる

JDKとかは入ってる前提で tarを入手 今回は1.5.1 ここから tarを展開 tar -xzf ~/Downloads/elasticsearch-1.5.1.tar.gz 確認 help % ./elasticsearch-1.5.1/bin/elasticsearch --help ~ Usage: ./elasticsearch-1.5.1/bin/elasticsearch [-vdh] [-p pidfile…

Elasticsearchのkuromojiでワロタ

"吾輩は猫である" curl "http://localhost:9200/my_index/_analyze?pretty=true&field=description&analyzer=kuromoji" -d "吾輩は猫である。" { "tokens" : [ { "token" : "吾輩", "start_offset" : 0, "end_offset" : 2, "type" : "word", "position" : 1 …

【Elasticsearch】update mapping の注意

バージョン0.90. * とバージョン1. * とで違うんで注意 v0.90.* curl -XPUT :9200/my_index/my_type/_mapping -d @my_new_mapping.json v1.* curl -XPUT :9200/my_index/_mapping/my_type -d @my_new_mapping.json なお、GETに関しては/{index}/_mapping/{ty…

【緩訳Elasticsearch】その3 Controlling analysis

原文: Controlling Analysis | Elasticsearch: The Definitive Guide [2.x] | Elastic controlling analysis 検索クエリは逆引きインデックス*1に存在している単語しか見つけることができません。したがって、indexに紐づくすべてのドキュメントをインデクシ…

【緩訳Elasticsearch】その2 filtered query

原文 Filtered Query filtered query filteredクエリはqueryとfilterを組み合わせるために用いられます。フィルターは単純にクエリを使うよりも高速となるケースが多く、なぜなら、*1 フィルターは、ドキュメントとの関連度スコアを数値計算するのではなく、…

No mapping found for [hoge] in order to sort on【Elasticsearch】

ビジネス的要件からソートロジックの変更に伴って、hogeという新しいフィールドでソートしたいので、以下を投げたら、掲題のエラーを食らった。 curl ":9200/foo/bar/_search?size=2&pretty" -d '{"sort":[{"hoge":"desc"}]}' 叱られている通り、hogeという…

【緩訳Elasticsearch】その1 overview

原文 Elasticsearch.org Overview | Elasticsearch 完結した全文検索と分析のプラットフォームで、幅広い用途に使えます The Elasticsearch ELK Stack ElasticsearchとLogstashとKibanaを合わせて(合わせて"ELK"なんだけど)、いい感じのものができた。これ…

Elasticsearchのデータをdumpしてコピーしたい

やりたいこと あるインスタンスで動いてるElasticsearchサーバのインデックスデータのdumpを、たとえば自分のローカルにコピーしたい こんなのがある elasticdump これ便利だった 最低限の使い方(書いてあるんですけど↑) % npm install -g elasticdump % e…

Elasticsearchとはなにか的なメモ

Elasticsearchとはなにか的な 全文検索エンジン エンジンってなんやねん InnoDBとかと同じレイヤのことば? ストレージを持ってて、インデックスを定義できて、httpなAPIを持ってて、jsonなクエリで叩けるんだとさ どうやって使うの的な インストールする Ma…