はてなブックマーク

pyenvでインストールしたPythonを利用していて、 Exception: Compilation failed (return status=1): /usr/bin/ld: /home/taro/.pyenv/versions/2.7.9/lib/libpython2.7.a(abstract.o): 再配置 R_X86_64_32S (`_Py_NotImplementedStruct' に対する) は共有オブジェクト作成時には使用できません。-fPIC を付けて再コンパイルしてください。. /home/taro/.pyenv/versions/2.7.9/lib/libpython2.7.a: error adding symbols: 不正な値です. collect2: error: ld returned 1 exit status. みたいなエラーに遭遇したら、 CFLA

Elasticsearchから取り出してsklearnでテキストデータをゴニョゴニョするときにPython側ではIgoを使って形態素解析とかしていたけど、Elasticsearchでやっている形態素解析と一致しないのもなんだし、Igoを直読みするよりパフォーマンスは落ちると思うけど、辞書管理等々考えるとElasticsearchのanalyze APIを使って形態素解析しちゃった方がシンプルかなっと思い、まとめておく。 まず、PythonでElasticsearchのAnalyze APIが呼べることを以下で確認する。ここでは、Python 2.7を利用している。elasticsearch-pyもインストール済みな想定で、Elasticsearchも起動しておく必要がある。 $ python Python 2.7.6 (default, Mar 22 2014, 22:59:56) [GC

はじめに これは Elasticsearch Advent Calendar 2014 – Qiita 、13日目の記事です。 Elasticsearchはプラグインを作成することで、様々な機能を拡張することができますが、今回はプラグインの作り方を紹介します。 前提条件 今回、Elasticsearchプラグインを作成するにあたり、以下のものが準備済みである前提で話を進めます。 Java 7 または 8 Maven 3 今回作るプラグイン 一応、サンプル的ではありますが、ハローワールドだけでも簡単すぎますし、いきなり難しいことでもモチベーションが下がるかと思うので、今回はElasticsearchのクラスター内に含まれるインデックス数を独自のREST APIで返却するプラグインを作成してみたいと思います。 仕様としては、 $ curl -XGET http://localhost:9200

FessとかをSolrやElasticsearchとかと比較とかされちゃうケースがあるのだけど、それはちょっと違う感じなのでざっくりまとめておく。ざっくりとカテゴリ分けすると、以下のような感じかと思う(まぁ、いろいろな考え方はあると思うが…)。 検索ライブラリ 検索システムを構築するためのコアなライブラリ。HTTPなどで呼び出すのではなく、組み込んで使う感じ。検索屋さんになりたい人向けで、システム構築屋さん向けではない。 Lucene (他にメジャーなのあったっけ…) 検索エンジン HTTPなどでAPIを提供し、構築したいシステム連携して利用する。検索もチューニングしたいシステム構築屋さん向け。なので、検索についても設計等が必要なので、検索に関するナレッジは必要になる。 Solr Elasticsearch Groonga Senna (検索ライブラリにも近いような…) Hyper Est

時間が空いてしまいましたが、OpenSearch 2.19がリリースされていたので、Fessも14.19系をリリースしました。Fessのメインの開発は15.0系になっているというのもあり、14系には必要なものだけ入れる感じなので、変更は少ないです。主な変更点は以下です。 #2866: ファイル名がURLエンコードされないようにした #2863: 検索ログなどのキューイングに上限を設定した これら以外には依存しているライブラリを更新していたりします。何かあれば、フォーラムをご利用ください。 fess-ds-s3プラグインのsoftware.amazon.awssdk:s3を2.30.33に更新したら、 Caused by: software.amazon.awssdk.core.exception.SdkClientException: Unable to execute HTTP requ