Amazon Kendra を触ってみた - Qiita
はじめに Amazon Kendra は、様々なデータソースを横断的に検索できるエンタープライズ検索サービスです。Kendra から各種データソースに簡単に接続できるコネクタが提供されていて、Amazon S3, Microsoft SharePoint, Salesforce, ServiceNow, Google ドライブ, Confluence など連携できます。 今回の記事は、Kendra に WebCrawler というコネクタを使って、簡単に日本語の検索が出来る点を確認していきます。初めて Kendra を触ってみる点での備忘録的な記事です。 Index の作成 Kendra を利用し始める際に、Index の作成が必要です。Index を作成したタイミングから、時間課金で料金が発生します。検証のため Index を作成して放置してしまうと、想定外の料金が発生する可能性がありま
Solr5.4のログの設定 - Qiita
Solr 5.4 の環境構築で、ログ周りの設定が意外につまったので、整理としてのメモ。 ログの種類 おおむね、次の三つ gcログ solr本体 jetty（アクセスログ） アクセスログは標準では出力されないですし、大体の場合は不要でしょうが、solr 3.x 以前はtomcatにデプロイした形だとtomcatのアクセスログがあったので、それも残しておきたいケースもあるかと思い、あわせてとりあげます。 起動時の設定ファイル 公式サイトにあるように、インストールスクリプトでやったものとします。 https://cwiki.apache.org/confluence/display/solr/Taking+Solr+to+Production#TakingSolrtoProduction-Logsettings /etc/init.d/solr が起動スクリプトで、その中のSOLR_ENVに指定
さくらVPS+django+scikit-learnで指定した顔の類似画像（エロ動画）検索できるサイトを作るまで - Qiita
#さくらのVPSとDjangoとscikit-learnを使って、気になる顔画像と類似したAV女優が出てるAVの類似画像検索できるウェブサイトを作った。 サイト名はそっくりナビ 今までアプリの開発をしていたのでunityとかopen-GLとかObjective-Cは使ったことあったのだけど、pythonや機械学習の勉強と実益もかねて、1からウェブサービスを作った履歴を記録します。 初心者がはまるポイントは全部はまっていると思うので初心者の人たちには参考になると思います。 ちなみにSIFTとかCNNとか使わなかったのは、BOVW的なやつの精度が低かったり、次元が大きくなって計算量が増えちゃったからです。CNNやるなら動画から画像抽出とかしないとサンプル数足りない感じになっちゃって貧弱なマシンだったので諦めました。 元ネタ：AV画像認識技術とその周辺 ありがとうございます! ##目次 ---
Solrのカレンダー | Advent Calendar 2016 - Qiita
URLYou can post either your article on Qiita or your blog post. About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
SolrとランキングとRankQuery - Qiita
この記事は Solr Advent Calendar 2016 の 25日目です。 今回はSolrのRankQueryについてテキトーに話します。 (なお、この記事の時点でのSolrのバージョンは6.3.0です) Solrのランキングでは大きく分けて以下の3つのコンポーネントが関係します。 Query/Weight/Scorer 検索クエリからQueryParserを介して生成される部分 Query=>Weight=>Scorerの順番で生成 先に行くほど担当範囲が狭くなり、Scorerでは単一のセグメント (LeafReaderContext) Similarity/SimWeight/SimScorer クエリとドキュメントの類似度の計算方法の定義 Solr6系だとBM25が、Solr5系以前だとTFIDFがデフォルト 3つは関係はQuery/Weight/Scorerと同じ感じ Co
Apache SolrCloudでクラスタ環境構築入門 (クラスタ構築〜分散インデシング〜フェールオーバーまで) - Qiita
はじめに Solr vs ElasticSearchな今日この頃ですが、SolrCloudでのレプリケーション環境構築を試してみました。 「solr -e cloud」で同一サーバー上にexampleのSolrCloud環境は簡単に構築できるのですが、具体的に何をやっているのかよくわからないので、複数サーバーで実際に使うであろう手順を踏んでの構築を試みてました。 先に感想としては、RDBMSでMaster-Slaveでのレプリケーション環境はよく構築していましたが、SolrCloudではZooKeeperを用いてのレプリケーション、フェールオーバー、ノーダーノード自動選出など中央集中管理が非常に魅力的だな感じました。それとドキュメントが充実していてわかりやすいのがいいですね。 今回、SolrCloudで構築したい全体像 今回は最小のクラスタ構成を構築してみるという趣旨で、シャード、ノード、
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - Qiita
この記事はVASILY DEVELOPERS BLOGにも同じ内容で投稿しています。よろしければ他の記事もご覧ください。 こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報
Ruby + Sinatra +Line Messaging api +Herokuで位置情報からの飲食店検索 - Qiita
require "json" require 'rest-client' require 'sinatra' require 'bing-search' require 'faraday' require 'line/bot' require 'date' require 'net/https' require 'yaml' require 'cgi' require 'net/http' get '/' do 'test' end def client @client ||= Line::Bot::Client.new { |config| config.channel_secret = ENV["LINE_CHANNEL_SECRET"] config.channel_token = ENV["AS_TOKEN"] } end post '/line/callback' do body
Solrで緯度経度検索をする - Qiita
Solrで緯度経度検索をする場合にはSpatial Searchを使います 検索項目に位置情報のフィルタリングを追加することで、検索の可能性を広げることができます Spatial Searchで必要な設定 JTS(JTS Topology Suite)のインストール 緯度経度検索をするフィールドタイプを追加 追加したフィールドタイプのフィールドを定義 JTSはJavaのライブラリで、地理空間情報処理のためのジオメトリエンジンです JTS(JTS Topology Suite)のインストール 位置情報検索をするためのライブラリをSolrのlibディレクトリに配置します JTSをダウンロードして解凍します $ http://sourceforge.net/projects/jts-topo-suite/files/latest/download $ unzip jts-1.13.zip drw
Apache Solr でサジェストを実現してみる、その２ - Qiita
google 先生のあれです、あれ これ、これ。サジェスト機能ってgoogle先生でいつもお世話になっている「これですかね？」と候補を示してくれるやつですわ。 ともかくすごいんです このサジェスト機能は、簡単そうに見えて仕組みを知ると意外と難しい仕組みなんだなと、まあ「普通」なことが複雑な仕組みで実装が面倒っていうのは、よくあることですねｗ。 要するに ajax を使用しリアルタイムに Solr に問いあわせし結果を描画する。っていうことです。 試してみる SolrのSuggesterを試してみる さんの紹介記事を参考にさせて頂きつつ手順を追って構築してみます。 まず、Apache Solr（JDK7, Solr 4.9.1, jetty 9）をインストールしてみたその１ 前回記事とおりに環境を構築します（起動はしないこと）。 Solr の設定ファイルの配置 RONDHUIT社サイトの、"
全文検索エンジン~Apache Solr~をざっくり&きっちり - Qiita
目次 1. はじめに 2. 検索エンジンの基礎知識 3. Apache Solrを使ってみる 4. Solr + Banana によるデータ可視化 5. あとがき 1. はじめに どうも、EEIC2015の@nobi_sannです。EEIC Advent Calendarの12/19分を担当させていただきます。カレンダーの方では「東京大学電気系縦断忘年会」と登録したのですが、何やら主旨を間違えていたのか一人だけ本当のカレンダーとして使ってしまっていたことが判明し、その後続々と登録される他の方のガチっぽい題名を見た瞬間に となる羽目に。 しかし安心してください。書くネタはちゃんと用意してきました。 題名の通り、今回は検索エンジンについてのお話になります。 注.初めての人向けに書いていたら長くなりそうになってきたので大雑把な話が多いかもしれません。ご了承ください。 2. 検索エンジンの基礎知識
Fluentd+Solr5.3でJavaのGCログを収集 - Qiita
最近、Fluentd + ElasticSearch + Kibana を組み合わせてログの収集・可視化をやっている取り組みをよく見ます。 私もちょっと触ってみたいなーと思っていたのですが、ElasticSearchよりSolrの方がまだ少しは知っていたので、Fluentd + Solr (可視化部分はまた後日) やってみました。 Solrは、Apacheだから(?)同じApache仲間のFlumeと連携させる記事はよく見ますが、Fluentdとの連携はあまり見ないので色々不安でしたが、Fluentdのプラグインを作ってくださっている方がいたので助かりました。 環境 CentOS 6.6 (32bit) Fluentd 0.12.15 プラグイン: fluent-plugin-out-solr 0.0.8 Apache Solr 5.3.1 Oracle JDK 8 Update 65 F
Solrクライアントからのクエリにタイムアウトを設定する - Qiita
<requestHandler name="standard" class="solr.StandardRequestHandler" default="true"> <lst name="defaults"> <!-- other parts left out --> <!-- timeout (in milliseconds) --> <int name="timeAllowed">5000</int> </lst> </requestHandler> Solr Wiki timeAllowed The time allowed for a search to finish. This value only applies to the search and not to requests in general. Time is in milliseconds. Values <= 0
[Apache Solr] Jettyについて - Qiita
Apache Solr は デフォルトでJettyがサーブレットとしてついています。 Tomcatに変える人もいるようですが、Jettyもなかなか性能がいいようなので、 Jettyについて調べたことのメモです。 Jetty とは Jetty は、100%Javaで開発されたJava Servletコンテナ／Webサーバである。WebSocketなどのプロトコルもサポートする。Jetty はオープンソースプロジェクトとして開発され、Apache 2.0 License でリリースされている。JBoss、Apache Geronimoといった他のプロジェクトでも利用されている。 単純で効率的な組み込みやすいWebサーバとなるよう意図して開発されている。サイズが小さいので、組み込み型 Java アプリケーションにWebサービスを提供するのに適している。 その一方で、Apache HadoopやG
![[Apache Solr] Jettyについて - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/dd494920d2dca569fef447ab9e54eb8a8614c64d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCQXBhY2hlJTIwU29sciU1RCUyMEpldHR5JUUzJTgxJUFCJUUzJTgxJUE0JUUzJTgxJTg0JUUzJTgxJUE2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kMjBhZWRjNmJjOGI5ODZiMmFkN2M5NGYwNWNlM2E4OA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwY3hrcHg1OTUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTgwNDI0MWVhMDhjZmZkNTAxMjYzMDgzNGM0NzlmODNm%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D446097a160a83b4eadbaecfb458a3f79)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
solr memo - Qiita
Solr 6.0.0 のインストール - Qiita
Railsでsunspot(solr)を使って全文検索 - Qiita
https://qiita.com/magaya0403/items/8f0e40f8b2e38f13afec
[Solr]全てのドキュメントをインデックスから削除する - Qiita![[Solr]全てのドキュメントをインデックスから削除する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0a4e0d39961f3728d07079b9b077fe92890750e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCU29sciU1RCVFNSU4NSVBOCVFMyU4MSVBNiVFMyU4MSVBRSVFMyU4MyU4OSVFMyU4MiVBRCVFMyU4MyVBNSVFMyU4MyVBMSVFMyU4MyVCMyVFMyU4MyU4OCVFMyU4MiU5MiVFMyU4MiVBNCVFMyU4MyVCMyVFMyU4MyU4NyVFMyU4MyU4MyVFMyU4MiVBRiVFMyU4MiVCOSVFMyU4MSU4QiVFMyU4MiU4OSVFNSU4OSU4QSVFOSU5OSVBNCVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MDI0YTFmYjhlOTE2YTZhZTg0MGY1YWNiY2U1YzA3ZmI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzYWJhMTAyNCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Y2NjMjk4YmE4ZmNiMDEyMmFiZjQ3MzZiNTVkNDBmNTk%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D047c2972936aa156fba4e780f09a4023)
solr memo - Qiita