詳しくは投稿をご覧ください。
はじめに 2016年12月現在、SlackAPIでは公式に全チャンネルの全発言をリアルタイムに取得する方法が用意されていません。 つまりこれはSlackが我々に叩きつけた挑戦状ではないでしょうか?(?) 全能感を味わうツールを作りたかった私は試行錯誤の上、検索APIを利用する方法で全チャンネルの全発言を取得することができたので、今回作ったツールを含め紹介します。 slackの検索APIについて https://api.slack.com/methods/search.all を使用します。 実は中身は… この検索APIのバックエンド実はsolrなんです!様々なクエリを投げていろいろ実験してるときに白状しました! このリクエストは - 昨日以降の発言 - タイムスタンプでソート とだけ指定してSlackの検索APIを殴っています。 なんとこれだけで、10秒くらいの遅延はあるもののほぼリアルタ
Solr 6でneologdが組み込まれたkuromojiを使う方法 こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは商品情報の全文検索を行うためのバックエンドに、Apache Solr(以下、Solr)を利用しています。 先日、Solrのメジャーバージョンを最新の6にアップグレードしました。 それに伴ってSolrの形態素解析エンジンであるkuromojiに新語辞書であるmecab-ipadic-neologd(以下、neologd)を組み込みました。 この記事では、組み込むことのメリット及び、具体的な組み込み方を紹介します。 kuromojiにneologdを組み込むことのメリット では、まずkuromojiにneologdを組み込むことのメリットを、転置インデックスを利用した全文検索の仕組みに基づいて説明します。 転置インデックスを利用した全文検索の仕組み
バニラエアのウェブサイトにアクセスいただいたお客様へ バニラエアは2019年10月27 日よりPeachとして運航を開始しています。 これまでバニラエアで運航していた路線はPeach のウェブサイトでご購入いただけます。(一部路線を除く) これより先はPeachのウェブサイトへ移動します。 10秒後に自動転送します。 自動で画面を読み込まない場合は、下のボタンをクリックしてください。 Peachのウェブサイトへ To our customers who have accessed the Vanilla Air website; Vanilla Air has been operating as Peach Airlines as of October 27, 2019. Most routes previously operated by Vanilla Air are still in
Googleは昨年8月に「Alphabet」とその傘下企業群という形に組織構造を変更したため、今年の手紙はGoogle CEOとなったSundar Pichai氏が本文を書いています。 この手紙ではGoogleの今後の方向性が明確に示されています。それは機械学習やAI(人工知能)への傾倒です。 Googleは創業当初からこの分野へ積極的に投資しリードしてきた存在ですが、今年の手紙の中でPichai氏は「We will move from mobile first to an AI first world.」(私たちはモバイルファーストからAIファーストの世界へ移るつもりだ)と、その変化を明確にしました。 その背景にある考え方はどのようなものでしょうか。手紙はいくつかの章に分かれているので、章ごとのサマリを紹介しましょう。 Knowledge for everyone: search and
When Google was founded, there were about 300 million people using the Internet. The vast majority of them were sitting at desktop computers and looking for answers that came in the form of blue links. Today, the Internet community is closer to 3 billion people, and you’re searching for all kinds of help everywhere — from your cars and your classrooms, to your homes, to the phones in your pockets.
Docker Composeを試してみたので、これを使ってApache Solrのレプリケーションを構成してみたいと思います。 Index Replication | Apache Solr Reference Guide 6.6 Solrのレプリケーションは、マスターとスレーブがあって、それぞれの設定をsolrconfig.xmlにすればよいみたいです。 参考) https://cwiki.apache.org/confluence/display/solr/Making+and+Restoring+Backups+of+SolrCores tree-tips: solrのReplicationHandlerで簡単レプリケーション! | Apache Solr moco(beta)'s backup: Solrのレプリケーション機能を試す (1) 第5回 Solr4でレプリケーションを構
「全文検索エンジンってどれがいい?→ElasticsearchとNode.jsで作るといい感じ」に続き、サイト内検索などに使える全文検索エンジンをElasticsearchとNode.jsで作ります。 検索エンジンの構築 データがインデックス付けされると、検索エンジンを実装する準備が整います。Elasticsearchはクエリを定義するために、Query DSLというJSONに基づいた直感的で完全な検索クエリ構造を提供しています。利用できる検索クエリの種類はたくさんありますが、本記事ではより一般的なものについて触れます。Query DSLの完全なマニュアルはここにあります。 例として説明したすべてのソースコードへのリンクを提供しています。環境を設定し、テストデータをインデックスして、リポジトリをコピーすれば、ローカルマシンのコマンドラインからnode filename.jsとするだけでサン
検索エンジンやログ収集可視化のプラットフォームとして注目が集まっているElasticsearch。9月のJJUGナイトセミナーではこのElasticsearchをテーマとして、Elastic社やユーザーパートナーのエンジニアによるセッションを行ないます。 以下当てはまる方はぜひご参加ください! Elasticsearchを使ってみたいけどキッカケが掴めない 何が便利なのかよく分からない 実際に使っていてもっと便利な使い方を知りたい トラブルを抱えているから聞きたい セッション終了後には懇親会も予定していますので、ぜひスピーカーを掴まえてどんどん質問してくださいね! なお今回は会場のスケジュール都合で、いつもの日本オラクル(外苑前)ではなく、日本マイクロソフト(品川) にて開催いたします。「来てみたけど誰もいない」ということがないようご注意を! タイムテーブル 時間 内容 発表者
概要 Apache Solr(以下、Solr)で商品検索のサジェスターを作ったので、それを紹介します。 サジェスターを作るにあたり、どのようにスキーマやサーチコンポーネントを定義すれば良いのかを説明します。 なお、この記事はsolr 4.10.4を対象にした記事です。 それ以外のバージョンでは設定項目が変わってくる場合があります。 サジェスターとは サジェスターとは、ユーザーが検索用のフォームに単語を入力している途中に、その入力途中の単語を補完する機能です。 例えば、Google検索でサジェスターについて調べようとした時に、「さじぇ」と入力した時点で以下のように「さじぇ」に続く単語が候補として現れます。 このような機能を実装することによって、ユーザーがテキストを入力する手間が省けたり、入力間違いをした単語で検索をしてしまうことを防げたりする効果があります。 日本語のサジェスターの難しいとこ
Solrで緯度経度検索をする場合にはSpatial Searchを使います 検索項目に位置情報のフィルタリングを追加することで、検索の可能性を広げることができます Spatial Searchで必要な設定 JTS(JTS Topology Suite)のインストール 緯度経度検索をするフィールドタイプを追加 追加したフィールドタイプのフィールドを定義 JTSはJavaのライブラリで、地理空間情報処理のためのジオメトリエンジンです JTS(JTS Topology Suite)のインストール 位置情報検索をするためのライブラリをSolrのlibディレクトリに配置します JTSをダウンロードして解凍します $ http://sourceforge.net/projects/jts-topo-suite/files/latest/download $ unzip jts-1.13.zip drw
こんにちは、VASILYバックエンドエンジニアの塩崎です。 今回はApache Solr(以下、Solr)で商品検索のサジェスターを作ったので、それを紹介します。 サジェスターを作るにあたり、どのようにスキーマやサーチコンポーネントを定義すれば良いのかを説明します。 なお、この記事はsolr 4.10.4を対象にした記事です。 それ以外のバージョンでは設定項目が変わってくる場合があります。 サジェスターとは サジェスターとは、ユーザーが検索用のフォームに単語を入力している途中に、その入力途中の単語を補完する機能です。 例えば、Google検索でサジェスターについて調べようとした時に、「さじぇ」と入力した時点で以下のように「さじぇ」に続く単語が候補として現れます。 このような機能を実装することによって、ユーザーがテキストを入力する手間が省けたり、入力間違いをした単語で検索をしてしまうことを防
Introduction Apache Solr is an open source enterprise search server based on the Apache Lucene Java search library, with XML/HTTP and JSON APIs, hit highlighting, faceted search, caching, replication, and a web administration interface. It runs in a Java servlet container such as Jetty. See http://lucene.apache.org/solr for more information. Release 5.0.0 Consult the LUCENE_CHANGES.txt file for ad
google 先生のあれです、あれ これ、これ。サジェスト機能ってgoogle先生でいつもお世話になっている「これですかね?」と候補を示してくれるやつですわ。 ともかくすごいんです このサジェスト機能は、簡単そうに見えて仕組みを知ると意外と難しい仕組みなんだなと、まあ「普通」なことが複雑な仕組みで実装が面倒っていうのは、よくあることですねw。 要するに ajax を使用しリアルタイムに Solr に問いあわせし結果を描画する。っていうことです。 試してみる SolrのSuggesterを試してみる さんの紹介記事を参考にさせて頂きつつ手順を追って構築してみます。 まず、Apache Solr(JDK7, Solr 4.9.1, jetty 9)をインストールしてみたその1 前回記事とおりに環境を構築します(起動はしないこと)。 Solr の設定ファイルの配置 RONDHUIT社サイトの、"
Here’s an overview of some of the new features in Solr 6.0. Download Solr 6 to try these features out and give us feedback! You can also check out upcoming features of the next Solr release. Parallel SQL Parallel SQL queries across SolrCloud collections. The SQL engine is built on top of Solr’s Streaming API (Streaming Expressions), which provides support for parallel relational algebra and real-t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く