タグ

データと検索に関するsionsouのブックマーク (3)

  • 検索エンジンの常識をApache Solrで身につける

    検索エンジンの常識をApache Solrで身につける:ビッグデータ処理の常識をJavaで身につける(1)(2/4 ページ) 【2】言語同定器 検索エンジンで複数の言語からなる文書集合のインデックスを生成する際、入力文書の記述言語によって処理が異なることがあります。 例えば、日語文書では単語の区切りがないため、トークナイザが文中に含まれる単語を確率的に推定して単語を切り出してあげる必要があります。一方で、英語の文は単語の区切りが自明であるため、トークナイザが行う処理はほとんどありません。このように、入力文書の記述言語が複数存在する状況では、入力文書の記述言語によって利用するトークナイザなどのコンポーネントを変更する必要があります。 上記のように入力言語によって処理内容を変えるためには、そもそも入力クエリや文書が、どの言語で記述されているのかを同定する必要があります。「言語同定器」というコ

    検索エンジンの常識をApache Solrで身につける
  • リクルート流Elasticsearchの使い方

    タイトル: 『認証の課題とID連携の実装 �〜ハンズオン〜』 概要: FIDO、ID連携(OAuth・OpenID Connect)をはじめとした最近の技術をご紹介します。FIDOは端末とサーバー間でユーザー認証を安全に連携するための仕組みです。OpenID Connectはユーザーの認証と認可を連携するためのID連携の仕組みで、OAuth 2.0を拡張した仕様であり、HTTP通信やJSONなど基礎的なWeb技術によって構成されています。FIDOとID連携の技術を学んだ後、実習ではGolangを用いてWebアプリケーション上にOpenID Connectを実装します。実装の注意点とそのリスク、仕様に施されているセキュリティー対策についてハンズオンを行いながら解説します。 セキュリティ・キャンプ全国大会2019 専門講義 選択コース B4 認証の課題とID連携の実装 〜ハンズオン〜 Aug

    リクルート流Elasticsearchの使い方
  • Elasticsearch 6.3.0 の新機能を試してみた | DevelopersIO

    ジョブ実行 ジョブ実行の開始は API をリクエストするだけです。 Request POST _xpack/rollup/job/<job_name>/_start 集計データの確認 しばらく待つと指定したインデックス rollup_elb にデータが格納されます。例えば以下のようなデータがインデックスされます。 POST rollup_elblog/_search { "took": 2, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 24, "max_score": 1, "hits": [ { "_index": "rollup_elblog", "_type": "_doc", "_id": "35506583

    Elasticsearch 6.3.0 の新機能を試してみた | DevelopersIO
  • 1