ElasticsearchでKuromoji Tokenizerを試してみたメモです。 前回、NGram TokenizerでN-Gramを試してみたので、 今回は形態素解析であるKuromoji Tokenizerを試してみました。 Ubuntu上でElasticsearch5.4.0で試してみます。 kuromoji kuromojiは日本語の形態素解析器です。 N-Gramでは単語をN文字ごとに分割するのに対して、 kuromojiでは辞書を利用して文章を単語に分割します。 インストール・起動 kuromoji tokenizerはデフォルトでは入っていないのでインストールする必要があります。 Japanese (kuromoji) Analysis pluginをインストールします。 Japanese (kuromoji) Analysis pluginには下記のトークナイザとフィ

Kinesisを使うと、例えばデータファイルを行毎にストリームとして流すことが可能です。 またKinesisをLambdaトリガーとして使うことで、後続処理をLambdaで作ることができます。 アップロード テストとして、以下のLambdaFunctionを作成し、10,000件のデータファイルを流してみました。 1行あたりのデータ量は、平均で2KiB程度です。 Lambda Function import boto3 import urllib.parse s3 = boto3.resource('s3', aws_access_key_id='XXXXXXXXXX', aws_secret_access_key='XXXXXXXXXXXXXXXXXXXXXXXXX', region_name='ap-northeast-1' ) kinesis = boto3.client('kine

※画面は開発中のものです。実際の製品とはぜんぜん違います。 各話一覧 第１話『画像が表示できました』 第２話『ゲームループとキー入力ができました』 第３話『オンラインゲームになりました』 第４話『WebGLを使い始めたらどう見てもマインクラフトです』 第５話『Babylonjsでｹﾞｰﾄｵﾌﾞﾊﾞﾋﾞﾛﾝ』 第６話『Blenderで涼風青葉ちゃんごっこの巻』 第７話『オープンワールドという泥沼』 第８話『たまにはデモします』 第９話『サウンドエフェクトの作業をしてコーディングで荒んだ心を癒やします』 第10話『ゲッダン☆と謎の儀式《バッド・ノウハウ》』 第11話『タイトル画面があるとゲームっぽい』 第12話『RPGアツマールに私も集まーる』 第13話『ネオアームストロングCannon.js砲じゃねえか完成度高けーなオイ』 第14話『冒涜的Firebase活用法』 第15話『babylon.