[B! Japanese] wlbhiroのブックマーク

お金をかけずにサーバーの勉強をしよう - OpenSearchで日本語の検索をする -

こんにちは。「OpenSearchインストール」でデータベースが動くようにし、「OpenSearch Dashboardsインストール」で、ダッシュボードも使えるようになり、「OpenSearchのユーザー追加」で、一般ユーザーを登録することができ、「OpenSearchのインデックスに Pythonでデータを突っ込む」で、日本語データが入ったインデックスを作ることができました。しかし、日本語検索結果はノイズが入ってしまいイマイチなところがありますので、日本語形態素解析エンジンを OpenSearchで使えるようにしましょう。それがこれ。 kuromoji OpenSearchはプラグインとして kuromojiをインストールすることができます。プラグインのドキュメントはこちら Installing plugins このドキュメントを見ると、Additional plugin

wlbhiro 2024/06/19

リンク

Elasticsearchのための新しい形態素解析器「Sudachi」 - Qiita

tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」なにが良いの？最新の辞書企業（ワークスアプリケーションズ）による継続的な更新複数の分割単位 → 検索用途での再現率と適合率の向上プラグインによる拡張省メモリ Elasticsearchで使いたいプラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください注: この記事の執筆者はSudachiの開発に関わっていますさまざまな形態素解析器形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利

wlbhiro 2019/12/11

リンク

Web上のコンテンツや入力情報などが、英語か日本語か判別したいときのメモ - Qiita

判別の仕方 rubyでは、正規表現で「ひらがな」「カタカナ」「漢字」をそれぞれ、ひらがな：/\p{Hiragana}/ カタカナ：/\p{Katakana}/ 漢字：/[一-龠々]/ で表現できるので、とある文字列に日本語が含まれるかどうかの判定は以下で判別できる。

wlbhiro 2019/06/03

リンク

[翻訳] Spark Architecture: memory - Qiita

ここでの述べられているメモリモデルはSpark 1.6+ではdeprecatedとなっています。新しいメモリモデルは、 UnifiedMemoryManager　をベースにしていて厳密なexecution と storage memory の境界がありません。最近、私はSparkのアーキテクチャに関しての質問にStackOverflowで解答していました。それらの質問はインターネット上におけるSparkのアーキテクチャに対するよい説明がないのが原因であるように見えました。オフィシャルのガイドでさえ、詳細について書かれていなく、よいダイアグラムももちろんありません。”Learning Spark”のような幾つかの本や公式のワークショップの資料に関しても同じことがいえます。この記事では上記の問題に対する解答と Spark のアーキテクチャに対するガイドと Spark アーキテクチャに対する

wlbhiro 2016/07/25

リンク

SparkアプリケーションのためのJavaガベージコレクションのチューニングについて - TEPPEI STUDIO

この記事は、インテルの SSG STOビッグデータテクノロジーグループのメンバーからDataBricksに寄稿されたブログを翻訳したものです。誤訳がありましたら、@teppei_tosaに御連絡ください。 Sparkは、その優れた性能、シンプルなインターフェイス、および分析や計算のための豊富なライブラリによって、幅広い業界で採用されてきています。ビッグデータエコシステムにおける多くのプロジェクトと同様に、Sparkは、Java仮想マシン（JVM）上で実行されます。Sparkはメモリに大量のデータを格納することにおいて、Javaのメモリ管理とガベージコレクション（GC）に大きく頼っています。また、プロジェクトTungstenなどの新たな取り組みは、将来のバージョンで、メモリ管理のさらなる簡素化と最適化を目指しています。しかし、今日時点でも、JavaのGCオプションとパラメータを理解しているユ

wlbhiro 2016/07/22

リンク

チューニング - Spark 3.2.1 ドキュメント日本語訳

ここから少し、楽天モバイルの宣伝になります。このサイトでアフィリエートや広告を貼るつもりは全然無かったのですが、 6月中に楽天モバイルの契約30件を取るか、船を降りるかするように言われています。回線の増設を考えている方、お子様に新しく携帯を持たせようと考えている方、下記リンク先で楽天にログイン後、楽天モバイルの各プランをご検討いただけないでしょうか。楽天モバイル紹介リンク Sparkのチューニングデータのシリアライズメモリーチューニングメモリ管理概要メモリ消費の決定データ構造のチューニングシリアライズ化されたRDDストレージガベージコレクションのチューニング他に考慮すべきこと並行度のレベル入力パスの並列リスト reduceタスクのメモリの使用大きな変数のブロードキャストデータの局所性概要ほとんどのSparkの計算のメモリ内の性質により、Sparkプロ

wlbhiro 2016/07/21

リンク

javaで日本語のみをエンコードする | Hack

他の特殊文字はエンコードせずに日本語のみエンコードしたい場合自分でメソッドを構成する他 javaのURIクラス内にあるtoASCIIString()メソッドを用いると半角スペース意外の特殊文字と英語以外をASCIIに変換してくれるので便利です。 String str = "日本語"; str = new URI(str).toASCIIString();

wlbhiro 2015/11/15

Japanese only encode.

リンク

はてなブックマーク

タグ

関連タグで絞り込む (16)

Japaneseに関するwlbhiroのブックマーク (7)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス