チャリンコ通勤による滝のような汗で、朝からTシャツがシースルーになってしまうmikioです。さて今回は、Tokyo Cabinet（TC）のデータベースを各種のアルゴリズムで圧縮して利用する方法についてご紹介します。 圧縮B+木 B+木とは、比較関数の値による順序が近いレコード群を単一のページにまとめ、各ページにB木（multiway balanced treeの略であり、二分木（binary tree）とは違います）の索引を張ったものです。理論的にはレコードの探索も更新も O(log n) の時間計算量で行え、内部ノード（B木）の操作をキャッシュすると実質的には O(1) の時間計算量で探索や更新が行えるという、かなり安定した性能を備えるデータ構造です。その上、レコードが一定の順序に基づいて並べられているので、数値の範囲検索や文字列の前方一致検索が高速に行えたり、カーソルによって順序に基

先日、lz4がデータ転送に有効ということを知ったので、 lz4/zlibの圧縮率、圧縮展開速度の比較について調べることにしました。 さらに、2015年にFacebookから出たという新鋭のzstdもついでに調べることにしました。 今回は簡易調査なので、Pythonの圧縮ライブラリを使用して、 データセットはSqueeze Chart(Text/TEST_BIBLE/eng.txt)のみを使用することにしました。 スクリプト類は以下に配置しました。 GitHub - moamoai/TestComp] ライブラリインストール Pythonの標準ライブラリにlz4とzstdはないようなので、まずはインストールです。 pip3 install lz4 pip3 install zstd データ作成 Squeeze Chart • Lossless Data Compression Benchma

みんな大好きレトロニムこんにちは！「1記事/年」未満の超スローペースの更新で定評がある私のnoteなのですが、今回は 言語学な人々 Advent Calendar 2023 に参加させてもらうことにしました！ネタはたくさんある（のになぜ「1記事/年」未満なのか）（苦）（1日が48日あれば毎日記事を上げられるのですが…）（ん、それだと1〜2ヶ月に1記事くらいは上げられる計算にならない？）（苦）ので、迷いましたが、「レトロニムの言語学？」で行ってみたいと思います！ちなみに上の画像はDALL·E 3さんによるレトロニムのイメージです。 レトロニムという用語はわりと人口に膾炙していると思います。Wikipedia にも例がいっぱい挙げてありますね。Twitter でもレトロニムネタはわりと「言語クラスタ」などの狭い領域にとどまらず、ものすごくバズる、という印象があります。いくつかご紹介。 知人の古

こんにちは。LINEヤフー株式会社で自然言語処理の開発を担当している伊奈です。 私が属する自然言語処理チームで開発しているテキスト解析 Web API は、Yahoo!デベロッパーネットワークから社外に公開しています。テキスト解析 Web API をより効果的に活用できるように、『テキスト解析 Web API クックブック』を公開しました。 今回はその活用事例集の中から、テキスト解析 Web API の「ルビ振り」と「かな漢字変換」の活用例を紹介します。 テキスト解析 Web API の「ルビ振り」と「かな漢字変換」の使い方 最初に、テキスト解析 Web API の「ルビ振り」と「かな漢字変換」について簡単に紹介します。 テキスト解析 Web API の各機能の入出力のインターフェースをできるだけ共通化するために、JSON-RPC 2.0 を採用しています。具体的には、下記のような入出力イ

Yahoo!デベロッパーネットワークのテキスト解析 Web API の CORS 対応とそのサンプルプログラムたち 2023-11-09-1 [WebAPI][NLP][WebTool][Programming] 2023年の春ごろ、Yahoo!デベロッパーネットワークのテキスト解析 Web API がひっそりと CORS 対応しました。簡単に言うと、ブラウザで開いたウェブページから直接 Web API を叩けるようになった、ということです。 テキスト解析 Web API の CORS 対応の概略は10月に LINEヤフー Tech Blog に書きました。概略というか単なるサンプルプログラム紹介です。Ajax な HTML ページや Chrome 拡張機能などの簡単なサンプルプログラムがあります。 テキスト解析 Web API を JavaScript から直接使う（ API が COR

こんにちは。LINEヤフー株式会社で自然言語処理の開発を担当している牧野です。 今回は、Yahoo!デベロッパーネットワークから公開しているテキスト解析 Web API の「日本語形態素解析」で使えるようになった追加機能のユーザ辞書を紹介します。このユーザ辞書を使うと、自分だけのオリジナルの辞書で独自の解析が可能です。 また今回は、ユーザ辞書機能を工夫して使った簡易感情判定についても紹介します。 日本語形態素解析 Web API でできること 最初に、日本語形態素解析 Web API について簡単に紹介します。 日本語形態素解析 Web API 日本語形態素解析 Web API は、日本語文を形態素に分割し、品詞の推定や活用処理、読みを付与することができます。形態素とは、日本語として意味を持つ最小単位のことです。「辞書に載っている単語」程度のイメージで捉えていただけると良いでしょう。 たと

こんにちは。LINEヤフー株式会社でテキストマイニングや自然言語処理などをやっている山下（ @yto ）です。 Yahoo!デベロッパーネットワークのテキスト解析 Web API が CORS（Cross-Origin Resource Sharing）対応したため、サーバがなくてもブラウザから直接 Web API にアクセスできるようになりました（参考）。 そのテキスト解析 Web API の機能の一つである「校正支援」は日本語文章の品質チェック（校正）を支援するもので、文字の入力ミス、言葉の誤用、わかりにくい表記、不適切な表現などが使われていないかをチェックして、指摘します（内部の辞書データをベースとしているため完全なものではないことをご承知おきください）。 この校正支援機能のサンプルプログラムとして「HTML ファイル1つだけで完結する校正支援ツール」を作ったので紹介します。入力され

こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。 広告配信サーバーは広告リクエストごとに ユーザーの興味関心度合い 広告効果 メディア収益性 を考慮した最適な広告を選びます。具体的には、広告主が設定した入札額と広

「080-1234-1234」から、上記の番号に電話をおかけください。（通話料無料） 電話番号の確認が取れると自動で画面が切り替わり、認証完了となります。この画面を開いたままお待ちください。

Alfred Spector, Peter Norvig, Chris Wiggins, Jeannette M. Wing © 2022 This material is now published by the Cambridge University Press as Data Science in Context: Foundations, Challenges, Opportunities. See major booksellers, such as Amazon or Barnes & Noble, or http://www.cambridge.org/9781009272209. NEW: See Supplemental Materials now containing Course Materials and Select Student Papers and als