yuroyoroのブックマーク - はてなブックマーク

HTTP/2 プロトコルネゴシエーション方法と ATS での実装

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめにこんにちは。システム統括本部プラットフォーム開発本部大久保諒です。本稿では、次世代ウェブプロトコルである HTTP/2 を使用するにあたり必要となる、クライアントとサーバー間でどのプロトコルを使用するかの合意を取る処理（プロトコルネゴシエーション）に関する簡単な説明と、Yahoo! JAPAN において広く使用されている HTTP プロキシサーバー・アクセラレータである ATS（Apache Traffic Server）におけるサポート状況について解説します。また、本稿を執筆するに辺り HTTP/2 へのプロトコルネゴシエーション方法の一つである HTTP/1.1 からの Upgrade 機能を ATS に追

yuroyoro 2014/12/03

http2

リンク

Unicodeを斬りたい

※2014/4/17　記事の内容に関していくつか訂正させていただきました。ご指摘いただいた皆様ありがとうございました。誤字脱字を修正しました。ソースコードの間違いを修正しました。 BOMの記述を分かりやすい表現に修正しました。合字に関する記載を追記いたしました。こんにちは。 Yahoo! JAPANで通知プラットフォームの開発をおこなっています佐々木海（@Lewuathe）と申します。普段は全社向けのPush通知プラットフォームやメール配信プラットフォームの開発、保守をしています。通知というのはPush通知にしろ、メール配信にしろ基本的には「テキストデータ」を送ることになります。プラットフォーム内ではこれらのテキストに対してさまざまな処理をかけることになるのですが、さすが日本語といったところでしょうか、一筋縄ではいかない部分が出てきました。具体的にはUTF-8でエンコーディング

yuroyoro 2014/04/17

リンク

Hadoopを使いこなす(1)

まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed

yuroyoro 2010/02/04

リンク

キーフレーズ抽出API の紹介

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、日本語処理技術部の阿久津剛之です。 Yahoo!デベロッパーネットワークにて、キーフレーズ抽出APIを公開しましたので紹介します。キーフレーズ抽出APIとは、与えられた文章から、その文章を特徴づける重要な部分（キーフレーズ）を抽出し、独自の算出方法により点数付けを行って返すAPIです。例えば、「東京ミッドタウンから青山一丁目駅まで歩いて15分かかります」という文章をキーフレーズ抽出APIに与えると、「東京ミッドタウン」「青山一丁目駅」「15分」という結果が返ってきます。ここで、「青山一丁目駅」に注目してみましょう。「青山一丁目駅」は、日本語形態素解析 APIを用いて解析すると、青山 / 一 / 丁目 / 駅

yuroyoro 2009/06/04

リンク

日本語係り受け解析APIとマッシュアップ

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サービス統括部のS・Kと申します。前回お送りしました「日本語形態素解析 APIとマッシュアップ」に続きまして、Yahoo! JAPANが提供するWeb APIの中でも難解であろう「日本語係り受け解析API」を前回と同様、皆様のマッシュアップにお役立ていただけるようなじみの薄い自然言語処理用語の解説と共に分かりやすくお伝えできればと思います。まずは、前回のおさらいです。形態素解析は日本語の文を言語として意味を成す最小単位の「形態素」に分ける解析処理でした。そして、日本語形態素解析 APIは「形態素」に分け、合わせて「品詞」情報が取得できましたね。係り受け解析は、その形態素解析処理を元にさらに一歩踏み込んだ情報の解析をします。そ