Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
Yahoo!検索API と Google Web API について
【この記事の所要時間 ： 約 2 分】 検索APIを使ってみようかと思って調べてみると、Yahoo!JAPANはRESTのWebサービスがあるのに、GoogleにはSOAPしかなく、RESTがなかった。 ん～と思っているとGoogleでもRESTを使うことができるという記事を発見！ Google Web API をRESTで使う方法:phpspot開発日誌 Google検索結果をXMLで取得。これによりSOAPライブラリなしにGoogle検索がRESTで使用可能です。 XooMLeと同様の仕組みがあればYahoo!APIなどと同じように簡単に使えますね。 SOAPに弱いプログラミング言語からのアクセスにも対応できそうです。 とのことで、XooMLeのサービスを経由すればＯＫとのこと。 ためしにやってみると、XooMLeで出力されるXMLを読み込んで処理して・・・うまくいった！ Yahoo!
GoogleとYahoo!、WebメールをSNS化へ
GoogleまたはYahoo!が自社のWebメールユーザーの巨大なネットワークをソーシャルネットワーク化して、ユーザーが個人のプロファイルを表示したり、ほかのユーザーと交流したりできるようにしたら、一夜にしてFacebookやMySpaceの強敵になるだろう。 そうなればGoogleまたはYahoo!、あるいはその両方は、瞬く間に大手ソーシャルネットワーキングサービス（SNS）よりも大きなユーザー基盤を手にし、IBMのSNSソフトLotus Connectionsのように電子メールプラットフォーム基盤の強みも持つことになる。 このアイデアはYahoo!幹部が示したものだ。この幹部は同社がYahoo! Mailをよりソーシャル化して価値を高める方法を検討していることをNew York Timesに明らかにし、アナリストの間で憶測を呼んだ。 Yahoo!のコミュニケーション・コミュニティー担当
Yahoo API + Google = ユーコラ : 404 Blog Not Found
2007年11月21日23:00 カテゴリMediaLightweight Languages Yahoo API + Google = ユーコラ 実はこれ、Web上ではさらに簡単だったりします。 404 Blog Not Found:Evening 5 orz... コラージュされるのを承知でVTR取材を受け付けてきましたが、この考えを改めなければならないかも知れません。 あれならいっそ、「あかさたなはまやらわ....ん」を録音してもらって、それを細かく切り刻んで好きなだけコラージュしてもらった方がマシかも。 どうせなら極限まで簡単にしよう、というわけでこんなものを作ってみました。 何をやっているかは、見れば一目瞭然でしょう。 ここに書いてあるのは私の台詞ではなく、他の人が言ったことの引用にすぎない。 日本語を形態素にバラすのにはYahoo!デベロッパーネットワーク - テキスト解析 -
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
