Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan 2016」において、現在運用中のビッグデータ処理基盤の規模、そして同社が抱えている課題と、それをどう解決していくのかを基調講演の中で示しました。 同社が示した解決方法は、Hadoopなどのビッグデータ処理基盤を使い倒す側から、作る側へ向かうという大胆なものです。同社の貢献はオープンソースとなり、今後さらに多くの課題解決に役立つことになりそうです。 同社データインフラ本部 遠藤禎士（えんどうただし）氏
Yahoo Cloud Object Store - Object Storage at Exabyte Scale
Yahoo stores more than 250 Billion objects and half an exabyte of perpetually durable user content such as photos, videos, email, and blog posts. Object storage at Yahoo is growing at 20-25% annually. The growth is primarily driven by mobile, images, video, and user growth. Yahoo is betting on software defined storage to scale storage cost effectively along with the durability and latency guarante
Pig and Hive at Yahoo! · Yahoo! Hadoop Blog
Yahoo! has begun evaluating Hive for use as part of its Hadoop stack. Since, in many peoples' minds, Hive and Pig are roughly equivalent and Pig Latin is very close to SQL, this has led to some confusion. Why are we interested in using both technologies? As we have looked at our workloads and analyzed our use cases, we have come to the conclusion that the different use cases require different tool
Yahoo!’s Geo-Replication Service, PNUTS
Thoughts on systems and networking, with occasional detours A few weeks ago, I had the chance to visit Yahoo! Research. I had nice conversations with Brian Cooper and Raghu Ramakrishnan regarding their new storage infrastructure, PNUTS. I had a great time during my visit and wanted to write a bit about PNUTS after going through their paper in more detail. Their work is addressing what I conside
日本語係り受け解析APIとマッシュアップ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サービス統括部のS・Kと申します。 前回お送りしました「日本語形態素解析APIとマッシュアップ」に続きまして、Yahoo! JAPANが提供するWeb APIの中でも難解であろう「日本語係り受け解析API」を前回と同様、皆様のマッシュアップにお役立ていただけるようなじみの薄い自然言語処理用語の解説と共に分かりやすくお伝えできればと思います。 まずは、前回のおさらいです。 形態素解析は日本語の文を言語として意味を成す最小単位の「形態素」に分ける解析処理でした。そして、日本語形態素解析APIは「形態素」に分け、合わせて「品詞」情報が取得できましたね。 係り受け解析は、その形態素解析処理を元にさらに一歩踏み込んだ情報の解析をします。 そ
ウェブ系の研究をするなら Microsoft に行くべき - 武蔵野日記
SIGIR 2009 の採択論文が発表されていたようだ。SIGIR というのは情報検索に関する世界で一番権威ある国際会議で、情報系の国際会議ランキングでもトップ10にランクインしている。その採択数が一番多いのは Microsoft、二番目が Yahoo! 次いで Google (でも3本だけ)という結果に。 なぜ採択数(率)が問題になるかというと、情報系の国際会議というのは最新の研究成果を発表する場であり、投稿された論文に2人以上の査読者がついて各項目について点数をつけ、一定点数以上のものだけを採択するので、国際会議のランクに応じてそれなりのクオリティの論文が書けないとそもそも通らないし、1人で書ける論文の量にも限界があるので大量に通せる研究機関は研究者の層も厚いことが分かるからである。 上記リンク先でも書いてあるが再度引用すると、 38% of the papers have at le
Yahoo!オークションでのMySQL 冗長化技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
7 cool research projects from Yahoo | Yahoo! Research
Originally published on techradar.com - March 3, 2009 The proof is in the pudding, as they say. At Yahoo, the pudding is quite murky at present, what with Jerry Yang out as CEO, a disastrous 2008 in terms of stock price and failing to be taken over by Microsoft. Yet, just in the past few weeks, as Carol Bartz took over as CEO, it's as though the dark cloud has lifted. Truth be told, Yahoo has just
<特別企画>IT企業ラボ（2） 楽天技術研究所｜転職ノウハウ｜転職・求人情報サイトのマイナビ転職
IT／WEBエンジニアの職務経歴書 ITエンジニアのための職務経歴書 実際の職務経歴書サンプルを用いて、書き方のポイントを紹介 職務経歴書・徹底指導！ 採用担当者に伝わるアピールポイントの作り方 システムエンジニア（SE）・ITエンジニアの志望動機サンプル 未経験・経験者の志望動機の例文とプロからのアドバイスも！ 社内システム開発・運用（社内SE）の自己PRサンプル 応募企業が「どんな人材を求めているのか」を把握し、自己PRを作成しよう WEB・インターネット関連職（ディレクター・デザイナーなど）の職務経歴書 採用担当者が見ているポイントをおさえよう IT／WEBエンジニアの職務経歴書をダウンロード 見本（サンプル）・テンプレートを活用して、あなたの強みをアピール IT／WEBエンジニアのキャリアを考える SES企業の年収・仕事内容・将来性を解説 SESで働くメリットは？ フロントエンドエ
MySQLによるデータウェアハウス構築
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、オークション事業部のWangです。 データウェアハウス（以下DWH）という言葉になじみのない方は検索していただいたほうがよいかもしれません。 検索するのがめんどい、という方は、かみ砕いた表現ができなくて恐縮ですが、 基幹系システムから抽出したデータを目的をもって再構成し、 使用可能な状態に保管されたデータの集合体、とお考えください。 オークションでは、具体的には出品、入札、落札などのトランザクションデータや、 それをいろいろな単位で集計したデータなどが該当します。 ここでいう単位というのはたとえば、日ごと、週ごと、月ごとや、以前の記事でも紹介されている カテゴリといったものになります。 こういったデータは、運用、運営、
Pig | Yahoo! Research
We are creating infrastructure to support ad-hoc analysis of very large data sets. Parallel processing is the name of the game. Our system runs on a cluster computing architecture, on top of which sit several layers of abstraction that ultimately bring the power of parallel computing into the hands of ordinary users. The layers in between automatically translate user queries into efficient paralle
Yahoo! Search BOSS Mashup Framework - YDN
The BOSS Mashup Framework is an experimental Python library that provides developers with SQL-like constructs for mashing up the BOSS API with third-party data sources. The library exposes data constructors that will "best effort" unify response formats regardless of their XML, JSON, RSS/RDF structures. In this paradigm, the developer does not need to specify the parsing and conversion logic per d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera Hybrid Data Community
Open Source Distributed Computing: Yahoo’s Hadoop Support · YDN Blog
Special Big Thinker Event: Michael J. Carey | Yahoo! Labs
Google Groups
Yahoo!グループ : Yahoo!デベロッパーネットワーク メッセージ : 282 件中 17 件目を表示
Yahoo's Key Terms Extraction
Pig Latin: A Not-So-Foreign Language for Data Processing Christopher Olston ∗ Yahoo! Research Benjamin Reed † Yahoo! Research Utkarsh Srivastava ‡ Yahoo! Research Ravi Kumar § Yahoo! Research Andrew Tomkins ¶ Yahoo! Research ABSTRACT There is a g
Yahoo Developer Network
