分散システムの一貫性に関する動向について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve
XMLのWebAPIを爆速で使いこなせるフレームワーク
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo!デベロッパーネットワークの中野(@Hiraku)です。先日、爆速JSONPを使うと、JSONPのWebAPIを簡単に使いこなせることを示しました。 とは言っても、JSONPに対応していないWebAPIも数多くあります。ニュースAPI、知恵袋API…。これらは現時点ではXMLしか対応しておらず、爆速JSONPではブログパーツ化できません。 …いや、「ブログパーツ化できませんじゃなくて、とっととJSONPに対応しろよ」とお叱りを受けるところなんですが、実はXMLなら何でもJSONPに変換することのできる「YQL」というサービスがあり、これを使うことでカバーする方法があるのです！ YQLの説明は後にして、まずはデモをご覧くだ
Adobe Flash Playerを最新版に更新しましょう
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Adobe Systems社より、Adobe Flash Playerの緊急性の高い脆弱性が新たに報告されました。 下記の通りJPCERT/CCからも報告がされています。 Adobe Flash Player の脆弱性（APSB14-07）に関する注意喚起 ※2014/2/20以前に更新をしている場合でも、2/21以降に最新版への更新が必要です。 対処の方法は次の通りです お使いの Adobe Flash Player のバージョンが最新版かどうか、以下のページで確認してください Adobe Flash Player:Version Information ※1台のパソコンで複数のブラウザーをご利用の場合は、ブラウザーごとに確認と
Yahoo!ボックスAPIをリリースしました！
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ボックスWebAPIリリース こんにちは。Yahoo!ボックスの開発を担当しております。瀬川です。 Yahoo!ボックスではボックスWebAPIをリリースしました。 ボックスWebAPIはYahoo! JAPAN初のオンラインストレージを扱う事ができるAPIです。 今回はボックスWebAPIを使い始める方法から、どのようなAPIがあるかまでご紹介させていただきます。 Yahoo!ボックスとは Yahoo!ボックスとは写真やドキュメントなど、あらゆるファイルをオンラインストレージで管理できるサービスです。 ブラウザー、PCアプリ、スマートフォンアプリで展開しており、マルチデバイスでの利用ができます。 Yahoo! JAPAN IDを
WebAPIやOpenIDでSSLエラーが起きる現象につきまして
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こちらのFAQも合わせてご参照ください。 旧ルート証明書の有効期限切れに伴う影響範囲について │SSL・電子証明書ならグローバルサイン 2014年1月28日(火) 21:00～より、弊社で提供しているhttpsのWebAPIにリクエストすると、SSL通信の障害が発生するという事象が報告されています。 弊社では下記のSSLサーバ証明書を利用しております。 GMOグローバルサイン 企業認証SSL 原因として、WebAPIを利用するクライアント側の環境で、下記のルート証明書の有効期限が終了していることが考えられます。 GlobalSign Root CA Serial Number = 02:00:00:00:00:00:D6:78:B
HTML5とは何かを簡単にまとめてみた
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。R＆D統括本部 制作本部 ウェブデベロップメント部に所属しております。岡部和昌（@kzms2）と申します。 最近スマートフォンやタブレット向けのページを作成する機会が増えてきました。 なので、今回はちまたで大人気のHTML5について書きます。 若干今更な内容にも思えますが、あまりHTML5になじみがない方にもわかってもらえるような内容にしています。 HTML5の基本概念や思想・実際の組み方というよりも、 HTML5で組むと今までと比べて何が違うのか などについて書いていきます。 なぜこれからHTML5なのか HTML4との違いがわからない HTML5を使う利点がわからない など疑問に思っている方はぜひ見ていた
ヤフーにおけるインプットバリデーション「何も信じるな」 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R＆D統括本部 開発推進室 セキュリティプラットフォーム技術 セキュリティスペシャリストの戸田 薫です。 今回は、私たちが普段からヤフーのシステムに対する入力にどのような注意を払っているのか、そのいくつかをご紹介致します。 入力とは? Webサイトを運営している場合、どのような入力があるでしょうか？ たとえば、Webサービスには、以下の入力があります。 Cookie URL GET/POSTのデータ ファイルのアップロード その他リクエストヘッダ そのほかにもいくつもあります。 環境変数 設定ファイル クローラが取得したデータ パートナー企業のAPIから取得したデータ（XMLやJSONなど） パートナー企業の入稿用 F
サーバ節電について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R&D 統括本部 プラットフォーム開発本部の吉原 哲です。 東日本で発生した未曾有の震災の影響で、多くの発電施設が影響を受けており、政府及び電力会社から節電の協力が要請されています。一日本国民として、一技術者として、できることがないか検討してみました。あわせて現在までに把握している ヤフーにおける節電に対する取り組みをまとめましたので、節電を検討する際に役立てていただければと思います。 節電方法 一般的にサーバは稼働している際に一定の電力を消費し、CPU 使用率に比例して消費電力が上昇します。またサーバは動作しているときは常に発熱してます。データセンタの空調設備ではこれを取り除くため、サーバの熱量に比例して使用電力が増
Yahoo!検索Web APIのサービス内容変更について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo!検索Web APIについて、2011年3月31日（木）よりサービス内容を以下のように変更いたします。 対象API ウェブ検索API 画像検索API 変更内容 1．同時にアクセス可能なユーザー数に制限を設けます（数セッションを上限とします）。 超過した場合にはYahoo! JAPAN Web APIに共通のエラーメッセージおよびコードを返します。 2．24時間中、1つのアプリケーションIDにつき1,000件までのリクエストを上限とします。 超過した場合にはYahoo! JAPAN Web APIに共通のエラーメッセージおよびコードを返します。 なお、サービス内容の変更に伴い、Yahoo!プレミアム会員、Yahoo! BB
人物情報検索のトレンドご紹介 part3 テキストマイニング技術について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo! JAPAN 研究所の山下達雄です。 今回は「Yahoo!人物名鑑」の一要素である「関連人物モジュール」について技術的な解説をしていきたいと思います。よろしくお願いします。 関連人物モジュールは、人物名鑑のページの右カラムにある「関係ありそうな人物名」で使われています。 例）妻夫木聡さんの場合 ウェブ上のさまざまなテキストデータを分析して、人物同士の関連度を計算し、その関連度の高い人物をタグクラウド形式で表示しています。 関連度の計算には様々なテキストマイニング的な手法を用いていますが、ここではウェブ検索を利用した簡単で効果的を方法を説明します。 ■処理の流れ 分かりやすくするため、関連人物ではなく関連語を
エンジニアにもわかる「ユーザーインターフェース設計」
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 島津悠樹と申します。Yahoo! JAPANのソーシャルメディア系サービスの開発・ユーザーインターフェース（以下UI）設計を担当しています。私からは「エンジニアにもわかる『ユーザーインターフェース設計』」と題し、エンジニアのみなさまに考え方のヒントとなるようなネタをお届けします。 エンジニアの方々にとって、UI設計は、おもしろそう、けれど、どこかとっつきにくい......、そんな印象を持っておられるのではないかと思います。 私も以前はそう思っていました。ですが、とっつきにくさを理由にUI設計をやらないのはもったいない、という思いで試行錯誤した結果、なんとか、UI設計のお仕事をいろいろ担当させていただくことができるようにな
Yahoo!オークションでのMySQL 冗長化技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
MySQLによるデータウェアハウス構築
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、オークション事業部のWangです。 データウェアハウス（以下DWH）という言葉になじみのない方は検索していただいたほうがよいかもしれません。 検索するのがめんどい、という方は、かみ砕いた表現ができなくて恐縮ですが、 基幹系システムから抽出したデータを目的をもって再構成し、 使用可能な状態に保管されたデータの集合体、とお考えください。 オークションでは、具体的には出品、入札、落札などのトランザクションデータや、 それをいろいろな単位で集計したデータなどが該当します。 ここでいう単位というのはたとえば、日ごと、週ごと、月ごとや、以前の記事でも紹介されている カテゴリといったものになります。 こういったデータは、運用、運営、
awkでの数値演算注意
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog オークション事業部 プラットフォーム技術 後藤です。 私たちのチームはauctionリスト、サーチ、課金などのサービスの運用業務を 行っておりますが、今回は課金の検算などでよく利用するawkでの数値演算につ いてレポートします。 消費税算出など小数点付きのものを四則演算する場合、awk(表示形式のデフォル ト書式)を用いて生成する場合、以下ような現象が出ますので注意が必要です。 「7けた以上で科学表記になる場合がある」 「小数点を含めたけた数が7けた以上になると、誤差が出る場合がある」 などです。 以下の理屈が分かっていれば、なにも不思議はないのですが、結構誤差が出るパ ターンも多いので、利用者の意識が必要なのだなーと思っています
日本語形態素解析APIとマッシュアップ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog テキスト解析API企画担当のS・Kです。 当ブログにおいて一般の開発者の皆様にYahoo! JAPANの高度な日本語処理技術をマッシュアップにお役立ていただけるよう、なじみの薄い日本語処理用語の解説や一般的なご利用方法をお伝えしていきたいと思います。 先日、弊社も協力企業として参加しましたMashup Award4において、Technology賞を受賞され注目を集めました「Newsgraphy」様にも日本語形態素解析APIをご利用いただいております。 そもそも、形態素解析とは、、 言語として意味を成す最小単位の文字列のことを「形態素」と呼び、ある文章をその形態素に分けていく解析のことを「形態素解析」と呼びます。 うーん、なんだか難
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
