ハイパフォーマンスでスケーラブルなメッセージングシステム：Pulsarの紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに Pub-Subとは 用語の定義 システム構成 Hello World おわりに 緊急告知 参考 はじめに こんにちは。システム統括本部プラットフォーム開発本部の栗原と申します。 2016年9月、Yahoo! Inc.からPulsarがOSSとして公開されました。Pulsarは高い配信信頼性/パフォーマンス/スケーラビリティを誇るPub-Subメッセージングシステムです。Yahoo! Inc.において開発され、これまでYahoo! Inc.のメール、ファイナンス、スポーツなど主要サービスにおいて、メッセージを高速かつ消失することなく配信するために利用されて来ました。 Pulsar開発者によって書かれた技術ブログ：Open-
KubernetesとOpenStackを連携させる方法
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog OpenStackの運用エンジニアをしている木下です。 今回はマルチプラットフォームCI環境に関する連載の第4弾として、KubernetesとOpenStackの連携を検証した際に分かった、動作させる手順と現在の状況について説明していきたいと思います。 本エントリーでは、「Kubernetesの認証としてKeystoneを利用する方法」、「KubernetesからCinderを利用する方法」の2つを詳しく解説していきます。 本エントリーで検証したKubernetesのバージョンは1.2.2になります。 Kubernetesの認証としてKeystoneを利用する Kubernetesの認証・認可の機構に関して簡単に説明したあと、Ke
Terraformを使ってOpenStack VMにKubernetesクラスタをデプロイする
Kubernetes用VMイメージの作成 Packerを使う Kubernetesクラスタの構築がしやすいよう、あらかじめ主要なパッケージがインストールおよびセットアップされているOpenStackのVMイメージをPackerで作成します（図3）。 Packerを使い、etcdに関するパッケージなど全てのVMで共通で使用するパッケージは事前にイメージに取り込みます。 こうすることで、VMを立ち上げた初期状態でKubernetesを構築するために、ある程度準備された環境が提供され、後のデプロイ作業を効率化します。 図3. PackerによるKubernetes用VM作成 Packerの設定とイメージ作成 OpenStackに上がっているVMイメージをベースにKubernetes用のイメージを生成します。 手元にイメージをダウンロードする必要はありません。 JSON形式の設定ファイルに変数（v
CalicoによるKubernetesピュアL3ネットワーキング
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに ネットワークを中心にデータセンターからKubernetesまで、幅広くインフラに関わらせていただいている市川です。 本エントリーでは、先日の「OpenStackとKubernetesを利用したマルチプラットフォームへのCI環境」エントリーから続くヤフーのOpenStackデプロイ環境におけるKubernetes利用連載の第2弾として、われわれのKubernetesネットワーク環境について基盤となるProject Calicoの紹介と合わせて説明したいと思います。 Project Calico Project Calicoとは 通常Kubernetesではflannelを用いてPod用のネットワークを構築しますが、今回私た
「本気ではじめるiPhoneアプリ作り」という本を執筆しました
概要 アプリを作り上げていくにはさまざまな基礎知識が必要になるわけですが、本書ではiOSアプリ開発において重点的に押さえておくべき基本をまとめつつ、実際にApp Storeへリリースできるアプリを開発できるようになるまでを爆速で支援するように書いています。 最終的にはWeb API（インターネット通信を使ったデータ取得の手段）を行いながら、ヤフーショッピングの商品を検索することができる「商品検索アプリ」を開発できるようになります。 通信を行うアプリはiOS入門者には難しいといわれています。しかし、通信を行う方法を学習すると、作ることができるアプリの種類やアイデアを爆発的に増やすことができます。世の中のさまざまな課題を解決するアプリを考えられることは素晴らしいことですし、とても楽しいものです。 そのためヤフーが提供するWeb APIを利用してアプリ開発を行うことができるようになるところまで到
「黒帯エンジニアが教えるプロの技術 Android開発の教科書」を執筆しました
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。筒井と申します。ヤフーの黒帯制度にて黒帯Androidアプリに任命されています。 私を含むヤフーのエンジニア・デザイナーの計5名で「黒帯エンジニアが教えるプロの技術 Android開発の教科書」を執筆しました。 黒帯エンジニアが教えるプロの技術 Android開発の教科書（著：筒井俊祐 里山南人 松田承一 笹城戸裕記 毛受崇洋／出版社：SBクリエイティブ） Androidアプリ開発に関わる全体像を体系的に理解できるようになりたいという方に向けて書いています。 先日、弊社の黒帯エンジニアの西が執筆した「本気ではじめるiPhoneアプリ作り Xcode 7.x+Swift 2.x対応 黒帯エンジニアがしっかり教える基本テク
社内クラウド環境におけるディスク（HDD）の故障率を確認してみました。
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 「Usenix FAST 16」というカンファレンスにおいて「Environmental Conditions and Disk Reliability in Free-cooled Datacenters」という論文が発表されたのはご存じでしょうか。 こちらの論文はフリークーリング方式におけるデータセンターがハードウエアに与える影響を調べた論文です。 内容については省略しますが、この中で特筆すべき項目として、気温の高さや気温変化よりも湿度の高さがディスク故障の最も大きな要因であると述べられています。 弊社の社内クラウド環境においてもあてはまるのか確認してみたというのが本記事の要旨です。 データセンター環境について まず
SCRIPTY#5 〜フロントエンド紳士・淑女のための勉強会〜 #scripty05
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 先日、定期的に開催しているフロントエンド技術に関する勉強会、SCRIPTYをヤフーで開催しました。 http://scripty.connpass.com/event/27752/ 本勉強会で発表されたセッションのスライドを発表者のコメントとともに公開いたします！ 発表セッションまとめ 1.Cocos2d-JSでブラウザ向けゲームを作った＆iPhone Safari苦労話 発表者：加藤 隆一郎 Cocos2d-jsとCocos Studioでブラウザゲーム作った際に得た知見とiPhone Safariで遭遇した問題の対処法を発表しました。 発表スライド スライドの掲載はありません。 2.アクセシブルなモーダルダイアログの作り方 発
ひとりの開発者から始まった、ヤフーのヒートマップとは
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部、企画の舩水です。 私は社内で開発された分析ソリューションの利用推進やサポートを行う業務を担当していました。その分析ソリューションの1つにヒートマップという分析ツールがあります。ヒートマップとは、ウェブサイト上でのユーザーの行動をサーモグラフィによる温度分布のように色の濃淡で可視化して表す分析手法です。ご存じのとおり、サーモグラフィとは物体の表面温度の高い部分を赤、低い部分を青とし画像化されたものを指しますが、分析におけるヒートマップでは、ウェブサイト上でよく利用される部分を赤、利用されていない部分を青としてデータ処理し、色によって可視化したものを指します。下の図を見ていただくと
分散プログラミングモデルおよびデザインパターンの考察
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 写真：アフロ データ＆サイエンスソリューション統括本部、データインフラ本部、今野です。 早速ですが、今月開催の「Developers Summit 2016 （以下、デブサミ2016）」で当方が登壇する運びとなりました。気がつけば、前回の記事「分散システム処理モデルに関する動向について」から随分と日がたってしまいましたので、今回は、より広範囲な内容を整理してみたいと思います。 デブサミ2016の当方の講演テーマは「温故知新」です。今回は、このテーマにもつながる話題として、クラウド環境の代表的な分散プログラミングモデルやデザインパターンについて、一般的な考察をしてみたいと思います。 古典的なプログラミングモデルによる分類 まず最初に
EVPN（Ethernet VPN）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog メリークリスマス！ Yahoo! JAPANでインフラ・ネットワーク領域の技術責任者をしている高澤です。 昨年に続き2回目の試みとなったYahoo! JAPAN Tech Advent Calendar、みなさまお楽しみいただけましたでしょうか。今年も広範囲な技術領域の記事が公開されてきましたが、昨年に比べてiOS/Android関連の記事が増えた印象です。 Yahoo! JAPANは今年、スマートフォン版のトップページをリニューアルするなどアプリ戦略をより推進してきました。 これはユーザーが利用するデバイスの変化に対応した形となりますが、これからもデバイスの多様化は進み、さまざまなモノがインターネットに繋がるようになるでしょう。
SCRIPTY#4 〜フロントエンド紳士・淑女のための勉強会〜 #scripty04
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 先日、定期的に開催しているフロントエンド技術に関する勉強会、SCRIPTYをヤフーで開催しました。 http://scripty.connpass.com/event/22663/ 本勉強会で発表されたセッションのスライドを発表者のコメントとともに公開いたします！ 発表セッションまとめ 1.Single-page application Zero to One （React/Redux/ES6/Firebase） 発表者：山中 悠 バックエンド専門だったエンジニアが、最新のフロントエンド技術を使ってシングルページアプリケーション（SPA）を作るまでに四苦八苦した話と、実際に作ったサンプルアプリケーションを発表しました。 SPA開発
次世代認証プロトコルFIDOの動向
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは、近藤裕介と申します。 みなさま、Yahoo! JAPANにログインしてサービス利用していますでしょうか？ Yahoo! JAPANに限らずログインが必要なウェブサービスやアプリケーションを利用して、ヘビーユーザーになってくると他人に見られたくないデータが増えたりなりすましされて困るようになりますよね。そうならないための対策としてパスワードを長く難しくしたり、2要素認証を設定したりする必要がありますが利便性が下がってしまいます。 そんなパスワードにまつわる課題を解決する、FIDOアライアンスの策定している認証プロトコルであるU2FとUAFの仕様が昨年12月に正式公開され、2015年にはいくつものサービスで採用さ
ESLintのルールを自作しよう！
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 12月から福岡勤務の穴井（@pirosikick）です。 私が所属しているリッチラボ株式会社（以下、リッチラボ）では、スマートフォン向けのリッチ広告の企画・開発と、ヤフー・ソニーと協業のクラウドファンディングサイト「First Flight」の開発・運用を行っています。 今回は、リッチ広告の開発で利用しているESLintのルールを自作する方法について書きたいと思います。 サンプルの動作環境について 本記事に登場するサンプルは、下記の環境で実行しましたので、適宜ご自身の環境に置き換えてご覧ください。 Mac OS Node.js 4系（4.2.1） npm 3.3.9 サンプルのJavaScriptは一部ES6で書いておりますので、
ES6時代のNode.js
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。情報システム本部の伊藤(@koh110)です。 社内システムの開発、運用を担当しています。 今回、担当しているシステムをNode.js LTS(v4.x)へバージョンアップしました。 それに伴い実施したES6対応の中から3つの事例を紹介したいと思います。 varを撲滅しよう arrow functionを使おう callbackを撲滅しよう varを撲滅しよう varをlet, constに置き換えます。基本はconstに置き換えます。 メリットは以下の点で、コードの品質向上につながると思います。 プログラム中で変更不可である事を明示的に示せる。 誤った使い方をした時にバグとして検出される。 varを利用するとブロック
オープンソース化するハードウェア 〜ヤフーがOCPサーバを導入するまで〜 - Yahoo! JAPAN Tech Blog
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データセンターのサーバを管理しています宮本です。 今回はOpen Compute Project（以下、OCP）の概要とヤフーがOCP仕様のサーバ（以下、OCPサーバ）を導入するまでに至った経緯をお話したいと思います。 オープンソースとハードウェア オープンソースという言葉はよく耳にしますが、この「みんなで作り上げていく」という考え方はハードウェアの世界にも浸透してきています。 ソフトウェアでオープンというとソースコードの共有にあたりますが、ハードウェアのオープンソースは物理的な仕様の設計書を共有することを意味します。 Facebookが2011年にデータセンターやサーバのオープンソース化を目的としてOpen Comp
高次元ベクトルデータにおいて高速な近傍検索を実現するNGTの公開
Yahoo! JAPAN研究所の岩崎です。 私は主に特定物体認識の研究開発を行っていますが、その一方で特定物体認識において必須技術である高次元ベクトルデータの近傍検索の研究開発も行っています。近傍検索の一種であるk最近傍検索とは、クエリとしてベクトルデータが与えられた時に、クエリと空間内に点在するベクトルデータとの距離に基づき近い順にk個のデータを検索する、ことです。kが5の場合の最近傍検索の例を図1に示します。図中の数字は距離の順位で、青い点が検索結果となるデータです。 空間内のすべてのデータとの距離を計算すると時間がかかるので、高速化のためにインデックスを利用します。インデックスを用いることにより数次元といった低次元のベクトルデータ空間では高速な検索が比較的容易に実現できます。しかし、インデックスを用いても100次元を超えるような高次元ベクトルデータの場合には高速に検索することが困難と
分散システム処理モデルに関する動向について（MapReduceからBorgまで）
詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま
分散システムの一貫性に関する動向について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve
世界最強のソフトウェアアーキテクト
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ マーケティングソリューションカンパニー（MSC）開発本部の小川雄大です。 昨年11月に子会社のクロコスからヤフーに移りまして、現在はヤフーで開発を行っています。みなさまどうぞよろしくお願いします。 MSC開発本部では、ヤフーが世界最強を目指してどう取り組んでいくかについて議論する会を毎週開催しています。今回はそこで今年の1月に僕が発表した「世界最強のソフトウェアアーキテクト」について公開したいと思います。 今回はヤフーに入ってはじめての発表ということもありテーマをどうしていくかはかなり悩んだ部分なのですが、テクニックよりもアーキテクトが持つべきマインドを共有することが次につなげていく上で大切になると考えたので、多少抽
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
