Google Cloud のインタビューを受けた (GCP事例紹介) - 元RX-7乗りの適当な日々
昨年終わり頃に、タイトル通り、会社でどのように Google Cloud Platform を活用しているかというインタビューを受けまして、一昨日公開されていました。 事例紹介という形で、ざっくりとした内容にはなっていますが、会社の事業に対して、どう Google のクラウドサービスを活用しているのかを、テックリードの @yukung と一緒に話した内容を、端的にまとめていただていますので、一事例として参考にしていただければ幸いです。 ( PDFファイル: https://lp.cloudplatformonline.com/rs/808-GJW-314/images/Google_GCP_astamuse.pdf ) 尚、取材の中で話していた、膨大なデータの翻訳処理に、GPUサーバを100台並べて並列処理しているという話ですが、結論から言うと、色々ありまして理論上の見積もりであった2週間
ダイソーが6年でIT内製化、マイクロサービス化、サーバレスに成功した理由
大創産業は1972年、家庭用品を販売する商店として創業された。今やよく知られた『100円SHOPダイソー』を運営する事業者である。ダイソーの展開に着手したのは1987年。2019年には国内3367店舗を数え、海外ではアジア、北米を中心に28の国、地域で2175店舗を構えるほどのグローバル展開を果たしている。 キッチン用品や文具、衣服やコスメ、食品やガーデン用品など、幅広い商品展開もダイソーの魅力の一つだ。商品数は7万点を超え、売れ筋の電池は1秒間に5本、ネクタイも15秒に1本、“つけまつげ”は1.3秒に1つ売れる勢いとのことだ。 取り扱う商品が多く、また尋常ではない速度で売れていくことは、それだけデータ管理の難しさが増すということでもある。アイティメディアが2019年9月17日に開催した「ITmedia DX Summit 2019年秋・ITインフラ編」に登壇した大創産業 情報システム部
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan 2016」において、現在運用中のビッグデータ処理基盤の規模、そして同社が抱えている課題と、それをどう解決していくのかを基調講演の中で示しました。 同社が示した解決方法は、Hadoopなどのビッグデータ処理基盤を使い倒す側から、作る側へ向かうという大胆なものです。同社の貢献はオープンソースとなり、今後さらに多くの課題解決に役立つことになりそうです。 同社データインフラ本部 遠藤禎士（えんどうただし）氏
人気レシピを食べながらクックパッドのAWS導入の話を聞いた
9月3日、アマゾン データ サービス ジャパン（以下、ADS）は、クックパッドのAWS（Amazon Web Services）導入事例の説明会を開催した。クックパッドの人気レシピをアマゾンの社員食堂「a2z」で味わいながら、AWSを採用した理由やクラウド上のサービス開発について話を聞くことができた。 「チョコを作る人の気持ちを考えたら……」 20～30代の女性の8～9割が利用するという国内最大のレシピサイトであるクックパッド。月間利用者数4400万人、170万品を超えるレシピを誇り、グローバル展開を進めている。9月からは、主要出版社13社と提携し、月額360円で雑誌やレシピ本のレシピが見放題となる「プロのレシピ」もスタートさせた。 こうした同社のサービスを支えるのが、AWSになる。2010年当時、月間2000万の利用者、120万以上のレシピ数にまで拡大していたクックパッドは、検証を行ない
モバツイッターがEC2に移転したその後の話を聞いてきた(Amazon EC2 ナイトセミナ 第2回) - 元RX-7乗りの適当な日々
恵比寿で開催されたJJUG主催のナイトセミナー「アマゾンEC2 ナイトセミナ 第2回」に参加してきました。 目的は、モバツイッターの中の人である、えふしんさんによる、モバツイをEC2へ移行した話が聞きたかったのと、ついでにご挨拶したかったので早々と仕事を切り上げて行ってきました。 参考: F's Garage @fshin2000 ：そろそろモバツイがEC2に移転した話でも書くとするか。 現在のサービスの状況やシステム構成、自宅サーバ運用の限界点など、裏側の話が特に興味深かった！面白かったです。 せっかくメモをとったので、ここに残しておきます。 究極のスモールスタート 自宅サーバからEC2へ 講演者 藤川真一(えふしん)さん (株)paperboy&co. ECコミュニティ事業部 ペパボはGMOインターネットグループ、レンタルサーバ(lolipop)、ブログ(JUGEM)などが有名 カラメ
料理動画を支える技術 - クックパッド開発者ブログ
インフラストラクチャー部 星野(@con_mame)です。 少し前から、一部レシピページに料理動画を掲載していました。当初はYoutubeを使用していましたが、本日から自社配信に切り替わりました。現在はまだ掲載数は少ないですが、今後掲載数を増やしていきたいと考えております。 そこで、今回は、動画配信プラットフォームの裏側がどうなっているかという点を簡単にですがご紹介したいと思います。 構成図 構成図を見ていただくのが一番わかり易いと思うので、最初に掲載します。 見て分かる通り、今回は全てAWSのサービスを使用して構築しています。 今回使用したサービスは エンコード: Elastic Transcoder データストア: DynamoDB + DynamicDynamoDB ストレージ・配信: S3 + CloudFront エンコード通知など: SNS 今回、構築までの期間とエンコードや動
re:InventでのParseのDevOps話がとても良かったのでまとめておく - すずけんメモ
今、AWS re:Inventにきていて、今日parse.comのセッションを聴く時間があったので簡単にまとめておく。とてもざっくり書くと、要点は parseは1-3段階のDevOpsの進化を経てきた 最初はRoRでデプロイするにも全てのサーバでcapistorano走らせなければ行けなかった。結果として90分から150分くらいデプロイに時間が掛かる。 現在はAutoScalingGroupとChefがシームレスに連携していて、5-10分でシステムをフルビルドできるようになった。 ということ。 セッションの概要は以下のとおり。 MBL307 - How Parse Built a Mobile Backend as a Service on AWS Parse is a BaaS for mobile developers that is built entirely on AWS. Wi
東京工科大が「サーバ全廃」に踏み切った理由
東京工科大は来春をめどに、オンプレミスサーバ約100台で運用していた業務システムを撤廃してクラウドサービスに完全移行する。その背景と狙いを聞いた。 東京都八王子市に本部を構える東京工科大学は、国内でいち早く先進的なICT教育に取り組んできた大学の1つだ。2000年代前半には八王子キャンパスの全学生にノートPC携帯を必須としたほか、近年では学生がクラウド経由でプログラミング学習を行えるシステムなども構築、運用している。 そんな同大は2014年春、学内ネットワーク環境を全面刷新し、オンプレミスサーバで運用していた業務システムをクラウドサービスに完全移行するという。プロジェクトを指揮しているコンピュータサイエンス学部の田胡和哉教授に、取り組みの背景と狙いを聞いた。 システム全体が老朽化…「再起動のたびトラブルが起きていた」 同大が本格的なICT活用に取り組み始めたのは2003年のこと。八王子キャ
訳：Netflixが 6.29のAWSと嵐から学んだこと - aws memo
2012年6月は、立て続けにUS EASTリージョンでダウンタイムが発生している。 NetflixのようにマルチAZの構成にして、常に擬似的に障害を発生させる仕組み( Chaos Monkey)を導入していても、ダウンする場合があることが明らかになった。さらなる可用性向上のためのツール(Chaos Monkey Family)やアーキテクチャ設計ノウハウがNetflixから出てくることを期待。 The Netflix Tech Blog: Lessons Netflix Learned from the AWS Storm ＝＝＝ 概要 2012年6月29日(金)、ここ1年で最も大きな停止障害を経験した。太平洋時間午後8:00に始まり、復旧まで約3時間かかり、アメリカのNetflix会員に影響を及ぼした。弾力性のあるインフラに向けた努力にとAmazonクラウドでの経験をよく書いている。過去
訳：どのようにしてVimeoはEC2の費用を50%削減したか - aws memo
これは面白い記事。 High Scalability - High Scalability - How Vimeo Saves 50% on EC2 by Playing a Smarter Game ＝＝ ビデオトランスコーディング処理用のEC2インスタンス費用を、スポットインスタンス、オンデマンドインスタンス、リザーブドインスタンスを賢く組み合わせることで50%も費用を削減している。 Vimeo on EC2 を見るとその考え方がわかる。この資料は2011年のものだが、リザーブドインスタンスマーケットができたので、彼らの戦略も変わってくるだろう。 Vimeoのアプローチは 閾値以上にbidしない。閾値はオンデマンド価格の80%に設定 いかなるときも、 10以上のスポットリクエストを出さない １時間前の平均価格より10%高くbidする 非ピーク時の負荷に必要なぶんだけリザーブを買う 優先
Private Presentation
Private content!This content has been marked as private by the uploader.
Pinterestはいかにスケーラビリティと格闘してきたのか（後編）。QCon Tokyo 2013
4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基本的に複雑なものだ。コミュニティもまだ十分ではない。 私たち
Pinterestはいかにスケーラビリティと格闘してきたのか（前編）。QCon Tokyo 2013
4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestのエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事では、その内容をダイジェストで紹介しましょう。 つねにシステムのどこかが壊れている Pinterest、Marty Weiner氏。 Pinterestはオンラインのピンボードで、ユーザーが「ボード」を作成して、そこに画像など好きなものをアップロードしてシェアできるというもの。「ピン」ひとつひとつが画像やリンクになっている。 ユーザーやボードをフォローすることもできるし、再ピンしたりイイネしたり、コメントの入力もできる。
サーバ用途でコンシューマ SSD へ調子に乗って書き込みすぎると壊れるという話 - mura日記 (halfrack)
Crucial M500 の write endurance が 75TB しか無いというのが話題になっていて、同じく 75TB である m4 をわざと虐待していたホストはどうなったのか気になって調べて見たところ、面白い結果が観測されたという話。 石橋を叩いて壊し障害時の挙動を見るべく「自社全サービスのアクセスログを受け止める syslog サーバ」という、どう見ても書き込み中心で SSD にやさしくないホストをあえて動かしていた。具体的には下記のようなノリのホストである。 iostat の一行目なので uptime 数百日における平均値であることに注意。 [root@touge ~]# iostat -k -x -d sda | sed -n '3,4p' Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await
昔の SSD はタフだった - mura日記 (halfrack)
d:id:halfrack:20130417:1366193468 を見た同僚が教えてくれた X25-M G2 のホストについて、古い SSD はマージンたっぷりだったという話。 このホストは DB サーバだが、メッセージングサービス的なものに使われているので、更新ヘビーで辛い DB になる。 [root@nantokagoe smartmontools-6.1]# uptime 19:29:02 up 1028 days, 2:49, 2 users, load average: 0.00, 0.05, 0.04 [root@nantokagoe smartmontools-6.1]# iostat -k -x -d sda | sed -n '3,4p' Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await
「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏（後編）
日本でも選挙活動にインターネットを利用するという議論が始まっていますが、世界でもっとも大規模にインターネットを利用して選挙活動が行われたのが、昨年の米大統領選挙です。 その選挙戦を勝ち抜いたオバマ大統領のチーム「Obama for America」が、どのような選挙キャンペーンシステムを構築したのか。3月15日に都内で行われたAmazonクラウドのイベント「JAWS DAYS 2013」で、語られました。 （本記事は「「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏（前編）」の続きです） アプリケーション開発を優先した開発環境に Amazon Web Services、Solution Architect ManagerのMiles Ward氏。 チームはボランティアのデベロッパーで構成されています。私たちがもしも会社であり、社内でRu
「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏（前編）
日本でも選挙活動にインターネットを利用するという議論が始まっていますが、世界でもっとも大規模にインターネットを利用して選挙活動が行われたのが、昨年の米大統領選挙です。 その選挙戦を勝ち抜いたオバマ大統領のチーム「Obama for America」が、どのような選挙キャンペーンシステムを構築したのか。3月15日に都内で行われたAmazonクラウドのイベント「JAWS DAYS 2013」で、語られました。 そこでは、過去の選挙データやソーシャルメディアなどを元に有権者の動向を徹底的に分析し、テレビCMの打ち方からボランティアの働き方まであらゆるものを最適化する大規模なシステムをいかに構築したのか。そして、大規模システムでクラウドを活用するとはどういうことか、ということを学ぶ絶好のサンプルになっています。 国内でこのシステムの舞台裏がこれほど詳しく紹介されることは初めてのはずです。講演の内容
これが来るべきネット選挙の未来の形、Amazonのクラウドのパワーがオバマ大統領再選を支えたことが目で見てわかる「Obama for America on AWS」
イリノイ州シカゴを本拠地とした「Obama for America(OFA)」キャンペーンによって大統領再選を目指したオバマ陣営には数十万人のスタッフやボランティアが在籍、しかし、さらにキャンペーン活動を維持するための支持者から寄付金を集めたり、有権者を動員したり、どんどん巨大化する組織をまとめあげていくためのシステムが破綻するのは時間の問題……となっていって、そのままでは大ピンチになって破綻していたところを支えたのがAWS(アマゾン ウェブ サービス)なのですが、その膨大なインフラストラクチャーのアーキテクチャが公開されています。 Obama for America on AWS - Infrastructure Architecture http://awsofa.info/ まず全米からのアクセスをラウンドロビンDNSで振り分け、Route53も駆使しており、フェイルオーバーは「US
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第64回、第65回 NHK紅白歌合戦 | クラスメソッド株式会社
モバイルゲームにおけるAWSの泥臭い使い方
