みなさん、こんにちは。GS2 の丹羽です。 今日は大事件が起こりました。Twittetなどでも話題になったので皆さん知っているのではないかと思います。 japanese.engadget.com こんなブログを見に来てる人ならみんな知ってると思いますが、AWSの東京リージョンには3カ所のデータセンターがあります。 そのうち1カ所のデータセンターが完全に利用できない状態になりました。 その影響で様々なゲームも影響を受けたようです。 gamebiz.jp なぜAZ障害が様々なサービスの障害につながったのか さて、なぜ今回のようにAZがダウンするとこのような大規模な障害が発生するのでしょうか。 1. シングルAZ サーバはどこかのデータセンターで動いていてるわけです。EC2を使ってサーバを起動するときにもどのAZに配置するかを選びます。 この時に、一つのAZに固めてサーバを配置していた。あるいは
東証がSREによるレジリエンス向上に挑む理由。過去のシステム障害から何を学んだのか？（前編） ソフトウェア品質シンポジウム2022
東証がSREによるレジリエンス向上に挑む理由。過去のシステム障害から何を学んだのか？（前編） ソフトウェア品質シンポジウム2022 9月22日と23日の2日間、一般財団法人日本科学技術連盟主催のイベント「ソフトウェア品質シンポジウム2022」がオンラインで開催され、その特別講演として株式会社日本取引所グループ 専務執行役 横山隆介氏による「日本取引所グループシステム部門の取組み ～システムトラブルからの学びと今後の挑戦～」が行われました。 現在、日本取引所グループ傘下の東京証券取引所（以下、東証）は、過去に何度か大きなシステムトラブルを経験し、それを教訓として組織とシステムの改善を続けています。 そこで今回、シンポジウム企画委員会からの要望を受けて行われた特別講演で、東証がこれまでのシステム障害から何を学び、そこから何を変化あるいは進化させてきたのか。わずか2年前のNASのハードウェア障害
東証がSREによるレジリエンス向上に挑む理由。過去のシステム障害から何を学んだのか？（後編） ソフトウェア品質シンポジウム2022
東証がSREによるレジリエンス向上に挑む理由。過去のシステム障害から何を学んだのか？（後編） ソフトウェア品質シンポジウム2022 9月22日と23日の2日間、一般財団法人日本科学技術連盟主催のイベント「ソフトウェア品質シンポジウム2022」がオンラインで開催され、その特別講演として株式会社日本取引所グループ 専務執行役 横山隆介氏による「日本取引所グループシステム部門の取組み ～システムトラブルからの学びと今後の挑戦～」が行われました。 現在、日本取引所グループ傘下の東京証券取引所（以下、東証）は、過去に何度か大きなシステムトラブルを経験し、それを教訓として組織とシステムの改善を続けています。 そこで今回、シンポジウム企画委員会からの要望を受けて行われた特別講演で、東証がこれまでのシステム障害から何を学び、そこから何を変化あるいは進化させてきたのか。わずか2年前のNASのハードウェア障害
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ 山下郁矢です。2018年新卒で入社し、現在はNoSQLデータベースエンジニアとして働いています。 サービスを作るにあたってデータベースは必要不可欠ですよね。ヤフーでは100を超えるサービスで毎日生み出される膨大なデータを、データベースを用いてリアルタイムで蓄積し、運用管理しています。 今回は、その中でも利用規模の大きい、NoSQLデータベースの1つであるApache Cassandraを皆様に知ってもらうべく、ヤフーでどのようにして利用されているのかをお伝えしたいと思います。 NoSQLの立ち位置 Cassandraについてご紹介する前に、NoSQLについて軽く説明します。 NoSQLデータベースは一般的に非RDBM
オブザーバビリティ・エンジニアリング
本書は、近年のクラウドベースのソフトウェアシステム開発における設計プラクティスなどにおいて触れられる概念「オブザーバビリティ（可観測性）」に関する書籍です。オブザーバビリティとは何か、どのように役立てるのかなど、登場の背景から実践方法、組織、企業への適用といった幅広い視点で解説します。今後、ソフトウェアシステムの開発においてオブザーバビリティが果たすであろう、より大きな役割についても触れています。さらにSlackのゲスト寄稿者により、テストとデプロイプロセスへのオブザーバビリティの適用と、パイプラインによるテレメトリー管理についてのケーススタディを紹介。本書はソフトウェアに関わる多くの人々にとって今後より一般化するオブザーバビリティを知る第一歩となるでしょう。 本書に誤植などを発見された場合は問い合わせ窓口よりご連絡ください。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更
ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いて複数プロダクトのシステム構築、運用に携わっています。今回は2020年2月にリリースされたZOZOMATについて、システム構成と開発時に直面した課題、その課題を解決するために工夫した点について紹介します。 ZOZOMATではEKSやgRPCを新規に採用しており、これによって仕様の変更に強くなる、通信のオーバーヘッドを削減できるなど様々なメリットを享受できました。しかし導入時に一筋縄ではいかないことがあったため、今回苦戦した点についてご紹介できればと思います。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 ZOZOMATのシステム構成 システムの全体
この本の概要 提供を開始したサービスが終了するのは4年後かもしれませんし，20年後かもしれません。場当たり的な運用を行っていては，いずれ限界がくることは想像に難くないかと思います。能率アップのために導入したシステムが，稼働させたらトラブルが多発し，結果としてコスト増や品質の低下を引き起こす……。そんな事態を防ぐための運用設計のノウハウを，ITILベースの運用オペレーションのプロとして定評のある著者らが体系化した一冊。 こんな方におすすめ システム運用設計担当者，運用担当者，インフラエンジニア 著者プロフィール 近藤誠司（こんどうせいじ） 1981年生まれ。運用設計，運用コンサルティング業務に従事。オンプレからクラウドまで幅広いシステム導入プロジェクトに運用設計担当として参画。そのノウハウを活かして企業の運用改善コンサルティングも行う。 趣味は小説を書くこと。第47回埼玉文学賞にて正賞を受賞
クックパッドマート流通基盤アプリケーション開発グループでバックエンドエンジニアをしている奥薗 ( @mokuzon )です。今日まで 4 日間連載でクックパッドマートの流通についてご紹介してきました。最後のこのエントリーではマート内で 1,2 を争う難解かつ重要な処理と言われている「採番」についてご紹介します。 先に クックパッド生鮮 EC お届けの裏側 2022 年版 を読むとよりイメージがつきやすいです。 採番とは マートでは 商品はハブという大規模拠点に出荷され ハブ便でハブからハブへ移動し ステーション便でハブからステーションと呼ばれる拠点に移動して ユーザーはステーションに商品を受け取りに行く というのが基本の流通になっています。 マート流通の概略図 採番とは、この商品がどのようなスケジュールで出荷されどういった経路でユーザーまで運ばれるかを計画する処理です。多くは注文時にオンラ
非 Aurora な RDS から Aurora へ移行する時に考えること全部盛り - ゆるっと Tech Blog
Japan AWS Jr. Champions Advent Calendar 23日目の投稿です！クリスマスイブイブですね。 今回は、Aurora でない RDS で稼働している DB を Aurora へ移行することを検討してみます。 現在の データベース 具体的な例があった方が分かりやすいので、移行対象の DB の情報を仮定しておきます。 データベースの情報 利用サービス：RDS (非Aurora) インスタンスタイプ：db.t3.medium (2vCPU/4GiB) ディスク容量：50GiB DBエンジン：MySQL 8.0系 MultiAZ構成 (Active-Standby) リードレプリカなし オンデマンドインスタンス 利用状況 CPU利用量：余裕あり ディスク利用量：余裕あり メモリ利用量：2GiB弱程度で安定推移 システム稼働：時間帯や日による変化はなく、一定した稼働
【Team & Project】 Verda Platformに対する Site Reliability Engineering に関わる業務を担当しているチームを紹介します
―― まず、自己紹介をお願いします。 Park： LINEのプライベートクラウドであるVerda について、SRE活動をミッションとしているVerda Reliability Engineering Team(以下VRE)のマネージャーをしています。VREチームは日本、韓国の2拠点に跨がるチームで、その両方に対してマネジメントを行なっています。 山田：VREチームでシニアエンジニアとして働いています。クラウドインフラの開発・運用には数多くのレイヤの技術が使われていますが、その中でも特にサーバやOSといった比較的低レイヤな部分に対するSREをメインに実施しています。具体的には、OSレベルのトラブルシューティングやクラウドリソースのキャパシティ管理、物理リソースの調達に関する業務改善などがメインミッションです。 Kang： 2019年度の新卒として韓国側のチームにジョインしました。入社前は大学
Amazonが作ったサーバレスアプリケーションのための軽量VM、Firecrackerの論文を読み解く -その1- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 blog.inductor.me 1. はじめに(Introduction) サーバーレスコンピューティングは、[4、16、50、51]などのパブリッククラウド環境と[11、41]などのオンプレミス環境の両方で、ソフトウェアやサービスをデプロイ、管理するためにますます一般的になっているモデルです。サーバーレスモデルは、サーバーの運用やキャパシティ管理、自動スケーリング、従量制の価格設定、イベントおよびストリーミングデータのソースとの統合など、いくつかの理由において魅力的です。コンテナは、Dockerによって最も一般的なかたちで具体化され、運用オーバーヘッドの削減や管理性の向上など、同様の理由で一般的になっています。コンテナとサーバーレスは、従来のサーバープロビジョニング処理に比べて明確な経済的利点を提供します。マルチ
長い長いプレビュー期間をついに卒業！ おさらい そもそもAuroraって何だっけ？ AWSが提供するマネージドDBサービス「RDS」の上位ラインナップ。 RDSで選択可能なDBMSエンジンにはOracle、PostgreSQL、MySQLなど複数あるが、その中でやや特殊な上位ラインナップとしてRDS（Aurora）エンジンとして存在する。 RDS（Aurora）はさらに2種類のバリエーションがあり、PostgreSQL互換もしくはMySQL互換が選択可能。 RDS（Aurora）の何がいいのか？ 通常のRDSと比べて… 高性能。クラウドに最適化してイチから設計されているため、互換先のDBMS比で3〜5倍高速。 高可用性。DBインスタンスおよびストレージが3AZに自動分散される。 で、Aurora Serverlessっていうのは何？ まず、DB系サービスのマネージド度合いは３段階ある。 セ
マルチテナントなk8sクラスタで構築するログ収集基盤、システムの信頼性向上のために取り組んだ施策
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話などについてインタビューします。今回の対象セッションは「マルチテナントなk8sクラスタで構築する信頼性の高いログ収集基盤」です。 LINEはプライベートクラウドのVerda上で、さまざまなマネージドサービスを提供しています。Verdaはマイクロサービスアーキテクチャになっており、各サービスのコンポーネントはマルチテナントなKubernetes
EKS(or Kubernetes on AWS)本番運用で導入を検討すべきな追加コンポーネントについて - inductor's blog
はじめに Amazon EKSを初期導入すると、最小限の構成でクラスターがセットアップされそのままの構成で本番運用をするのはとてもじゃないが厳しいみたいな状態になっています。 これには運用者が柔軟にミドルウェアを選定できるというメリットもありますが、そもそもどんな選択肢があるんだっけみたいなところまではちゃんと整理できていないと思うので、ここでは僕が考える入れておくべきアドオンについて今後のために整理しておきます。 github.com/aws/eks-charts を眺める とりあえず脳死でこのサイトに行き、自分に必要そうなものを眺めることにします。Helmを使ってインストールするかどうかはさておき、それぞれのツールの必要性について検討しようという話です。 github.com App Mesh関連 App Meshを使ったサービスメッシュをやっていきたいのであればこの辺のコンポーネント
転職1年の近況報告 - じんめんメモ
早いもので昨年の8月1日に転職してから1年経ちましたということで近況報告です。 現在のポジションは社内のプライベートクラウドのSREです。クラウドの利用者(=アプリ開発チーム)からの問い合わせ対応やトラブルシューティングだったり、クラウド基盤の開発の支援やキャパシティ管理、安定運用のためのあれこれをやっています。 クラウド基盤はサーバ仮想化、ネットワーク、データベース、ストレージ、ロードバランサ、コンテナなど幅広い分野のコンポーネントで構成されているわけですが、私は「突出した得意分野がないけどだいたいそこそこわかる」おかげでトラブルシューティングの一次切り分けが得意だったり、複数の開発チームやデータセンタ管理チームと話が通じやすい、のようにうまく強みにできている実感があります。 ばりばりコードを書いて開発するという感じでもないですが、運用のためのスクリプトやツールをそこそこ書いています。P
Amazon Web Services ブログ Amazon DynamoDB スケーリングのベストプラクティス はじめに 長年にわたって、Amazon DynamoDB はものすごいスピードで進化を遂げています。グローバルセカンダリインデックス(GSI)、クエリ式のサポート、Auto Scaling 機能、そして、ポイントインタイムリカバリ (PITR) 、オンデマンドモードを断間なくリリースされました。お客様はモバイルバックエンドをはじめ、ゲームや IoT (Internet of Things) の実装まで、さまざまなユースケースで DynamoDB を使用してきました。 本記事は、DynamoDB を利用する中で、スケーリングの部分に焦点に当たって、スケーリングを考えるときのポイントを説明します。その後、代表的なワークロード、例えば、新しいサービスローンチや、ゲームにおいては新しい
SaaS（ソフトウエア・アズ・ア・サービス）などで使うクラウド基盤の自社開発をやめ、世界規模で展開するパブリッククラウドサービスの提供基盤そのものを自社データセンター（DC）に引き込んで使う――。野村総合研究所（NRI）が自社クラウドのアーキテクチャーを大きく転換しようとしている。これまでにない動きといえる。 発端はエンジニア不足 NRIが白羽の矢を立てたのが、米オラクル（Oracle）のパブリッククラウド「Oracle Cloud Infrastructure（OCI）」だ。IaaS（インフラストラクチャー・アズ・ア・サービス）とPaaS（プラットフォーム・アズ・ア・サービス）のレイヤーを提供するクラウドサービスである。 NRIは2020年の第2四半期（7～9月）にNRIのDCでOCIを使い始める計画だ。OCIを提供するシステムのアップデートや運用はオラクルが担当する。オラクルによると、
LINEのITサービスセンターの中から、LINEの大規模なネットワークを支えるネットワークエンジニアのチームや仕事内容について紹介する「LINE ネットワークエンジニア採用説明会」。ネットワーク室 室長 兼 データセンターチーム マネージャーの白田篤志氏が、データセンターエンジニアの業務概要とその魅力について話しました。 データセンターチームの紹介 白田篤志氏：次にデータセンターエンジニアの仕事について説明します。まずチームの紹介をいたします。チームはマネージャー1名、メンバー3名で構成されています。私たちデータセンターチームは、サーバールームの構築プロジェクトをリードするので、サーバールームで初期構築をするTRスイッチや、コアのネットワークラック、ケーブル配線などの関係で、サービスネットワークチームとよく連携しています。 また、out of bandのネットワークの構築関連でエンタープラ
4つのチーム構成 鈴木雄一郎氏：私からはネットワーク室の紹介と、サービスネットワークチームに関する業務を説明していきたいと思います。 私は、ネットワーク室サービスネットワークチームでマネージャーをしている鈴木と申します。趣味は、テニスと子育てです。過去の職歴ですが、2019年にLINEに入社する前は、通信キャリアの会社で法人向けやモバイル用のIPバックボーンの設計、構築、モバイルコアのEPCの開発、あとはホワイトボックススイッチ用のOS開発などの業務を担当していました。 現在はサービスネットワークチームで、データセンターのネットワーク、データセンター間のMPLSバックボーン、インターネットピアリングなどの業務を担当しています。 それでは、ネットワーク室の紹介を簡単にしたいと思います。ネットワーク室は、ITSC配下の組織となっています。そして、ネットワーク室は4つのチームで構成されています。
DynamoDBのテーブルを1つだけにする設計のコツ（考え方編） - @mizumotokのブログ
DynamoDBは高速でスケーラブルでとても便利なデータベースです。便利なのですが、テーブル設計にはRDBMSのノウハウをそのまま使えません。例えば、DynamoDBではテーブルを１つだけにすることが推奨されています。テーブルを１つだけにする設計手法について考えてみましょう。 DynamoDBの特長 できるだけ少ないテーブル数で 1つのテーブルでの設計例 データの収集 クエリの洗い出し １つのテーブルにする クエリーにあわせてセカンダリーインデックス 設計を汎用的に まとめ DynamoDBの特長 DynamoDBはAWS（アマゾンウェブサービス）で提供される、とても便利なNoSQL データベースサービスです。高速なパフォーマンスとシームレスなスケーラビリティが特長です。 RDBMSではディスク容量が足りなくなったりしたら、基本的にはディスクを増やす等の「スケールアップ（リソースを一箇所に
ツイッターで大離職開始、マスク氏の「激務」通告受け
米サンフランシスコにあるツイッター本社（2022年10月28日撮影）。(c)Constanza HEVIA / AFP 【11月18日 AFP】米ツイッター（Twitter）を買収した実業家イーロン・マスク（Elon Musk）氏が新体制下で「極めてハードコア」で激しい長時間労働を受け入れるか、辞めるかを17日までに選択するよう迫ったのを受け、離職する従業員が相次いでいる。 離職した元従業員の一人、アンドレア・ホルスト氏は、同社社員には「並外れたパフォーマンス」が必要だとしたマスク氏の通告に言及し、「自分は並外れているかもしれないが、ハードコアには断じて反対」とツイートした。同氏のビジネス向け交流サイト（SNS）リンクトイン（LinkedIn）のプロフィルには今も「ツイッターのサプライチェーン・キャパシティー管理担当（生き残り）」と書かれている。 離職したという元幹部は17日、「夢だった仕
新機能 – AWS ECS Cluster Auto ScalingによるECSクラスターの自動スケーリング | Amazon Web Services
Amazon Web Services ブログ 新機能 – AWS ECS Cluster Auto ScalingによるECSクラスターの自動スケーリング 本日、AWS ECS Cluster Auto Scalingを発表します。この機能は、スケールアウトを高速化し信頼性を向上させる、クラスター内の空きキャパシティ管理の提供と、スケールイン時に終了されるインスタンスの自動管理を提供し、クラスターの自動スケーリングをより使いやすいものにします。 ECS Cluster Auto Scalingを有効にするには、Capacity Providerと呼ばれる新たな項目を設定する必要があります。1つのCapacity Providerは1つのEC2 Auto Scaling Groupに関連づきます。あるAuto Scaling GroupにECS Capacity Providerを関連付け
視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話 - PLAY DEVELOPERS BLOG
こんにちは、SaaS プロダクト開発部テックリードの丸山です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知するようにしています。読者の皆さまにおかれましても、くれぐれも油断されなきよう。 さて今回は、少し前の話にはなりますが、昨年実施した視聴動向データの分析基盤のリニューアルプロジェクトについてご紹介したいと思います。 視聴動向データの分析
AWS構成の基本をユースケースごとに学ぼう。AWSの中の人がサンプルをもとに解説する｜ハイクラス転職・求人情報サイト AMBI（アンビ）
AWS構成の基本をユースケースごとに学ぼう。AWSの中の人がサンプルをもとに解説する 多種多様なサービスを提供するAWSですが、よりよい構成にするためには、なにをどのように選ぶべきでしょうか。ユースケースに応じたAWSのシステム構成サンプルを「AWSの中の人」が解説します。 多くのIT企業が、クラウドコンピューティングサービス・Amazon Web Services（以下、AWS）を用いてシステムを構築していますが、多岐にわたるAWSの各種サービスを有効活用するには、適切なアーキテクチャ設計が重要になります。いずれのサービスにも得意・不得意があるため、それらの特徴を理解しながら、適切に使い分ける必要があるのです。 では、さまざまなユースケースにおいて、私たちはどのような判断軸に基づいてサービスを選定すべきなのでしょうか。今回はその知見を学ぶため、AWSを用いたアーキテクチャ構築のスペシャリ
【レポート】Fargate Spot について理解する – Deep Dive on Fargate Spot（CON311） #reinvent 2019 | DevelopersIO
こんにちは、札幌在住 AWS 事業本部 オペレーション部（通称オペ部）の池田です。 今回は re:Invent 2019 のセッション Deep Dive on Fargate Spot（CON311）のセッションスライドから読み取った内容についてご紹介します。 セッションについて タイトル Deep Dive on Fargate Spot（CON311） 発表者 Abhijeet Tirthgirikar, Sr. Software Development Engineer, Amazon Web Services Wen Xiao, Software Development Engineer, Amazon Web Services 概要 With the ability to leverage Spot on AWS Fargate, customers can now get t
JAWS-UG横浜「Aurora Serverless v2 Deep Dive」に参加してきた | DevelopersIO
AWSチームのすずきです。 2022年4月23日に開催されたJAWS-UG横浜、 アマゾンウェブサービスジャパンの星野豊氏による、Aurora Serverless v2 Deep Dive を視聴する機会がありました。 アーカイブ動画はYoutubeで公開されていますが、4月22日に一般公開された直後の Aurora Serverless v2 (以降v2)について、 印象的だった内容についてレポートします。 JAWS-UG横浜主催「Aurora Serverless v2 GAスペシャル！！」 YouTube(アーカイブ) 直リンク 発表者について Amazon Aurora MySQL 開発チームに所属するSA 星野豊さんでした。 前提事項 v2 GA当日(2022年4月23日)の資料との事でした v2のコンセプト アプリケーション負荷に応じたマネージドなDB性能調整 実際に利用した
「DWH・BIツールのこれまでとこれから」Data Engineering Study #1イベントレポート | trocco®(トロッコ)
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか（Why）」「どんな要素が必要なのか（What）」「どのように実現するのか（How）」の3つに分けて語られました。 ゆずたそ氏：「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
Karpenter のご紹介 – オープンソースの高性能 Kubernetes Cluster Autoscaler | Amazon Web Services
Amazon Web Services ブログ Karpenter のご紹介 – オープンソースの高性能 Kubernetes Cluster Autoscaler 11 月 29 日（米国時間）、Karpenter を本番環境で利用する準備が整ったことを発表しました。Karpenter は、AWS で構築された、柔軟で高パフォーマンスのオープンソース Kubernetes クラスターオートスケーラーです。アプリケーションの負荷の変化に応じて適切なサイズのコンピューティングリソースを迅速に起動することで、アプリケーションの可用性とクラスターの効率を向上させるのに役立ちます。また、Karpenter は、アプリケーションのニーズを満たすジャストインタイムのコンピューティングリソースを提供し、間もなくクラスターのコンピューティングリソースのフットプリントを自動的に最適化して、コストを削減し、パ
お久しぶりです。id:unlearned です。 会社では上杉で通しています。 このブログを始めた頃は、30歳ぴったりくらいだった気がするのですが、もう40代も半ばです。 冬の寒さも身にしみるようになりました。 今年はCOVID-19のせいで散々でしたね。しかし、せっかくのクリスマスイブです。楽しんでいきましょう。 さて、この記事は、hey アドベントカレンダー2020 の24日目の記事です。 僕は今年の終わり頃から、hey の CTO室 というところでお世話になっていて、エンジニア採用やらなにやらをいろいろ考えたりする仕事をしています。 あ、もちろん考えてるだけではなくて、いろいろやっているんですが、考えるというのはすごく大切なことです。 ご存知かもしれませんが、 弊社(hey社)は今エンジニアを積極採用中でして、来年も良い人たちと一緒に働けたらなと思っています。 さて、今日はエンジニア
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで坂本大将氏が、LINEのプライベートクラウド「Verda」でログ収集する上でのポイントについて共有しました。前半は「Verda」でログ収集する上での課題について。 LINEが内製しているプライベートクラウドプラットフォーム「Verda」 坂本大将氏：それでは「Reliable Logs Aggregation System in Multi-Tenant Kubernetes cluster」というタイトルで発表し たいと思います。 まずスピーカーの自己紹介からします。私は坂本大将と申します。2021年1月にLINEに入社していて、以来VerdaというプライベートクラウドのSREを務めています。ミッションとし
[レポート] AWS Fargate under the hood #reinvent #CON423 | DevelopersIO
CON423 - AWS Fargate under the hoodに参加してきましたのでレポートをお届けします。 こんにちは。サービスグループの武田です。 CON423 - AWS Fargate under the hood に参加してきましたのでレポートをお届けします。 なおセッションの動画はYouTubeからも視聴できます。 セッション概要 AWS Fargate is a completely serverless, container-native compute experience on AWS. Fargate doesn’t require users to provision, scale, and manage any servers. Under the hood of Fargate, there is a sophisticated architecture
EC2 の値下げ – EC2 Instance Savings Plans と標準リザーブドインスタンス | Amazon Web Services
Amazon Web Services ブログ EC2 の値下げ – EC2 Instance Savings Plans と標準リザーブドインスタンス 標準リザーブドインスタンスまたは EC2 Instance Savings Plans の使用を計画している Amazon Elastic Compute Cloud (EC2) のお客様のための値下げについてお伝えできることを嬉しく思います。価格の変更はすでに発効しているため、ニュース RI または新しい EC2 Instance Savings Plans を購入する人は誰でも、値下げ後の価格を利用できます。 当社のエンジニアリングへの投資が、当社の規模および定評のあるキャパシティー管理能力と相まって、コスト削減の機会を特定し、その効果をお客様に享受いただくことを可能にしました。 ご利用いただける値下げは、選択したリージョン、採用する
Amazon Web Services ブログ 週刊AWS – 2022/5/30週 みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。 AWS Japan では、エンジニア職に興味がある学生の方向けの短期インターンシップを毎年実施していまして、今年の夏も実施予定です。短期間でAWSのエンジニア職を体験するちょっと面白いプログラムなのですが、これがどのような内容なのかを新卒でAWS Japanに入社した3名のエンジニアがブログにしました。ご興味のあるかたはぜひ以下をご覧いただければと思います。 – AWS ソリューションアーキテクト/プロフェッショナルサービス 短期インターンシップのご紹介 それでは、先週の主なアップデートについて振り返っていきましょう。 2022年5月30日週の主要なアップデート 5/30(月) この日は米国の祝日（メモリアル
auカブコムSREが発足するまでのエピソードをご紹介した第3回、第4回の記事掲載が終わり、残り2回の連載では2020年度の1年間のSREの取り組みとその改善効果をご紹介していきます。 auカブコムSREのミッションは「運用の高度化は継続しつつも、よりお客さまサービス目線での運用改善・拡大に切り込んでいくこと」です。そのため、2020年度のSREグループの年間ロードマップの施策には、運用改善という従来の施策に加えて、お客さま目線でサービス改善につながる取り組みを3項目追加しました。「重要システムのKPI設定と閾値監視の高度化」「インシデント発生時の早期解決に向けたPD（Problem Determination）推進」「お客さまのご要望の早期実現・苦情の早期改善」です。今回の記事では以下の2つの取り組みについてご紹介します。 ・重要システムのKPI設定と閾値監視の高度化 ・インシデント発生時
[レポート] (New Launch) Introducing Amazon Redshift Serverless #reinvent2021 | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。これまでのRedshift （Provisioned Cluster）が持つ全て機能と接続性を備えたその名の通り、インスタンスを持たないサーバレスなRedshift Serverless（Preview）が登場しました。 弊社では、Redshift ServerlessのPrivate Previewの段階から、AWS様と連携して事前に技術検証やフィジビリティについてフィードバックさせていただきました思い入れの深いサービスであり、Amazon.comのプレスリリースでも私のコメントを紹介させて頂いております。 Amazon RedshiftのVP(Vice President)であるYan LeshinskyさんとプリンシパルプロダクトマネージャーであるNeeraja Rentachintalaさんによる2021/12時点の最新
![[レポート] (New Launch) Introducing Amazon Redshift Serverless #reinvent2021 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6c34adaa8e4bd8be879944c6e7f70fd99661e5e3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F11%2Feyecatch_reinvent2021_sessionreport.png)
AWS US-East-1 Lamdaの障害により、世界的に問題が発生 Data Center Dynamics 2023.06.1412,644 views Amazon Web ServicesのUS-East-1クラウドリージョンで障害が発生しました。（※AWS Statusによると、障害は現在解消した模様です） 同社は、AWS CloudFormation、Lambda、Amazon Connectがこの問題の影響を受けていると発表しました。 「US-East-1リージョンの複数のAWSサービスにおいて、エラーレートとレイテンシーの増加が継続して発生しています」と同社はステータスページで報告しました。「我々は根本的な原因をAWS Lambdaの問題と特定し、解決に向けて積極的に取り組んでいます」 [解決済み】エラーレートとレイテンシーの増加について Jun 13 3:42 PM P
この記事の目的 リレーショナルデータベース（以下、RDBMS）を大規模に利用されるときの構成手法として、データベースシャーディング（Database sharding）という方法があります。オンラインゲームやSaaSなどアクセス頻度が高く、個別のユーザーごとの操作による更新量が大きい用途などでデータベースの書き込み性の限界への回避策として多くの場面で利用されている手法です。 この手法の実現方法や得失について簡単に触れた後、この手法の経験者がSpannerを使う場合にシャーディングでの概念をどのようにSpannerに対応できるか解説します。 シャーディングについては十分わかっており、概念の読み替えだけを知りたい方は最後の表をご覧ください。 RDBMSでのシャーディングの構成 シャーディングは通常水平分割で実現されます。つまり1つのテーブルのレコードを複数の異なる物理データベースに配置します。
Amazon Aurora Serverlessをv1からv2にアップグレードしてみた | DevelopersIO
Amazon Aurora Serverlessはキャパシティ管理が不要なAmazon Auroraです。 v1とv2の2種類が存在し、v1は2018年10月に、v2は2022年4月にGAになりました。 今回は、Amazon Aurora Serverless v1をv2に移行する方法を紹介します。 v1とv2は対象とするユースケースが大きく異なるため、v1からv2へ移行する機会はレアかもしれませんが、 このような移行作業を行うと、この2つの違いやAmazon AuroraのProvisionedとServerlessの違いを体感する機会としても有用です。 どのAmazon Auroraを使う? Amazon Aurora Serverlessはバージョンが一つ違うだけで、データベースエンジンのメジャーアップグレードとは比較にならないほど大きな変更が入っており、実質的に、全く別のサービスで
イベント情報・コラム
AWSにおけるファイル共有について紹介しますはじめに ファイルサーバとは、サーバ自身が保管しているファイルをネットワーク経由で複数のクライアントからアクセスできるようにする機能（ファイル共有機能）を有するサーバです。ファイル共有を実現する仕組み・プロトコルのうち、代表的なものは以下のようなものがあります。 Network File System Network File System (NFS) は、主にLinux/UNIXで利用されているファイル共有のプロトコルです。 Red Hat Enterprise Linux (RHEL), SUSE Linux Enterprise Server (SLES), CentOS, Ubuntuなど主要なLinuxディストリビューションに標準搭載されています。 Server Message Block Server Message Block (S
Amazon Web Services ブログ 週刊AWS – 2019/12/2週（re:Invent特別号） みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 先週は 年に一度の大きなイベント AWS re:Invent 2019がラスベガスで開催されて、いつも以上に多くの新サービスや新機能が発表されましたね！エキサイティングな発表が多くて嬉しいのですが、とてもこの連載の枠に全ての重要な発表が収まりそうにりません。 そこで今回の週刊AWSでは、AWS re:Invent 2019 で発表された内容から、筆者ら（小林、下佐粉）が「個人的に凄いと思った発表10選」を独断でチョイスしてお送りします。なお、re:Invent 2019で発表された内容を全部知りたい！という方向けに関連資料も最後にまとめています。では、厳選10個のアップデートをご覧ください。 2019年12月2日週
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSのAZ障害で影響を受けた・受けなかったの設計の違い。サーバレス最高！ - GS2 Blog
NoSQLデータベースCassandraの紹介 〜 ヤフーのデータ基盤を支える技術
ZOZOMATにおけるEKSやgRPCを用いたシステム構成と課題解決 - ZOZO TECH BLOG
運用設計の教科書 ～現場で困らないITサービスマネジメントの実践ノウハウ
クックパッドマート最難解ロジック!?「採番」 - クックパッド開発者ブログ
待たせたな！噂のAuroraサーバーレスv2がGA。初心者にも分かりやすくまとめてみた - Qiita
Amazon DynamoDB スケーリングのベストプラクティス | Amazon Web Services
さらばクラウド自前主義、NRIが世界で初めて自社DCにOracle Cloudを取り込むワケ
「チームの仕事が社会インフラ・LINEを支えている」 データセンターエンジニアの仕事の魅力と求める人物像
約800Gbpsのトラフィック、2.2Tbpsのコンテンツを吐き出す LINEのネットワーク基盤を支える4つのチーム
エンジニア採用をキャパシティプランニングしよう - blog unlearned
Kubernetesクラスターで信頼性の高いログ収集基盤を構築 LINEのプライベートクラウドにおけるログ管理の苦労ポイント
週刊AWS – 2022/5/30週 | Amazon Web Services
第5回 auカブコムがSREで変わったこと～前編～ | システム管理者の会ポータルサイト
AWS US-East-1 Lamdaの障害により、世界的に問題が発生 | Data Center Café
シャーディング経験者に向けたSpannerのコンセプト解説
週刊AWS – 2019/12/2週（re:Invent特別号） | Amazon Web Services