SREをはじめよう
TOPICS System/Network 発行年月日 2024年10月 PRINT LENGTH 320 ISBN 978-4-8144-0090-4 原書 Becoming SRE FORMAT Print PDF Webシステムの信頼性は、いまや企業と組織の信頼性にも大きな影響を及ぼしています。そのシステムの信頼性を確保するのがSRE、つまり「サイトリライアビリティエンジニア」と呼ばれる職種、あるいは「サイトリライアビリティエンジニアリング」という技能、活動です。 本書は、自身もSRE/DevOps/システム管理の分野で40年のキャリアを持つ筆者による、個人がSREになるための、また組織がSREを導入し、発展させるための指針を平易かつコンパクトにまとめた書籍です。 「SREとはどのようなものか」「SREになるには何をすればよいのか」「SREを導入するにはどのように始めればいいのか」「
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
Mackerel 10周年！開発とエンジニアの”ワクワク”を支え続けた歴代PdMからのメッセージをリリース変遷を添えてお届けします #mackerel10th - Mackerel ブログ #mackerelio
いつもMackerelをご利用くださりありがとうございます。 おかげさまで、Mackerelは2024年9月17日で10周年を迎えました。 日本製サーバー監視サービス Mackerel の誕生は遡ること11年前の2013年、はてな社内で行われた事業プランコンテストがきっかけでした。*1 2014年9月17日の正式リリースからたくさんの方々にご利用いただいてきたMackerelそして監視・運用の技術を取り巻く潮流は変化し続けており、Mackerelもいま、これまでの「サーバー監視・管理」の領域から「オブザーバビリティ」領域の開発へと、さらなる進化の転換期になっています。 今回は、激しく変わっていく世の中でもMackerel が変わらず大切にしている「エンジニアを”ワクワク”させること」を支え、Mackerel のプロダクト開発をリードしてきた歴代のプロダクトマネージャーから、10周年を迎えた
AWSソリューションアーキテクトが語る「クラウドネイティブ時代のソフトウェアの構築・運用」5つのポイント──AWS Tech talk Night#5 - TECH PLAY Magazine
AWS Tech talk Night 第5弾となる今回は、AWSのプリンシパルエンジニアが執筆した技術記事『Amazon Builders' Library』から、クラウドサービスを活用しているエンジニアに有益な記事を厳選し、AWSのソリューションアーキテクトがわかりやすく解説。紹介されたAmazonのベストプラクティスは、AWSをはじめとするクラウドサービスを活用してソフトウェアの構築・運用しているエンジニアにとっても、きっと参考になるはずだ。 キャッシュのメリットとリスク、あるべき戦略とは アマゾンウェブサービスジャパン合同会社 技術統括本部 ソリューションアーキテクト 川島 拓海氏 最初に登壇した川島氏を含め、今回の登壇者5人はいずれも2022年に新卒でAWSに入社して、SAとして活躍している。川島氏のセッションでは、『Amazon Builders' Library』の「キャッシ
形式手法のこれまでとこれから - ヾﾉ*＞ㅅ＜)ﾉｼ帳
2019年が終わろうとしています あけおめ～さて2020年になりました。歴史が長い形式手法の今後を占うため、過去と直近の出来事を振り返りたいと思います。 ツッコミやタレコミは私のTwitter宛かあなたのブログかその他経路でお願いします～ シンボリック実行は形式的であるため本稿では形式手法に含めることにします。 Fuzzing関連はサーベイが甘いので漏れが多いかもしれません。 形式手法・形式検証とは 形式検証とは、厳密に定義された意味論の下で仕様やプログラムが所定の性質を満たすことを形式的に検証するための手法をいいます。「形式的に」とは、検証が事前に定義された知識だけに基づいており、検証手順が決定的であることをいうと私は理解しています。 形式手法は、形式検証に加えて、形式的にプログラムの仕様を厳密に定義するための手法を包含します。 本記事では形式手法を以下の通り大きく3つに独自に分類します
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアにいろいろと話を聞く「LINE Engineer Insights」。LINEの技術組織で働く個々人に、何を重視して技術者としてのキャリアを歩んでいるのか、今LINEで何に取り組んでいるのか、今後実現したいことなどを聞いていきます。 今回登場するのは、Observability Infrastructureチームに所属する坂本大将です。「大規模なシステムの可用性・信頼性を保ちつつ、開発・運用することに強い興味がある」と語る彼。その言葉の通り、坂本は2021年にLINEに入社して以来、プライベートクラウド「Verda」の監視基盤を担当した後、社内異動制度を利用して現在は時系列データベースの構築・運用などを
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する はじめに Kubernetes Meetup Tokyoの懇親会用に話のネタとしてメモを残す。 2021年に注目すべきCNCFの5つのテクノロジーとは？ KubeConNA(2020)最終日のkeynote session、Keynote: Predictions from the Technical Oversight Committee (TOC) - Liz Rice, CNCF TOC Chairで、CNCFのTOC(技術統括委員会)の委員長を務めるLiz Riceさんが、CNCFの2021年の技術的展望として紹介した5つの技術要素である。(順不同) カオスエンジニアリング エッジコンピューティングとしてのKubernetes サービスメッシュ Web
分散システムの開発者向けツールを構築するOpenZeppelinの元CTOであるマヌエル・アラオス氏が公開した「OpenAIのGPT-3はビットコイン以来で最大のものかもしれない」というブログ記事が大きな反響を呼んでいます。高精度なテキストを作れる言語モデル・GPT-3は確かにすごい技術なのですが、このブログ記事のポイントはまた別のところにありました。 OpenAI's GPT-3 may be the biggest thing since bitcoin https://maraoz.com/2020/07/18/openai-gpt3/ 記事は冒頭に「OpenAIの新たな言語予測モデル(GPT-3)を用いた初期の実験内容を共有します。なぜ私がGPT-3にブロックチェーン技術に匹敵する破壊的可能性があると思っているのかという理由を説明します」という要約があります。 本文では、bitco
プログラミング言語「Rust」の普及に立ちはだかる壁
Liam Tung （Special to ZDNET.com） 翻訳校正： 村上雅章 野崎裕子 2020-05-18 07:30 Stack Overflowの調査によるとRustは、開発者が「最も愛する」プログラミング言語の座に4年連続で君臨している。しかし、「Rust」プロジェクトは開発者や組織の間で普及していく上での障壁が存在していることを認めている。 Rustの普及を阻む障壁が見え始めたStack Overflowの2019年1月の調査によると、開発者はRustについて好意的な評価を下しているものの、最もよく使用している言語だと答えたのは3.2％にとどまったという。 Rustのメンテナンス担当者らは、世界各国の開発者ら4000人弱を対象とした年次調査を実施し、その普及を阻む原因を探った。回答者のうち、フルタイムでRustを使用している開発者のほとんどは、ウェブアプリケーションのバ
DataPacket 雑感
10Gbps Unmetered Dedicated Servers | DataPacket.com を自社サービスに採用して 1 年以上過ぎたので振り返ってみます。 追記: 2024-08-23 DataPacket から Akamai Connected Cloud へ切り替えました 自社製品が Raft ベースの分散システムになり、軽量なサーバーを大量に上げる事でスケールアウトが可能になっためです DataPacket 自体は利用中に障害は一切なく、サポート対応も素晴らしかったです 前提 著者は選定と調達を担当しています 著者は運用や構築に関して素人であり、実際の運用や構築は行っていません オープンになっていない価格については一切書きません 自社製品は Raft ベースのクラスター機能を持っています まとめ (2024-03-03 版) DataPacket の利用で不満は今のとこ
Amazon Web Services ブログ Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 2006 年に S3 をローンチした当時、私はその事実上無制限の容量 (「あらゆる数のブロックを簡単に保存…」)、99.99% の可用性を実現するように設計されており、データが複数の場所に透過的に保存される耐久性に優れたストレージを提供するという事実について説明しました。このローンチ以来、AWS のお客様は、バックアップと復元、データアーカイブ、エンタープライズアプリケーション、ウェブサイト、ビッグデータ、そして最終集計で 10,000 個を超えたデータレイクといった、驚くほど多様な方法で S3 を使用しておられます。 S3、およびその他の大規模な分散システムの興味深い (時には分かりにくいこともある) 側面のひとつに、一般に結果整合性として知られているものがあります。要
6年3ヶ月勤めた国立研究開発法人情報通信研究機構 (NICT) を退職しました。退職といっても、有期雇用研究員の任期満了なので、通常の退職とは少し異なるかもしれません。また、退職エントリと言えど、もちろん業務上知り得た秘密情報などは書けないので、公開情報や一般的な情報をベースに、具体性を落とした情報や主観を交えて書いていきます。国立研究開発法人とNICTそのものの説明がだいぶ長くなったので、既に知っている方は適宜飛ばして読んでください。なお、本エントリには次の仕事の話は書いてません。明日4月1日に公開します公開しました。 はじめに NICTに就職した理由 NICTを退職した理由 国立研究開発法人とは NICTについて 国立研究開発法人の目的 NICTの職員公募 総務省とNICT NICTの研究環境 北陸StarBED技術センターでの業務 サイバー攻撃検証研究室 テストベッド研究開発運用室
複数サービス間でのデータの整合性維持に向けたSagaの実装 - NTT Communications Engineers' Blog
マイクロサービスアーキテクチャにおいては、個々が独立に選定したデータベースを持つ複数のサービスにまたがって、データの整合性を維持する必要があります。 そのための方法として、Sagaパターンと呼ばれる設計方法がありますが、Sagaでは分離性が欠如しておりLost Update等の異常が発生しかねません。 そこで本記事では、Sagaの分離性を高めるための実装におけるTipsを解説します。 目次 目次 はじめに 複数サービス間での整合性維持における課題 Sagaパターン Sagaを構成するトランザクション Sagaによって実現される安全性 原子性（Atomicity） 整合性（Consistency） 分離性（Isolation） 永続性（Durability） 異常を防止/軽減する実装 分離性の欠如が引き起こす異常 分離性の欠如への対策 Semantic Lock Commutative Up
7月30日、Denoで「HTTPインポートに関して私たちが間違っていたこと(What we got wrong about HTTP imports)」と題した記事が公開された。この記事では、Deno、そしてNode.jsの開発者であるライアン・ダール自身が、DenoのHTTPインポートの設計に関する誤りと、それに対する解決策について（そして、JSRとDeno 2のPRも含め）述べている。 以下に、その内容を詳しく紹介する。 本記事は、以下のエキスパートに監修していただきました: 古川陽介さん（Japan Node.js Association代表理事） HTTPインポートとは DenoのモジュールシステムをHTTPインポートに基づいて設計するという試みは、npmに代わる分散システムをHTTP上で実現することを目指していた。これにより、package.jsonファイルやnode_modul
逆境でも乗り越えられたのは、心の底からJavaが好きだから。「#てらだよしおがんばれ」に支えられた半生 - Findy Engineer Lab
日本におけるJavaの普及に、多大なる貢献をした人物がいます。その方とは、日本人で2人目のJava Championである寺田佳央（@yoshioterada）さん。寺田さんは、これまで複数の企業でJavaやその関連製品のエバンジェリストを務め、日本におけるJavaの利用促進・啓蒙活動に従事してきました。 約25年にわたり、Javaと向き合ってきたキャリア。活動を継続できた理由は何にあったのでしょうか。今回は寺田さんにその歩みを振り返っていただきました。 それはiPhoneやKubernetesの登場にも等しい衝撃だった 今いるのが自分の望んだ場所ではなくても、その経験はいつか役に立つ オラクルによる買収後、初の登壇は本当に恐ろしかった オラクルで初めてのJavaOne Tokyo 2012 コミュニティに所属することでキャリアはより豊かになる それはiPhoneやKubernetesの登
前提: これは何? dbtを使ったデータプロダクトを作っている社内のチームメンバー向けに書いた勉強会用のドキュメントです 社外に公開できるように少し抽象化して書いてます DWHに限らずdbtを使ったデータプロダクトで生かせる話ですが、分かりやすさのためにDWHを題材にしています 3行まとめ elementaryはdbtを利用しているデータパイプラインに対してData Observabilityを強化するツールであり、付属のリッチなレポートやSlachへのアラート通知が便利です しかし、実はelementaryが内部で生成している成果物はDWHの改善に役に立つものがたくさんあります 本エントリではelementaryの成果物や役に立つ実例を多めに紹介します 前提: これは何? 3行まとめ 背景: DWHとデータ品質 Observability / Data Observabilityについて
非同期処理の基本とアクターモデルが解決する課題とは
はじめまして、マーベリック株式会社のリチャード 伊真岡です。この連載では非同期処理に役立つアクターモデルを学ぶため、JavaとScalaから使えるOSSであり、アクターモデルの実装を提供するAkkaを紹介します。連載の前半では非同期処理とActorの基礎的な部分を、後半では非同期処理から分散システムへと話を進めていきます。分散システムは現代のシステム構築において重要性を増しているので、Akkaが非同期処理のツールから始まって、どんな分散システムのアーキテクチャーのパターンを可能にしてくれるのかを紹介したいと思います。連載の第一回である今回は非同期処理の現状や歴史をおさらいし、そしてアクターモデルによって非同期処理の中でも、どういった問題が解決されるのかお話します。 非同期処理とは 現代のアプリケーション開発では非同期処理を扱う機会が数多くあるといえるでしょう。非同期処理[1]とは、処理を開
この記事では、2024年8月3-4日に開催されたSRE NEXT 2024 IN TOKYOでの自分の講演概要とパネルディスカッションに加えて、セッションでは語りきれなかった話と、登壇を終えての後記、最後にSRE NEXT全体の感想を記します。 SRE NEXT 2024では、公募セッション「工学としてのSRE再訪」と題して講演しました。それだけでなく、2日目のパネルディスカッション「SREの技術トレンド2024」にもお声がけいただき登壇しました。SRE NEXTの初回の基調講演から数えて4回目の登壇で皆勤賞を達成しました。 「工学としてのSRE再訪」 （表紙スライドの背景画像は京都のあるコーヒーショップのエスプレッソマシンを撮ったものです。コーヒーは技芸と工学の両者の側面があるため、適任かと思って選びました。） SRE NEXT 2020の基調講演は、ちょうど博士課程の入学試験を控えてい
サーバーレス技術の今と未来についてServerlessDays TokyoのPreEventで話してきました - めもおきば
𝕏にURL貼れなくなっているので、Zennにもマルチポストしています。 ServerlessDays Tokyo 2024 PreEvent 2024-09-21のServerlessDays Tokyo 2024にむけて、去年に引き続き、直前イベントでサーバーレス技術の今と未来について話してきました。 いよいよ明日からメインイベントですので参加お待ちしています！ Serverless Update 2024 文字起こし スライド全体はDocswellさんで公開しています。 PreEventはYouTubeでアーカイブがあります。 サーバーレスのおさらい 「サーバーレス」は、誤解を招きやすい技術用語で様々な定義がありますが、ここでは2つの視点で定義します。 運用者の視点としてのサーバーレスは、物理的なマシンや仮想マシン、EC2インスタンスのような「サーバー」を自分で管理するのではなく、そ
Distributed systems provide a particular challenge to program. They often require us to have multiple copies of data, which need to keep synchronized. Yet we cannot rely on processing nodes working reliably, and network delays can easily lead to inconsistencies. Despite this, many organizations rely on a range of core distributed software handling data storage, messaging, system management, and co
新米SREとしての半年を振り返る
2020年12月22日以前の記事にあるように、かれこれ8年くらいやっていたiOS開発を一旦離れてフルタイムのSREに転向するという決断をした。それから約半年が経ったので、ここまでどのようなことをやったか振り返ってみる。まだまだ経験の浅い分野なので語彙に厳密性が欠けているかもしれない。 やったことKubernetesやはりこれを触ることが一番多い。弊社ではマルチテナントのクラスタが5つあり、うち2つがDCで、3つがAWS上で動いている。アプリケーション開発者やCI/CDパイプラインはGoで書かれた内製のコマンドラインツールを通じてクラスタとインタラクトする。つまり、開発者向けに新機能のサポートする度に、このツールのインターフェースを拡張することになる。 StatefulSets/Cephそうした中でもステートフルなアプリケーションのサポートが一番目立った変更だった。マネージドのサービスをほと
我らがCloudflare社が、先日のブログで"Web3"なるものに言及してた。しかも3記事も続けざまに。 不勉強な身としては、ざっと読んだだけではふわっとしか理解できなかったので、もう少しちゃんと理解したいなーと思った。 というわけで、概要を訳しつつあれこれ調べてみたというメモです。 これは単に自分の視野が狭かったことに気付いたんですが、そもそも"Web3"という単語やそれを表すトレンドみたいなものは、2018年くらいのブロックチェーンな頃から既にあったんですね。 そういうわけなので、知ってる人にとっては何をいまさら？って話かもしれんし、それをこのタイミングでCloudflareが言及したことに、特別な意味を感じるのかも？とか。 Web 3.0とは Web3 — A vision for a decentralized web まずこの最初の記事をざっくり。 Web3とは、Web 3.0
OpenTelemetry Go Deep Dive
はじめに この記事はGo 言語 Advent Calendar 2023及びOpenTelemetry Advent Calendar 2023 8 日目の記事です。 今まで OpenTelemetry に関する記事をいくつか書いてきました(App Runner にデプロイしたアプリからトレースを X-Ray や Jaeger で可視化する記事やコンテナでデプロイした Lambda から X-Ray に OpenTelemetry でトレースを送る記事など)。今までの記事はどちらかというとインフラ観点のものが多く、アプリのサイドカーで OpenTelemetry Collector を動かしてマネージドサービスや OSS のツールにトレースを送る設定だったり、コンテナで動かして docker compose でローカルでも動かせるようにするだったりにフォーカスした内容が多かったです。一方で
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
【ブロックチェーンエンジニア必見】ブロックチェーン業界で働く上でオススメの書籍9選 | エンジニア採用の羅針盤｜HRmedia
皆さん、こんにちは。近年、金融を始めとして、様々な分野で注目を集めているブロックチェーンですが、弊社デカルトサーチで扱う求人でも、ブロックチェーン関連のものは年々増え続けており、日本においても着実に成長している業界であると言えます。 一方でブロックチェーンは、様々な領域を横断する技術であるため、どの分野から、どの程度勉強すれば良いのか分からない、といった声もよく聞きます。 実際にブロックチェーン業界では、ハッシュ値やBFTといった特有の単語や概念も多く、初学者にとっては、とっつきにくい領域であるとも言えるでしょう。 そこで今回は、合同会社DMM.com テクノロジー本部ブロックチェーン研究室のリサーチャーである篠原航さんに、ブロックチェーン業界で働いている方やこれから働きたいエンジニアの方にオススメの書籍9選を紹介して頂きました。 【合同会社DMM.com テクノロジー・篠原航さん】 合同
[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO
AWS Summit Online Koreaで発表された「1000万ユーザーのためのAWSクラウドアーキテクチャ進化」セッションのレポートです。AWSのインフラ的な利点の紹介や、ユーザー数によってどのようにアーキテクチャを構築し、どのサービスを利用すると良いかについて整理しています。 こんにちは！新卒エンジニアのハウンです? AWS Summit Online Koreaが開催されたことで、韓国語のセッションレポートを投稿しました！日本の方々ともセッションの内容を共有できたらなと思い、日本語のレポートも残しておきます。 今回の記事は模範事例の「1000万ユーザーのためのAWSクラウドアーキテクチャの進化」セッションについてまとめます。 ※ 本記事で使用されているアーキテクチャ図は登壇資料をもとに修正されたものです。 登壇者紹介 Jongmin Moon Solutions Archite
![[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e518b1f93dfdc31309838137b90da275a4352e91/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2Faws-summit-online-korea.png)
はじめに本日2022年6月21日、Cloudflareの19か所のデータセンターにおいて、トラフィックに影響を与える障害が発生しました。折り悪くこの19か所の拠点は当社最大の拠点であり、全世界のトラフィック処理の大半を占めています。この障害は、当社のインフラの重要な一部であり、Cloudflareのトラフィックの大部分を処理する当社最大の拠点における耐障害性を高めるための長期的なプロジェクトの一環として行われた変更により発生したものです。06:27 UTC、今回の障害の原因となったネットワーク設定の変更をこれらの拠点で実施。06:58 UTC、最初のデータセンターがオンラインになる。07:42 UTC、すべてのデータセンターがオンラインになり、正常稼働となる。 お客様の拠点によっては、Cloudflareを使用するWebサイトやサービスにアクセスできない場合があります。その他の拠点では、C
TOPコラムITエンジニアの海外チャレンジ・ガイドブック【エンジニアの海外挑戦記】岩永氏が語る、10年かけた移住計画。狭いチャンスを自分の道につなげられたわけ OpsBR Software Technology Inc. 代表 岩永 亮介 ソフトウェア業界で15年以上、物理的なデータセンター運用から、世界最大規模の分散システムの運用、多数の業界のお客様のシステム設計支援、フロントエンドからバックエンド、データベース管理者、DevOps やテスト設計・実装、アーキテクチャレビュー、などを経験。特に、運用に関する改善や設計は得意で、OpsBR Software Technology Inc. を立ち上げた。カナダのバンクーバー在住。経歴は、Autify で Staff Software Engineer、Sr. Technical Support Engineer、Amazon で Sr. S
小杉氏の自己紹介と、取り組んでいる案件について 竹迫良範氏（以下、竹迫）：続いてはリクルートの開発事例について2件紹介いたします。小杉さん、鶴谷さん、よろしくお願いいたします。 小杉衛史氏（以下、小杉）：よろしくお願いします。 鶴谷誠文氏（以下、鶴谷）：よろしくお願いします。 竹迫：それでは最初に小杉さん、自己紹介からお願いいたします。 小杉：はい。小杉衛史と申します。よろしくお願いします。私は2016年にリクルートに中途入社して、各ネットプロダクトを中心に初期開発や再構築プロジェクトの基盤を担当していました。今は社内プライベートクラウドの各種EOSL（End Of Service Life）対応を（していて）、サービス停止を無停止で実現したという案件が、このFORUMに選出されました。 ここからはこの案件の概要を説明しようと思います。 みなさん知っているように、毎日コマーシャルで流れてい
サーバーレス技術の今と未来についてServerlessDays Tokyo 2024 直前イベントで話してきました
ServerlessDays Tokyo 2024 PreEvent 2024-09-21のServerlessDays Tokyo 2024にむけて、去年に引き続き、直前イベントでサーバーレス技術の今と未来について話してきました。 いよいよ明日からメインイベントですので参加お待ちしています！ Serverless Update 2024 文字起こし スライド全体はDocswellさんで公開しています。 PreEventはYouTubeでアーカイブがあります。 サーバーレスのおさらい 「サーバーレス」は、誤解を招きやすい技術用語で様々な定義がありますが、ここでは2つの視点で定義します。 運用者の視点としてのサーバーレスは、物理的なマシンや仮想マシン、EC2インスタンスのような「サーバー」を自分で管理するのではなく、その管理をクラウド事業者に任せるという考え方で、要するに完全従量課金型のフル
sumirenです。 SREやSDETや技術顧問やフルスタックエンジニアをしています。 この記事は OpenTelemetry Advent Calendar 2023 3日目の記事です。 2日目の記事は @k6s4i53rx さんの OpenTelemetryとOpenObserveを使ってKubernetes監視をかじる でした。 背景 OpenTelemetryを使うと、分散システムの各サブシステムでどのように処理が進んだのか可視化することができます。 経験を積んだエンジニアの方であれば、各サブシステムとオブザーバビリティバックエンドが一体どのようなコラボレーションをしているのか気になることかと思います。実際、SDKやOpenTelemetry Collectorを使って手軽に分散トレーシングを実現できても、仕組みを理解できていないと、いざトラブルが発生したときに問題解決が難しいでし
SRE NEXT基調講演を終えて - ゆううきブログ
1月25日に開催されたSRE NEXT 2020 IN TOKYOにて、「分散アプリケーションの信頼性観測技術に関する研究」と題して、基調講演をさせていただきました。 これまで一環してWebオペレーション・SREに取り組んできて、今ではSRE Researcherと名乗っている身からすると、国内初のSREのカンファレンスで基調講演にお声がけいただいたことは大変名誉なことだと思っています。 基調講演について カンファレンスの基調講演は実ははじめての経験で、どのような発表をするかについては、いくらか逡巡することになりました。 SRE NEXTのオーガナイザーをされている@katsuhisa__さんからは、現在僕が取り組んでいる研究内容や、その研究背景として考えていることを講演してほしいという期待をいただきました。 同時に、カンファレンスのタイトルに含まれる「NEXT」には、参加者の皆様とSRE
Cloudflare、分散したCDNエッジ間でも強い一貫性を提供する「Durable Objects」正式リリース。ステートフルな分散アプリが容易に
Cloudflare、分散したCDNエッジ間でも強い一貫性を提供する「Durable Objects」正式リリース。ステートフルな分散アプリが容易に Cloudflareは、分散したCDNエッジ間でも強い一貫性を維持するオブジェクトを提供する「Durable Objects」の正式リリースを発表しました。 Today, we’re announcing that Durable Objects are generally available and production-ready for you to use! https://t.co/zSUc5w7Cn4 #FullStackWeek — Cloudflare (@Cloudflare) November 15, 2021 Cloudflareは、世界中に分散されたCDNエッジにJavaScriptのコードを配置し実行できる「Clou
WasmOS: Wasmを実行する自作マイクロカーネル
背景 WebAssembly(Wasm)をブラウザの外で活用するためにWASIの標準化が進められています。その目的は隔離され、制限されたWasmの実行環境を作ることですが、これは難しい挑戦です。WASMの安全性は外部APIの能力に依存するため、WASIの標準化は慎重に行う必要がありますが、これには多くの時間がかかります。私はこれがWASIXやWALIといった新しいシステムインタフェースが登場した原因の一つであると考えています。汎用だったはずのWasmバイナリは既にランタイム依存になりつつあります。 WASIでセキュリティを考え、苦労して「第二のOS」を作る必要があるという事実は、既存のOSが今の時代に即したものでないことを示唆します。ならばいっそ、新しいOSを作ってしまうのはどうでしょう？ この記事ではWasmを実行する自作マイクロカーネルである、WasmOSを紹介します。 WasmOS
2023年8月で新卒から約13年半勤めたSIerを退職します。関係者の方々、本当にお世話になりました。 9月から新しい職場で働くのですが、転職活動が初めてということもあり、色々と試行錯誤しながら進めたのでここにまとめたいと思います。 なお、具体的な企業名やそのプロセス、オファー条件はここには記載しません。企業名、特に前職は色々調べるとわかる情報なのですが、企業名で検索してこの記事が出てくるのもちょっと違う気がするのであえて書いておりません。 転職に向けてどう準備、活動したかにフォーカスして書こうと思うので何かしら参考になれば幸いです。 自己紹介、私の経験値 なぜ転職するのか 企業探し 選考準備 読んだ本 問題解決力を鍛える!アルゴリズムとデータ構造 データ指向アプリケーションデザイン ［試して理解］Linuxのしくみ システム設計の面接試験 世界で闘うプログラミング力を鍛える本 コーディン
翔泳社は1月17日、ITエンジニアおすすめのビジネス書と技術書のベスト10を発表した。これは同社主催のイベント「ITエンジニア本大賞2022」の中で選出したもの。特に投票数の多かった3冊については、2月17日に開催するプレゼン大会で大賞を選ぶ予定。 ビジネス書部門に選ばれたのは以下の10冊。 「恐れのない組織 「心理的安全性」が学習・イノベーション・成長をもたらす」（英治出版） 「進化思考 生き残るコンセプトをつくる『変異と適応』」（海士の風） 「超・箇条書き 『10倍速く、魅力的に』伝える技術」（ダイヤモンド社） 「直感と論理をつなぐ思考法 VISION DRIVEN」（ダイヤモンド社） 「ビジネスデザインのための行動経済学ノート バイアスとナッジでユーザーの心理と行動をデザインする」（翔泳社） 「プロダクトマネジメントのすべて 事業戦略・IT開発・UXデザイン・マーケティングからチーム
最初に STORES 予約 の開発をしているTak-Iwamotoです。 STORES 予約 は元々 Coubic というサービス名でリリースされ、heyにジョインしたタイミングで STORES 予約 としてリブランディングされました。 ただ、今でもエンドユーザーさまが予約する画面は Coubic の名称となっています。 この Coubic はNext.jsで作られており状態管理のライブラリはReduxを使用しているのですが、良くないReduxの使い方によって改修に時間がかかったり、コードの見通しが悪い箇所があります。 詳しくはこちらの記事をご覧ください。 そういった背景があり、状態管理のリファクタリングの一環でRedux -> XStateへの移行を検討中です。(ただ、優先順位の都合でまだ本格的に移行はできていません。) この記事ではXStateのコアとなる概念、Coubicで抱えている
リアルタイム通信サーバーのEC2インスタンス台数を50%削減した割り当て最適化 - Cluster Tech Blog
こんにちは、クラスター株式会社でソフトウェアエンジニアをしているMito Memelです。 clusterでは、3D空間内でアバターモーションや音声を同期するためのリアルタイム通信サーバーをAmazon EC2上で動作させています。昨年から今年にかけて、このリアルタイム通信サーバーのリソース割り当て方法を改善し、結果として稼働しているEC2インスタンス台数を半分程度に削減することに成功しました。本記事では、clusterのリアルタイム通信サーバーが抱えていたリソース割り当て効率の課題とその改善手法をご紹介します。 背景 改善手法 まとめ 背景 アバターモーションや音声の同期のようなリアルタイム性の高い双方向通信を行う、いわゆるリアルタイム通信サーバーをスケールアウトする方法には、よくあるやり方としては2種類あります。 1つ目は、Webサーバなどと同じようにアプリケーションサーバをステートレ
5GキャリアのエッジロケーションにAWSを設置、モバイルデバイスから利用できる「AWS Wavelength」発表。国内ではKDDIが提携。AWS re:Invent 2019
5GキャリアのエッジロケーションにAWSを設置、モバイルデバイスから利用できる「AWS Wavelength」発表。国内ではKDDIが提携。AWS re:Invent 2019 AWSは米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」で、5GキャリアのエッジロケーションにAWSのインフラを設置する「AWS Wavelength」を発表しました。 これにより5Gのモバイルデバイスから非常に小さなレイテンシでエッジロケーションに置かれたAWSのコンピュートやストレージなどにアクセスできるようになります。 次世代のモバイル通信サービスとして期待されている、いわゆる「5G」は、大容量で低レイテンシなネットワークを実現します。 しかしこの5Gネットワークを通じて、モバイルデバイスからAWSのようなパブリッククラウドへアクセスしようとすると、5Gキャリアのネットワークからイン
「社会を作り変えたいなら、コードを書くのが一番だ」――。ソフトウエアが世の中を大きく変えている今、それを作り上げるコーダーの存在感は高まる一方だ。優秀なコーダーをひき付けられるかが、企業の競争優位性を大きく左右するまでになっている。本特集では5回にわたって、そんなコーダーたちの実像に迫る。 ハイテク企業の創業者などは、まず、資本主義経済にはあちこち割れ目があり、そこから底辺に滑り落ちてしまう人がいる、しかも、そういう亀裂でふつうの人の暮らしがめちゃくちゃになってしまうことがあると考える人々だと言える。同時に、そういう亀裂を全力で作ろうとしている人々だとも言える。 アマゾンの台頭で小さな商店が減ってしまったこと、ウーバーをはじめとするオンデマンドサービスの台頭でギグと呼ばれる不安定な働き方が増えたこと、オートメーションの普及で法務アシスタントなどの職業がなくなってしまったことなどを見れば明ら
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
低レイヤ領域への理解を深めながら、キャリアを開拓してきた。坂本大将の足跡
「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブログ記事が大反響を呼ぶ理由とは？
Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 | Amazon Web Services
6年3ヶ月勤めた国立研究開発法人情報通信研究機構(NICT)を退職しました - yumulog
ライアン・ダール、DenoにおけるHTTPインポートの設計の誤りを率直に認める — JSRへの移行を推奨
DWH改善に生かす! 入門elementary - yasuhisa's blog
工学としてのSRE再訪 - SRE NEXT 2024登壇後記 - ゆううきブログ
Catalog of Patterns of Distributed Systems
CloudflareのWeb3の記事を読んで、ざっくり調べたメモ - console.lealog();
2022年6月21日に発生したCloudflareの障害について
【エンジニアの海外挑戦記】岩永氏が語る、10年かけた移住計画。狭いチャンスを自分の道につなげられたわけ
日本ならではの“こだわり”と、「他の人がやってくれるだろう」を生まない環境がすばらしい 登大遊氏がリクルートのエンジニアが取り組む案件に感じること
OpenTelemetry 分散トレーシングのシステムアーキテクチャ
転職活動の記録〜クラウドと英語〜 - fu3ak1's tech days
ITエンジニアが選ぶ、おすすめビジネス書・技術書ベスト10 翔泳社が発表
XStateを支える概念と実装方法について - STORES Product Blog
「ぼろぼろでも動けばいい」、クレイジーなアイデアは美しいコードに勝る