昨年のre:Invent 2019で発表されたAmazon Builder's Libraryを一通り読んでみました。通勤電車で読んでいたのですが、途中で冬休みに突入してしまい少し時間がかかってしまいました。途中で日本語にも対応していることに気付いたのですが、折角なので全て英語で読んでみました。 aws.amazon.com Amazonにおける大規模分散システムの開発で得られたノウハウが公開されているのですが、昨今マイクロサービスの普及もあり、Amazonのような規模でなくとも分散システムに関するノウハウが重要になりつつあります。もちろんAWSのインフラや規模感に依存する部分も多々見られるものの、大規模な分散システムを運用した上で得られる知見というのは得難いものですし、一般論として参考になる部分も多く、とても有用なコンテンツだと思います。 全体を通して共通して述べられていたのは以下のよう
2020年にやったこと 2019年にやったこと 2018年にやったこと 2017年にやったこと 2016年にやったこと 2015年にやったこと というわけでこれ毎年書いてるんですけど、 なんか参戦したくなったので Rubyist近況 Advent Calendar 2021 24日目です。 入居者募集 記事があるくらいですし、自由に書こうと思います。メリークリスマス。 発表 1歳児がいる状況で家を留守にしたり夜に声を出したりすると家族に負担がかかるので、録画提出できるカンファレンスにしか基本参加しないことにしているのだけど、コロナが長引いていることにより今年も登壇しやすい状況が続いた。 とはいえ、ハイブリッド開催だったRubyConfに関しては、国内の渡航だけでShopifyのYJITチーム全員 (や当地のRubyフレンズ) と対面で話せる貴重な機会だったので、行けなかったのは惜しいなあと
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
2020年10月1日(木)に起きた東京証券取引所のサービス停止から派生してこの週末は政府へのブロックチェーン導入の話題をよく目にした。ただ Blockchain as a 情報商材 な方面からは今でもとても幻想的な未来が語られて来るし、他方で技術サイドからは Bitcoin ベースのブロックチェーンから知識更新がされていない批判が出ていて、どちらも的を射ず個人的にすごくモヤモヤとした週末だった。 このエントリはそのモヤモヤを供養する放言であり、故に暗黙的にすべての文末に (個人的な意見です) が付随します。 "Bitcoin の" ブロックチェーンてどうなの? 汎用性は低く決済以外の用途は考慮していない 正直 Bitcoin のブロックチェーンはあの時代の暗号研究界隈のアイディアをごった煮にした壮大な社会実験のようなもので、暗号通貨の送金以外の用途を意図した設計にはなっていない。実装も負値
Enabling SRE チームの oracle です。 チーム内で SLO の推進を担当しております。 freee での SLO の実践についてご紹介させて頂きます。 改めてSREとは 皆さんご存知のように SRE とは Google 社が実践してきたシステム運用のノウハウを書籍化したことで一般的に知られるようになった言葉です。 日本語版の書籍が発売されてからもう5年経ちました。 Google が提唱しているアプローチを皆さんは実践できていますでしょうか。 freee では SRE チームの前身はインフラという部署でした。 同じように部署を新設ではなくて名前を変更した企業も多いのではないでしょうか。 チームの名称は何であれ問題はありません。重要なのは SRE を実践しているのか、していないかです。freee は SRE を実践できていたかというとそうではありませんでした。 信頼性とは S
チームのデータ基盤技術の審美眼を育てるために取り組んでいること - ann-toque’s diary
前提と想定読者 本記事の私見以外の情報に関しては、一般に公開されている資料のリンク集のようになっています。 取り組んでいる内容は、私が現在勤務している会社に関連していますが、その詳細には触れません。 以下に類する方は参考になるかもしれません。 データエンジニアやBIエンジニアのように、データ基盤を構築しようとしている方 データアナリスト、データサイエンティスト、マーケッターなど、データ基盤を利用する方々で、なぜそのシステムが選ばれているのか考えられるようになりたい方 データエンジニアリングチームをマネジメントしており、チームメンバーのスキル向上のための教材を探している方 背景 WEB業界で新卒からデータエンジニアとしてキャリアをスタートし、現在はデータストラテジスト/BIエンジニアとして活動中のやすです。 現在、私は5-10名規模のチームをマネジメントしており、チームメンバーのほとんどは2
Ayame互換の WebRTC Signaling Server "ayu" を作った - castaneaiのブログ
AyameというWebRTC Signaling Serverの実装がある。 Web側のSDKとサーバー側の実装が両方公開されており、プロトコルの仕様も文章化されている。 GitHub - OpenAyame/ayame-web-sdk: Ayame Web SDK GitHub - OpenAyame/ayame: WebRTC Signaling Server Ayame GitHub - OpenAyame/ayame-spec: WebRTC Signaling Server Ayame Spec そして今回、Ayame互換のプロトコルを持つWebRTC Signaling Server "ayu" を開発した。 github.com 動機 Ayameはサーバー側も含めてオープンな実装があるのになぜ新しく互換サーバーを作ったのか。 大きく分けて2つの理由がある。 ステートレス カス
この記事は、Fujitsu Advent Calendar 2022の25日目の記事です。 「え、まだこのネタで書くの？」と思う方もいらっしゃるかもしれませんが、ええ、今年もこのネタで書きます。 1. NVDIMMの終焉とCXLの台頭 1.1 Intel Optane Persistent Memory これを読む皆さんはおそらくご承知のことでしょう。NVDIMMの最有力製品であったIntel Optane Persisntent Memoryのビジネスは、残念ながら終焉に向かうことが以下のように発表されました。 In Q2 2022, we initiated the winding down of our Intel Optane memory business. 実は発表と同時にすぐに製品出荷を終了してしまったわけではありません。以下の記事から少し引用します。 既存のOptane永続
クラウド・ネイティブはIT人材や組織をどう変えていくか 及川卓也氏（以下、及川）：こんばんは。及川と申します。今から1時間ほどモデレーターを務めさせていただければと思います。 本日は、クラウド・ネイティブ自体がIT人材や組織をどう変えていくかというテーマで、このお三方を迎えて1時間半ほど、お話したいと思います。 私は今日モデレーターを務めさせていただく、Tablyの及川と申します。100人中99人が「タブリー」と読んでしまうのですが「Tably（テーブリー）」という会社名だけは覚えて帰っていただければと思います。 IT業界に30年ほどおりまして、基本的にずっと外資系におりました。ただ、そのあとスタートアップ企業を経て、今はスタートアップや大企業のいわゆるDX（デジタルトランスフォーメーション）のお手伝いをしております。 2019の10月に『ソフトウェア・ファースト』という本を出させていただ
satoru-takeuchi.hatenablog.com ↑この記事が Twitter の TL に流れてたから読んでみたら面白かったのでコードを書き始めた7年前*1から振り返りながら書いてみる。 コードが残っていたりするものは載せていきたい。思い出せる限りなるべく時系列順で書いていく。多少前後する。 「独学でプログラミングを始めるなら C 言語から」という文言に載せられ Windows のコマンドプロンプト*2で動く簡単のプログラムをいくつか作った。ほとんど入門書の写経 + αだった。例によってポインタがわからず、もっと酷いことに return もわからなくて*3一旦距離を置く。return がわからなかったので関数を使うことを割けていたので全部 main 関数に書いていた気がする。初めて黒い画面にバババーっと文字が出てきたときはめちゃくちゃ楽しかった。 Java とかいう言語を使い
Cloud Spanner のロックについて
この記事では Cloud Spanner の並行性制御が何であるのか、結果として何を実現しているのかを見てから具体的なロックの実際の挙動について追っていく。 なお分散システムとしての話はあまりないので期待しないように。 この記事では実際の挙動を確認しながら書いているつもりだが、 2021年3月現在の挙動がサイレントに変わることもあることには注意してほしい。 TL;DR Cloud Spanner はロックフリーな Read-Only Transction と、堅実にロックを行う Read-Write Transaction の2つのアクセスパスを持ち、 ROMV と呼ばれる方式に最も近い。 その他技術との組み合わせの結果として分散システムでありながら Serializability と Linearizability を兼ね揃えた理論上最も強い一貫性を実現しており、 Google はそれを
はじめに July Tech Festa 2020において、「マイクロサービスの今だからこそ！理解して拡げる 分散システムの基礎知識」のタイトルで登壇をしてきました。スライドはこちらにありますが、資料内や当日のトークで話せていない部分を含めて、こちらでblogとして解説をしておきたいと思います。 1. セッションの導入 - 新たなムチャブリ - 今回は昨年の#JTF2019で私が話した、「Cloud Native開発者のためのDatabase with Kubernetes」からの続編という形にしてみました。 昨年は、 「せっかくKubernetesを使うのにアプリケーションだけじゃもったいない。 DB、そしてステートフルなワークロードにも適用していきましょう」 という話をしましたが、Kubernetes-native Testbedなど、そうした取り組みが増えつつある傾向にはとても興味を
![[#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/69e28ade9444ec089dc37dbbbb7b8e77a898e6ac/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIzSlRGMjAyMCUyMCVFOCVBNyVBMyVFOCVBQSVBQyVFNyU4OSU4OCU1RCVFNyU5MCU4NiVFOCVBNyVBMyVFMyU4MSU5NyVFMyU4MSVBNiVFNiU4QiVBMSVFMyU4MSU5MiVFMyU4MiU4QiUyMCVFNSU4OCU4NiVFNiU5NSVBMyVFMyU4MiVCNyVFMyU4MiVCOSVFMyU4MyU4NiVFMyU4MyVBMCVFMyU4MSVBRSVFNSU5RiVCQSVFNyVBNCU4RSVFNyU5RiVBNSVFOCVBRCU5OCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NzEwNDgxM2RiOGRhYTM3YjIzZDhiZjJhMmQ0NGVhODc%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0emtvYmEmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPThiOWQ4MGQwNDVlMWVmMmQ4ODRmMjRhNmVlOTM5NjYy%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D7d34b63b3afb13b307ea11e249796066)
【AWS試験】非エンジニアがソリューションアーキテクト アソシエイト(SAA)を受けて合格した話 | DevelopersIO
こんにちは、AWS営業部の洲崎です！ 少し前になりますが、AWSのソリューションアーキテクト アソシエイト試験を受けて合格しました。 試験を受ける際のNDAによって試験内容に触れる事は出来ませんが、コツ等をお伝えできればと思います。 ソリューションアーキテクト アソシエイトとは？ ソリューションアーキテクト アソシエイト(通称SAA)とは2020年7月現在で、AWSの12個ある試験の中で、AWS試験の登竜門と言われている認定資格となります。 AWS 認定 ソリューションアーキテクト – アソシエイト https://aws.amazon.com/jp/certification/certified-solutions-architect-associate/ AWS 認定ソリューションアーキテクト – アソシエイト試験は、AWS における分散システムの可用性、コスト効率、高耐障害性およびス
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
Mackerel 10周年！開発とエンジニアの”ワクワク”を支え続けた歴代PdMからのメッセージをリリース変遷を添えてお届けします #mackerel10th - Mackerel ブログ #mackerelio
いつもMackerelをご利用くださりありがとうございます。 おかげさまで、Mackerelは2024年9月17日で10周年を迎えました。 日本製サーバー監視サービス Mackerel の誕生は遡ること11年前の2013年、はてな社内で行われた事業プランコンテストがきっかけでした。*1 2014年9月17日の正式リリースからたくさんの方々にご利用いただいてきたMackerelそして監視・運用の技術を取り巻く潮流は変化し続けており、Mackerelもいま、これまでの「サーバー監視・管理」の領域から「オブザーバビリティ」領域の開発へと、さらなる進化の転換期になっています。 今回は、激しく変わっていく世の中でもMackerel が変わらず大切にしている「エンジニアを”ワクワク”させること」を支え、Mackerel のプロダクト開発をリードしてきた歴代のプロダクトマネージャーから、10周年を迎えた
AWSソリューションアーキテクトが語る「クラウドネイティブ時代のソフトウェアの構築・運用」5つのポイント──AWS Tech talk Night#5 - TECH PLAY Magazine
AWS Tech talk Night 第5弾となる今回は、AWSのプリンシパルエンジニアが執筆した技術記事『Amazon Builders' Library』から、クラウドサービスを活用しているエンジニアに有益な記事を厳選し、AWSのソリューションアーキテクトがわかりやすく解説。紹介されたAmazonのベストプラクティスは、AWSをはじめとするクラウドサービスを活用してソフトウェアの構築・運用しているエンジニアにとっても、きっと参考になるはずだ。 キャッシュのメリットとリスク、あるべき戦略とは アマゾンウェブサービスジャパン合同会社 技術統括本部 ソリューションアーキテクト 川島 拓海氏 最初に登壇した川島氏を含め、今回の登壇者5人はいずれも2022年に新卒でAWSに入社して、SAとして活躍している。川島氏のセッションでは、『Amazon Builders' Library』の「キャッシ
形式手法のこれまでとこれから - ヾﾉ*＞ㅅ＜)ﾉｼ帳
2019年が終わろうとしています あけおめ～さて2020年になりました。歴史が長い形式手法の今後を占うため、過去と直近の出来事を振り返りたいと思います。 ツッコミやタレコミは私のTwitter宛かあなたのブログかその他経路でお願いします～ シンボリック実行は形式的であるため本稿では形式手法に含めることにします。 Fuzzing関連はサーベイが甘いので漏れが多いかもしれません。 形式手法・形式検証とは 形式検証とは、厳密に定義された意味論の下で仕様やプログラムが所定の性質を満たすことを形式的に検証するための手法をいいます。「形式的に」とは、検証が事前に定義された知識だけに基づいており、検証手順が決定的であることをいうと私は理解しています。 形式手法は、形式検証に加えて、形式的にプログラムの仕様を厳密に定義するための手法を包含します。 本記事では形式手法を以下の通り大きく3つに独自に分類します
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアにいろいろと話を聞く「LINE Engineer Insights」。LINEの技術組織で働く個々人に、何を重視して技術者としてのキャリアを歩んでいるのか、今LINEで何に取り組んでいるのか、今後実現したいことなどを聞いていきます。 今回登場するのは、Observability Infrastructureチームに所属する坂本大将です。「大規模なシステムの可用性・信頼性を保ちつつ、開発・運用することに強い興味がある」と語る彼。その言葉の通り、坂本は2021年にLINEに入社して以来、プライベートクラウド「Verda」の監視基盤を担当した後、社内異動制度を利用して現在は時系列データベースの構築・運用などを
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する はじめに Kubernetes Meetup Tokyoの懇親会用に話のネタとしてメモを残す。 2021年に注目すべきCNCFの5つのテクノロジーとは？ KubeConNA(2020)最終日のkeynote session、Keynote: Predictions from the Technical Oversight Committee (TOC) - Liz Rice, CNCF TOC Chairで、CNCFのTOC(技術統括委員会)の委員長を務めるLiz Riceさんが、CNCFの2021年の技術的展望として紹介した5つの技術要素である。(順不同) カオスエンジニアリング エッジコンピューティングとしてのKubernetes サービスメッシュ Web
分散システムの開発者向けツールを構築するOpenZeppelinの元CTOであるマヌエル・アラオス氏が公開した「OpenAIのGPT-3はビットコイン以来で最大のものかもしれない」というブログ記事が大きな反響を呼んでいます。高精度なテキストを作れる言語モデル・GPT-3は確かにすごい技術なのですが、このブログ記事のポイントはまた別のところにありました。 OpenAI's GPT-3 may be the biggest thing since bitcoin https://maraoz.com/2020/07/18/openai-gpt3/ 記事は冒頭に「OpenAIの新たな言語予測モデル(GPT-3)を用いた初期の実験内容を共有します。なぜ私がGPT-3にブロックチェーン技術に匹敵する破壊的可能性があると思っているのかという理由を説明します」という要約があります。 本文では、bitco
プログラミング言語「Rust」の普及に立ちはだかる壁
Liam Tung （Special to ZDNET.com） 翻訳校正： 村上雅章 野崎裕子 2020-05-18 07:30 Stack Overflowの調査によるとRustは、開発者が「最も愛する」プログラミング言語の座に4年連続で君臨している。しかし、「Rust」プロジェクトは開発者や組織の間で普及していく上での障壁が存在していることを認めている。 Rustの普及を阻む障壁が見え始めたStack Overflowの2019年1月の調査によると、開発者はRustについて好意的な評価を下しているものの、最もよく使用している言語だと答えたのは3.2％にとどまったという。 Rustのメンテナンス担当者らは、世界各国の開発者ら4000人弱を対象とした年次調査を実施し、その普及を阻む原因を探った。回答者のうち、フルタイムでRustを使用している開発者のほとんどは、ウェブアプリケーションのバ
DataPacket 雑感
10Gbps Unmetered Dedicated Servers | DataPacket.com を自社サービスに採用して 1 年以上過ぎたので振り返ってみます。 追記: 2024-08-23 DataPacket から Akamai Connected Cloud へ切り替えました 自社製品が Raft ベースの分散システムになり、軽量なサーバーを大量に上げる事でスケールアウトが可能になっためです DataPacket 自体は利用中に障害は一切なく、サポート対応も素晴らしかったです 前提 著者は選定と調達を担当しています 著者は運用や構築に関して素人であり、実際の運用や構築は行っていません オープンになっていない価格については一切書きません 自社製品は Raft ベースのクラスター機能を持っています まとめ (2024-03-03 版) DataPacket の利用で不満は今のとこ
Amazon Web Services ブログ Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 2006 年に S3 をローンチした当時、私はその事実上無制限の容量 (「あらゆる数のブロックを簡単に保存…」)、99.99% の可用性を実現するように設計されており、データが複数の場所に透過的に保存される耐久性に優れたストレージを提供するという事実について説明しました。このローンチ以来、AWS のお客様は、バックアップと復元、データアーカイブ、エンタープライズアプリケーション、ウェブサイト、ビッグデータ、そして最終集計で 10,000 個を超えたデータレイクといった、驚くほど多様な方法で S3 を使用しておられます。 S3、およびその他の大規模な分散システムの興味深い (時には分かりにくいこともある) 側面のひとつに、一般に結果整合性として知られているものがあります。要
SREをはじめよう
TOPICS System/Network 発行年月日 2024年10月 PRINT LENGTH 320 ISBN 978-4-8144-0090-4 原書 Becoming SRE FORMAT Print PDF Webシステムの信頼性は、いまや企業と組織の信頼性にも大きな影響を及ぼしています。そのシステムの信頼性を確保するのがSRE、つまり「サイトリライアビリティエンジニア」と呼ばれる職種、あるいは「サイトリライアビリティエンジニアリング」という技能、活動です。 本書は、自身もSRE/DevOps/システム管理の分野で40年のキャリアを持つ筆者による、個人がSREになるための、また組織がSREを導入し、発展させるための指針を平易かつコンパクトにまとめた書籍です。 「SREとはどのようなものか」「SREになるには何をすればよいのか」「SREを導入するにはどのように始めればいいのか」「
6年3ヶ月勤めた国立研究開発法人情報通信研究機構 (NICT) を退職しました。退職といっても、有期雇用研究員の任期満了なので、通常の退職とは少し異なるかもしれません。また、退職エントリと言えど、もちろん業務上知り得た秘密情報などは書けないので、公開情報や一般的な情報をベースに、具体性を落とした情報や主観を交えて書いていきます。国立研究開発法人とNICTそのものの説明がだいぶ長くなったので、既に知っている方は適宜飛ばして読んでください。なお、本エントリには次の仕事の話は書いてません。明日4月1日に公開します公開しました。 はじめに NICTに就職した理由 NICTを退職した理由 国立研究開発法人とは NICTについて 国立研究開発法人の目的 NICTの職員公募 総務省とNICT NICTの研究環境 北陸StarBED技術センターでの業務 サイバー攻撃検証研究室 テストベッド研究開発運用室
複数サービス間でのデータの整合性維持に向けたSagaの実装 - NTT Communications Engineers' Blog
マイクロサービスアーキテクチャにおいては、個々が独立に選定したデータベースを持つ複数のサービスにまたがって、データの整合性を維持する必要があります。 そのための方法として、Sagaパターンと呼ばれる設計方法がありますが、Sagaでは分離性が欠如しておりLost Update等の異常が発生しかねません。 そこで本記事では、Sagaの分離性を高めるための実装におけるTipsを解説します。 目次 目次 はじめに 複数サービス間での整合性維持における課題 Sagaパターン Sagaを構成するトランザクション Sagaによって実現される安全性 原子性（Atomicity） 整合性（Consistency） 分離性（Isolation） 永続性（Durability） 異常を防止/軽減する実装 分離性の欠如が引き起こす異常 分離性の欠如への対策 Semantic Lock Commutative Up
7月30日、Denoで「HTTPインポートに関して私たちが間違っていたこと(What we got wrong about HTTP imports)」と題した記事が公開された。この記事では、Deno、そしてNode.jsの開発者であるライアン・ダール自身が、DenoのHTTPインポートの設計に関する誤りと、それに対する解決策について（そして、JSRとDeno 2のPRも含め）述べている。 以下に、その内容を詳しく紹介する。 本記事は、以下のエキスパートに監修していただきました: 古川陽介さん（Japan Node.js Association代表理事） HTTPインポートとは DenoのモジュールシステムをHTTPインポートに基づいて設計するという試みは、npmに代わる分散システムをHTTP上で実現することを目指していた。これにより、package.jsonファイルやnode_modul
逆境でも乗り越えられたのは、心の底からJavaが好きだから。「#てらだよしおがんばれ」に支えられた半生 - Findy Engineer Lab
日本におけるJavaの普及に、多大なる貢献をした人物がいます。その方とは、日本人で2人目のJava Championである寺田佳央（@yoshioterada）さん。寺田さんは、これまで複数の企業でJavaやその関連製品のエバンジェリストを務め、日本におけるJavaの利用促進・啓蒙活動に従事してきました。 約25年にわたり、Javaと向き合ってきたキャリア。活動を継続できた理由は何にあったのでしょうか。今回は寺田さんにその歩みを振り返っていただきました。 それはiPhoneやKubernetesの登場にも等しい衝撃だった 今いるのが自分の望んだ場所ではなくても、その経験はいつか役に立つ オラクルによる買収後、初の登壇は本当に恐ろしかった オラクルで初めてのJavaOne Tokyo 2012 コミュニティに所属することでキャリアはより豊かになる それはiPhoneやKubernetesの登
前提: これは何? dbtを使ったデータプロダクトを作っている社内のチームメンバー向けに書いた勉強会用のドキュメントです 社外に公開できるように少し抽象化して書いてます DWHに限らずdbtを使ったデータプロダクトで生かせる話ですが、分かりやすさのためにDWHを題材にしています 3行まとめ elementaryはdbtを利用しているデータパイプラインに対してData Observabilityを強化するツールであり、付属のリッチなレポートやSlachへのアラート通知が便利です しかし、実はelementaryが内部で生成している成果物はDWHの改善に役に立つものがたくさんあります 本エントリではelementaryの成果物や役に立つ実例を多めに紹介します 前提: これは何? 3行まとめ 背景: DWHとデータ品質 Observability / Data Observabilityについて
非同期処理の基本とアクターモデルが解決する課題とは
はじめまして、マーベリック株式会社のリチャード 伊真岡です。この連載では非同期処理に役立つアクターモデルを学ぶため、JavaとScalaから使えるOSSであり、アクターモデルの実装を提供するAkkaを紹介します。連載の前半では非同期処理とActorの基礎的な部分を、後半では非同期処理から分散システムへと話を進めていきます。分散システムは現代のシステム構築において重要性を増しているので、Akkaが非同期処理のツールから始まって、どんな分散システムのアーキテクチャーのパターンを可能にしてくれるのかを紹介したいと思います。連載の第一回である今回は非同期処理の現状や歴史をおさらいし、そしてアクターモデルによって非同期処理の中でも、どういった問題が解決されるのかお話します。 非同期処理とは 現代のアプリケーション開発では非同期処理を扱う機会が数多くあるといえるでしょう。非同期処理[1]とは、処理を開
この記事では、2024年8月3-4日に開催されたSRE NEXT 2024 IN TOKYOでの自分の講演概要とパネルディスカッションに加えて、セッションでは語りきれなかった話と、登壇を終えての後記、最後にSRE NEXT全体の感想を記します。 SRE NEXT 2024では、公募セッション「工学としてのSRE再訪」と題して講演しました。それだけでなく、2日目のパネルディスカッション「SREの技術トレンド2024」にもお声がけいただき登壇しました。SRE NEXTの初回の基調講演から数えて4回目の登壇で皆勤賞を達成しました。 「工学としてのSRE再訪」 （表紙スライドの背景画像は京都のあるコーヒーショップのエスプレッソマシンを撮ったものです。コーヒーは技芸と工学の両者の側面があるため、適任かと思って選びました。） SRE NEXT 2020の基調講演は、ちょうど博士課程の入学試験を控えてい
サーバーレス技術の今と未来についてServerlessDays TokyoのPreEventで話してきました - めもおきば
𝕏にURL貼れなくなっているので、Zennにもマルチポストしています。 ServerlessDays Tokyo 2024 PreEvent 2024-09-21のServerlessDays Tokyo 2024にむけて、去年に引き続き、直前イベントでサーバーレス技術の今と未来について話してきました。 いよいよ明日からメインイベントですので参加お待ちしています！ Serverless Update 2024 文字起こし スライド全体はDocswellさんで公開しています。 PreEventはYouTubeでアーカイブがあります。 サーバーレスのおさらい 「サーバーレス」は、誤解を招きやすい技術用語で様々な定義がありますが、ここでは2つの視点で定義します。 運用者の視点としてのサーバーレスは、物理的なマシンや仮想マシン、EC2インスタンスのような「サーバー」を自分で管理するのではなく、そ
新米SREとしての半年を振り返る
2020年12月22日以前の記事にあるように、かれこれ8年くらいやっていたiOS開発を一旦離れてフルタイムのSREに転向するという決断をした。それから約半年が経ったので、ここまでどのようなことをやったか振り返ってみる。まだまだ経験の浅い分野なので語彙に厳密性が欠けているかもしれない。 やったことKubernetesやはりこれを触ることが一番多い。弊社ではマルチテナントのクラスタが5つあり、うち2つがDCで、3つがAWS上で動いている。アプリケーション開発者やCI/CDパイプラインはGoで書かれた内製のコマンドラインツールを通じてクラスタとインタラクトする。つまり、開発者向けに新機能のサポートする度に、このツールのインターフェースを拡張することになる。 StatefulSets/Cephそうした中でもステートフルなアプリケーションのサポートが一番目立った変更だった。マネージドのサービスをほと
我らがCloudflare社が、先日のブログで"Web3"なるものに言及してた。しかも3記事も続けざまに。 不勉強な身としては、ざっと読んだだけではふわっとしか理解できなかったので、もう少しちゃんと理解したいなーと思った。 というわけで、概要を訳しつつあれこれ調べてみたというメモです。 これは単に自分の視野が狭かったことに気付いたんですが、そもそも"Web3"という単語やそれを表すトレンドみたいなものは、2018年くらいのブロックチェーンな頃から既にあったんですね。 そういうわけなので、知ってる人にとっては何をいまさら？って話かもしれんし、それをこのタイミングでCloudflareが言及したことに、特別な意味を感じるのかも？とか。 Web 3.0とは Web3 — A vision for a decentralized web まずこの最初の記事をざっくり。 Web3とは、Web 3.0
OpenTelemetry Go Deep Dive
はじめに この記事はGo 言語 Advent Calendar 2023及びOpenTelemetry Advent Calendar 2023 8 日目の記事です。 今まで OpenTelemetry に関する記事をいくつか書いてきました(App Runner にデプロイしたアプリからトレースを X-Ray や Jaeger で可視化する記事やコンテナでデプロイした Lambda から X-Ray に OpenTelemetry でトレースを送る記事など)。今までの記事はどちらかというとインフラ観点のものが多く、アプリのサイドカーで OpenTelemetry Collector を動かしてマネージドサービスや OSS のツールにトレースを送る設定だったり、コンテナで動かして docker compose でローカルでも動かせるようにするだったりにフォーカスした内容が多かったです。一方で
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
【ブロックチェーンエンジニア必見】ブロックチェーン業界で働く上でオススメの書籍9選 | エンジニア採用の羅針盤｜HRmedia
皆さん、こんにちは。近年、金融を始めとして、様々な分野で注目を集めているブロックチェーンですが、弊社デカルトサーチで扱う求人でも、ブロックチェーン関連のものは年々増え続けており、日本においても着実に成長している業界であると言えます。 一方でブロックチェーンは、様々な領域を横断する技術であるため、どの分野から、どの程度勉強すれば良いのか分からない、といった声もよく聞きます。 実際にブロックチェーン業界では、ハッシュ値やBFTといった特有の単語や概念も多く、初学者にとっては、とっつきにくい領域であるとも言えるでしょう。 そこで今回は、合同会社DMM.com テクノロジー本部ブロックチェーン研究室のリサーチャーである篠原航さんに、ブロックチェーン業界で働いている方やこれから働きたいエンジニアの方にオススメの書籍9選を紹介して頂きました。 【合同会社DMM.com テクノロジー・篠原航さん】 合同
[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO
AWS Summit Online Koreaで発表された「1000万ユーザーのためのAWSクラウドアーキテクチャ進化」セッションのレポートです。AWSのインフラ的な利点の紹介や、ユーザー数によってどのようにアーキテクチャを構築し、どのサービスを利用すると良いかについて整理しています。 こんにちは！新卒エンジニアのハウンです? AWS Summit Online Koreaが開催されたことで、韓国語のセッションレポートを投稿しました！日本の方々ともセッションの内容を共有できたらなと思い、日本語のレポートも残しておきます。 今回の記事は模範事例の「1000万ユーザーのためのAWSクラウドアーキテクチャの進化」セッションについてまとめます。 ※ 本記事で使用されているアーキテクチャ図は登壇資料をもとに修正されたものです。 登壇者紹介 Jongmin Moon Solutions Archite
![[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e518b1f93dfdc31309838137b90da275a4352e91/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2Faws-summit-online-korea.png)
はじめに本日2022年6月21日、Cloudflareの19か所のデータセンターにおいて、トラフィックに影響を与える障害が発生しました。折り悪くこの19か所の拠点は当社最大の拠点であり、全世界のトラフィック処理の大半を占めています。この障害は、当社のインフラの重要な一部であり、Cloudflareのトラフィックの大部分を処理する当社最大の拠点における耐障害性を高めるための長期的なプロジェクトの一環として行われた変更により発生したものです。06:27 UTC、今回の障害の原因となったネットワーク設定の変更をこれらの拠点で実施。06:58 UTC、最初のデータセンターがオンラインになる。07:42 UTC、すべてのデータセンターがオンラインになり、正常稼働となる。 お客様の拠点によっては、Cloudflareを使用するWebサイトやサービスにアクセスできない場合があります。その他の拠点では、C
TOPコラムITエンジニアの海外チャレンジ・ガイドブック【エンジニアの海外挑戦記】岩永氏が語る、10年かけた移住計画。狭いチャンスを自分の道につなげられたわけ OpsBR Software Technology Inc. 代表 岩永 亮介 ソフトウェア業界で15年以上、物理的なデータセンター運用から、世界最大規模の分散システムの運用、多数の業界のお客様のシステム設計支援、フロントエンドからバックエンド、データベース管理者、DevOps やテスト設計・実装、アーキテクチャレビュー、などを経験。特に、運用に関する改善や設計は得意で、OpsBR Software Technology Inc. を立ち上げた。カナダのバンクーバー在住。経歴は、Autify で Staff Software Engineer、Sr. Technical Support Engineer、Amazon で Sr. S
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Builder's Libraryを読んでみた - たけぞう瀕死ブログ
2021年にやったこと - k0kubun's blog
東証停止からのブロックチェーン話にモヤッとした人の独り言 - Qiita
freee での SLO の実践について - freee Developers Hub
2022年の不揮発メモリとLinux対応動向について - Qiita
クラウド・ネイティブは”人とシステム”をどう変えるのか？ OSS界隈のエキスパートの組織論
私のコード履歴書 - それが僕には楽しかったんです。
[#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita
低レイヤ領域への理解を深めながら、キャリアを開拓してきた。坂本大将の足跡
「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブログ記事が大反響を呼ぶ理由とは？
Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 | Amazon Web Services
6年3ヶ月勤めた国立研究開発法人情報通信研究機構(NICT)を退職しました - yumulog
ライアン・ダール、DenoにおけるHTTPインポートの設計の誤りを率直に認める — JSRへの移行を推奨
DWH改善に生かす! 入門elementary - yasuhisa's blog
工学としてのSRE再訪 - SRE NEXT 2024登壇後記 - ゆううきブログ
CloudflareのWeb3の記事を読んで、ざっくり調べたメモ - console.lealog();
2022年6月21日に発生したCloudflareの障害について
【エンジニアの海外挑戦記】岩永氏が語る、10年かけた移住計画。狭いチャンスを自分の道につなげられたわけ