この記事は CAMPHOR- Advent Calendar 2021 23日目の記事です．22日目の記事は @sanposhiho の「Pod Topology Spread Constraintsのすべて」でした． この記事では，CAMPHOR- 卒業後に Site Reliability Engineer (サイト信頼性エンジニア・SRE) として働いてきた経験をもとに，SRE とはどういう仕事をしているのか，どのようなスキルを利用しているかなどを紹介します．これまで対外的に SRE について文章を書いたことはあまりなかったのですが，SRE の役割はまだまだ広く知られておらず「SRE って結局なに?」と思っている人も多くいるように感じるので，せっかくの機会を生かして自分の経験を書いてみようと思います． 対象読者 主に SRE について興味のある学生やジュニアなエンジニアの方を想定して
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -導入編- - inductor's blog
はじめに こんにちは。inductorです。 今日のエントリーはタイトルの通りです。 BorgはGoogleが持つアプリケーション実行基盤で、Google CloudにおいてはGKEのマスターノードやGoogle App Engineなどが実際に動くインフラとしても使われています。 また、話題のKubernetesの元になったGoogle Insideなプロジェクトとしても有名かとおもいます。 ツイッターで誰かが「Borgの論文を誰か日本語で解説してほしい」と言っていたのを見かけたのを見かけたので、論文を読んで実際に中身を紐解いてみたいなと思いました。 元論文はこちらです ai.google 何を書くのか 自分は実はBorgの論文をきちんと読み込んだことはないため、時間を掛けて何回かに分けてやってみようと思っています。 実は、Borgの解説自体は他の方々もやっているようで、僕が改めてやる意
サイボウズの新しいインフラ基盤を支えるストレージの本番適用に向けた取り組み - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。Necoプロジェクトではサイボウズのクラウドサービスcybozu.comの次期インフラ基盤を開発しています。その根幹となるコンポーネントの一つがお客様のデータをあずかるストレージです。本記事ではNecoのストレージの本番適用に向けた取り組みの一つを紹介いたします。 たくさんの取り組みをしているのですが、ここではストレージシステムの運用にあたって、データを格納するRook/Cephクラスタの運用に必要なオペレーションを作る部分について扱います。 用語解説 ここでは本記事を読むにあたって必要になるCephの用語について、いくつか説明しておきます。 OSD OSDとはCephクラスタに組み込まれる個々のディスク上に存在している、ユーザの実データを保存する領域です。Cephは自身を構成するノード上にあるOSDを束ねてストレージプールを作ります
昨年のre:Invent 2019で発表されたAmazon Builder's Libraryを一通り読んでみました。通勤電車で読んでいたのですが、途中で冬休みに突入してしまい少し時間がかかってしまいました。途中で日本語にも対応していることに気付いたのですが、折角なので全て英語で読んでみました。 aws.amazon.com Amazonにおける大規模分散システムの開発で得られたノウハウが公開されているのですが、昨今マイクロサービスの普及もあり、Amazonのような規模でなくとも分散システムに関するノウハウが重要になりつつあります。もちろんAWSのインフラや規模感に依存する部分も多々見られるものの、大規模な分散システムを運用した上で得られる知見というのは得難いものですし、一般論として参考になる部分も多く、とても有用なコンテンツだと思います。 全体を通して共通して述べられていたのは以下のよう
2020年にやったこと 2019年にやったこと 2018年にやったこと 2017年にやったこと 2016年にやったこと 2015年にやったこと というわけでこれ毎年書いてるんですけど、 なんか参戦したくなったので Rubyist近況 Advent Calendar 2021 24日目です。 入居者募集 記事があるくらいですし、自由に書こうと思います。メリークリスマス。 発表 1歳児がいる状況で家を留守にしたり夜に声を出したりすると家族に負担がかかるので、録画提出できるカンファレンスにしか基本参加しないことにしているのだけど、コロナが長引いていることにより今年も登壇しやすい状況が続いた。 とはいえ、ハイブリッド開催だったRubyConfに関しては、国内の渡航だけでShopifyのYJITチーム全員 (や当地のRubyフレンズ) と対面で話せる貴重な機会だったので、行けなかったのは惜しいなあと
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
2020年10月1日(木)に起きた東京証券取引所のサービス停止から派生してこの週末は政府へのブロックチェーン導入の話題をよく目にした。ただ Blockchain as a 情報商材 な方面からは今でもとても幻想的な未来が語られて来るし、他方で技術サイドからは Bitcoin ベースのブロックチェーンから知識更新がされていない批判が出ていて、どちらも的を射ず個人的にすごくモヤモヤとした週末だった。 このエントリはそのモヤモヤを供養する放言であり、故に暗黙的にすべての文末に (個人的な意見です) が付随します。 "Bitcoin の" ブロックチェーンてどうなの? 汎用性は低く決済以外の用途は考慮していない 正直 Bitcoin のブロックチェーンはあの時代の暗号研究界隈のアイディアをごった煮にした壮大な社会実験のようなもので、暗号通貨の送金以外の用途を意図した設計にはなっていない。実装も負値
Origami・Kyash・メルペイ・PayPay開発者が話す モバイル決済の裏側！Bonfire Backend#3 レポート
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ Bonfire Backend運営の田中です。 7月24日に弊社のオープンコラボレーションスペースLODGEにてBonfire Backend #3を開催しました！ いつもiOS, Android, Designなどさまざまなジャンルにフォーカスをあてたコミュニティを催しておりますが、今回は、サービスのBackendにフォーカスを当てたBonfire Backend#3を開催しました イベントについて イベントについてご紹介します。 Bonfire Backend#3のテーマは「モバイル決済の裏側」です。 昨今、さまざまなモバイル決済が目まぐるしく登場しています。各サービスに共通する設計や、使っている技術の違いなどに
Enabling SRE チームの oracle です。 チーム内で SLO の推進を担当しております。 freee での SLO の実践についてご紹介させて頂きます。 改めてSREとは 皆さんご存知のように SRE とは Google 社が実践してきたシステム運用のノウハウを書籍化したことで一般的に知られるようになった言葉です。 日本語版の書籍が発売されてからもう5年経ちました。 Google が提唱しているアプローチを皆さんは実践できていますでしょうか。 freee では SRE チームの前身はインフラという部署でした。 同じように部署を新設ではなくて名前を変更した企業も多いのではないでしょうか。 チームの名称は何であれ問題はありません。重要なのは SRE を実践しているのか、していないかです。freee は SRE を実践できていたかというとそうではありませんでした。 信頼性とは S
チームのデータ基盤技術の審美眼を育てるために取り組んでいること - ann-toque’s diary
前提と想定読者 本記事の私見以外の情報に関しては、一般に公開されている資料のリンク集のようになっています。 取り組んでいる内容は、私が現在勤務している会社に関連していますが、その詳細には触れません。 以下に類する方は参考になるかもしれません。 データエンジニアやBIエンジニアのように、データ基盤を構築しようとしている方 データアナリスト、データサイエンティスト、マーケッターなど、データ基盤を利用する方々で、なぜそのシステムが選ばれているのか考えられるようになりたい方 データエンジニアリングチームをマネジメントしており、チームメンバーのスキル向上のための教材を探している方 背景 WEB業界で新卒からデータエンジニアとしてキャリアをスタートし、現在はデータストラテジスト/BIエンジニアとして活動中のやすです。 現在、私は5-10名規模のチームをマネジメントしており、チームメンバーのほとんどは2
Ayame互換の WebRTC Signaling Server "ayu" を作った - castaneaiのブログ
AyameというWebRTC Signaling Serverの実装がある。 Web側のSDKとサーバー側の実装が両方公開されており、プロトコルの仕様も文章化されている。 GitHub - OpenAyame/ayame-web-sdk: Ayame Web SDK GitHub - OpenAyame/ayame: WebRTC Signaling Server Ayame GitHub - OpenAyame/ayame-spec: WebRTC Signaling Server Ayame Spec そして今回、Ayame互換のプロトコルを持つWebRTC Signaling Server "ayu" を開発した。 github.com 動機 Ayameはサーバー側も含めてオープンな実装があるのになぜ新しく互換サーバーを作ったのか。 大きく分けて2つの理由がある。 ステートレス カス
この記事は、Fujitsu Advent Calendar 2022の25日目の記事です。 「え、まだこのネタで書くの？」と思う方もいらっしゃるかもしれませんが、ええ、今年もこのネタで書きます。 1. NVDIMMの終焉とCXLの台頭 1.1 Intel Optane Persistent Memory これを読む皆さんはおそらくご承知のことでしょう。NVDIMMの最有力製品であったIntel Optane Persisntent Memoryのビジネスは、残念ながら終焉に向かうことが以下のように発表されました。 In Q2 2022, we initiated the winding down of our Intel Optane memory business. 実は発表と同時にすぐに製品出荷を終了してしまったわけではありません。以下の記事から少し引用します。 既存のOptane永続
クラウド・ネイティブはIT人材や組織をどう変えていくか 及川卓也氏（以下、及川）：こんばんは。及川と申します。今から1時間ほどモデレーターを務めさせていただければと思います。 本日は、クラウド・ネイティブ自体がIT人材や組織をどう変えていくかというテーマで、このお三方を迎えて1時間半ほど、お話したいと思います。 私は今日モデレーターを務めさせていただく、Tablyの及川と申します。100人中99人が「タブリー」と読んでしまうのですが「Tably（テーブリー）」という会社名だけは覚えて帰っていただければと思います。 IT業界に30年ほどおりまして、基本的にずっと外資系におりました。ただ、そのあとスタートアップ企業を経て、今はスタートアップや大企業のいわゆるDX（デジタルトランスフォーメーション）のお手伝いをしております。 2019の10月に『ソフトウェア・ファースト』という本を出させていただ
satoru-takeuchi.hatenablog.com ↑この記事が Twitter の TL に流れてたから読んでみたら面白かったのでコードを書き始めた7年前*1から振り返りながら書いてみる。 コードが残っていたりするものは載せていきたい。思い出せる限りなるべく時系列順で書いていく。多少前後する。 「独学でプログラミングを始めるなら C 言語から」という文言に載せられ Windows のコマンドプロンプト*2で動く簡単のプログラムをいくつか作った。ほとんど入門書の写経 + αだった。例によってポインタがわからず、もっと酷いことに return もわからなくて*3一旦距離を置く。return がわからなかったので関数を使うことを割けていたので全部 main 関数に書いていた気がする。初めて黒い画面にバババーっと文字が出てきたときはめちゃくちゃ楽しかった。 Java とかいう言語を使い
Cloud Spanner のロックについて
この記事では Cloud Spanner の並行性制御が何であるのか、結果として何を実現しているのかを見てから具体的なロックの実際の挙動について追っていく。 なお分散システムとしての話はあまりないので期待しないように。 この記事では実際の挙動を確認しながら書いているつもりだが、 2021年3月現在の挙動がサイレントに変わることもあることには注意してほしい。 TL;DR Cloud Spanner はロックフリーな Read-Only Transction と、堅実にロックを行う Read-Write Transaction の2つのアクセスパスを持ち、 ROMV と呼ばれる方式に最も近い。 その他技術との組み合わせの結果として分散システムでありながら Serializability と Linearizability を兼ね揃えた理論上最も強い一貫性を実現しており、 Google はそれを
はじめに July Tech Festa 2020において、「マイクロサービスの今だからこそ！理解して拡げる 分散システムの基礎知識」のタイトルで登壇をしてきました。スライドはこちらにありますが、資料内や当日のトークで話せていない部分を含めて、こちらでblogとして解説をしておきたいと思います。 1. セッションの導入 - 新たなムチャブリ - 今回は昨年の#JTF2019で私が話した、「Cloud Native開発者のためのDatabase with Kubernetes」からの続編という形にしてみました。 昨年は、 「せっかくKubernetesを使うのにアプリケーションだけじゃもったいない。 DB、そしてステートフルなワークロードにも適用していきましょう」 という話をしましたが、Kubernetes-native Testbedなど、そうした取り組みが増えつつある傾向にはとても興味を
![[#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/540dafbb2d21efa93f97eb638299552222ffcfa6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIzSlRGMjAyMCUyMCVFOCVBNyVBMyVFOCVBQSVBQyVFNyU4OSU4OCU1RCVFNyU5MCU4NiVFOCVBNyVBMyVFMyU4MSU5NyVFMyU4MSVBNiVFNiU4QiVBMSVFMyU4MSU5MiVFMyU4MiU4QiUyMCVFNSU4OCU4NiVFNiU5NSVBMyVFMyU4MiVCNyVFMyU4MiVCOSVFMyU4MyU4NiVFMyU4MyVBMCVFMyU4MSVBRSVFNSU5RiVCQSVFNyVBNCU4RSVFNyU5RiVBNSVFOCVBRCU5OCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YzUyZmQxMmVmNzQ0Njk3MmZkNTE4MTFjNjU5NjFjNWM%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0emtvYmEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTUwYjMwODQ5NTExOTRhNGNmZTJlYjc4ZmFkZDY4MTkw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D6745e3ed7f05f6f48209356eaa985cd6)
【AWS試験】非エンジニアがソリューションアーキテクト アソシエイト(SAA)を受けて合格した話 | DevelopersIO
こんにちは、AWS営業部の洲崎です！ 少し前になりますが、AWSのソリューションアーキテクト アソシエイト試験を受けて合格しました。 試験を受ける際のNDAによって試験内容に触れる事は出来ませんが、コツ等をお伝えできればと思います。 ソリューションアーキテクト アソシエイトとは？ ソリューションアーキテクト アソシエイト(通称SAA)とは2020年7月現在で、AWSの12個ある試験の中で、AWS試験の登竜門と言われている認定資格となります。 AWS 認定 ソリューションアーキテクト – アソシエイト https://aws.amazon.com/jp/certification/certified-solutions-architect-associate/ AWS 認定ソリューションアーキテクト – アソシエイト試験は、AWS における分散システムの可用性、コスト効率、高耐障害性およびス
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
AWSソリューションアーキテクトが語る「クラウドネイティブ時代のソフトウェアの構築・運用」5つのポイント──AWS Tech talk Night#5 - TECH PLAY Magazine
AWS Tech talk Night 第5弾となる今回は、AWSのプリンシパルエンジニアが執筆した技術記事『Amazon Builders' Library』から、クラウドサービスを活用しているエンジニアに有益な記事を厳選し、AWSのソリューションアーキテクトがわかりやすく解説。紹介されたAmazonのベストプラクティスは、AWSをはじめとするクラウドサービスを活用してソフトウェアの構築・運用しているエンジニアにとっても、きっと参考になるはずだ。 キャッシュのメリットとリスク、あるべき戦略とは アマゾンウェブサービスジャパン合同会社 技術統括本部 ソリューションアーキテクト 川島 拓海氏 最初に登壇した川島氏を含め、今回の登壇者5人はいずれも2022年に新卒でAWSに入社して、SAとして活躍している。川島氏のセッションでは、『Amazon Builders' Library』の「キャッシ
形式手法のこれまでとこれから - ヾﾉ*＞ㅅ＜)ﾉｼ帳
2019年が終わろうとしています あけおめ～さて2020年になりました。歴史が長い形式手法の今後を占うため、過去と直近の出来事を振り返りたいと思います。 ツッコミやタレコミは私のTwitter宛かあなたのブログかその他経路でお願いします～ シンボリック実行は形式的であるため本稿では形式手法に含めることにします。 Fuzzing関連はサーベイが甘いので漏れが多いかもしれません。 形式手法・形式検証とは 形式検証とは、厳密に定義された意味論の下で仕様やプログラムが所定の性質を満たすことを形式的に検証するための手法をいいます。「形式的に」とは、検証が事前に定義された知識だけに基づいており、検証手順が決定的であることをいうと私は理解しています。 形式手法は、形式検証に加えて、形式的にプログラムの仕様を厳密に定義するための手法を包含します。 本記事では形式手法を以下の通り大きく3つに独自に分類します
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアにいろいろと話を聞く「LINE Engineer Insights」。LINEの技術組織で働く個々人に、何を重視して技術者としてのキャリアを歩んでいるのか、今LINEで何に取り組んでいるのか、今後実現したいことなどを聞いていきます。 今回登場するのは、Observability Infrastructureチームに所属する坂本大将です。「大規模なシステムの可用性・信頼性を保ちつつ、開発・運用することに強い興味がある」と語る彼。その言葉の通り、坂本は2021年にLINEに入社して以来、プライベートクラウド「Verda」の監視基盤を担当した後、社内異動制度を利用して現在は時系列データベースの構築・運用などを
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する はじめに Kubernetes Meetup Tokyoの懇親会用に話のネタとしてメモを残す。 2021年に注目すべきCNCFの5つのテクノロジーとは？ KubeConNA(2020)最終日のkeynote session、Keynote: Predictions from the Technical Oversight Committee (TOC) - Liz Rice, CNCF TOC Chairで、CNCFのTOC(技術統括委員会)の委員長を務めるLiz Riceさんが、CNCFの2021年の技術的展望として紹介した5つの技術要素である。(順不同) カオスエンジニアリング エッジコンピューティングとしてのKubernetes サービスメッシュ Web
分散システムの開発者向けツールを構築するOpenZeppelinの元CTOであるマヌエル・アラオス氏が公開した「OpenAIのGPT-3はビットコイン以来で最大のものかもしれない」というブログ記事が大きな反響を呼んでいます。高精度なテキストを作れる言語モデル・GPT-3は確かにすごい技術なのですが、このブログ記事のポイントはまた別のところにありました。 OpenAI's GPT-3 may be the biggest thing since bitcoin https://maraoz.com/2020/07/18/openai-gpt3/ 記事は冒頭に「OpenAIの新たな言語予測モデル(GPT-3)を用いた初期の実験内容を共有します。なぜ私がGPT-3にブロックチェーン技術に匹敵する破壊的可能性があると思っているのかという理由を説明します」という要約があります。 本文では、bitco
複数サービス間でのデータの整合性維持に向けたSagaの実装 - NTT Communications Engineers' Blog
マイクロサービスアーキテクチャにおいては、個々が独立に選定したデータベースを持つ複数のサービスにまたがって、データの整合性を維持する必要があります。 そのための方法として、Sagaパターンと呼ばれる設計方法がありますが、Sagaでは分離性が欠如しておりLost Update等の異常が発生しかねません。 そこで本記事では、Sagaの分離性を高めるための実装におけるTipsを解説します。 目次 目次 はじめに 複数サービス間での整合性維持における課題 Sagaパターン Sagaを構成するトランザクション Sagaによって実現される安全性 原子性（Atomicity） 整合性（Consistency） 分離性（Isolation） 永続性（Durability） 異常を防止/軽減する実装 分離性の欠如が引き起こす異常 分離性の欠如への対策 Semantic Lock Commutative Up
プログラミング言語「Rust」の普及に立ちはだかる壁
Liam Tung （Special to ZDNET.com） 翻訳校正： 村上雅章 野崎裕子 2020-05-18 07:30 Stack Overflowの調査によるとRustは、開発者が「最も愛する」プログラミング言語の座に4年連続で君臨している。しかし、「Rust」プロジェクトは開発者や組織の間で普及していく上での障壁が存在していることを認めている。 Rustの普及を阻む障壁が見え始めたStack Overflowの2019年1月の調査によると、開発者はRustについて好意的な評価を下しているものの、最もよく使用している言語だと答えたのは3.2％にとどまったという。 Rustのメンテナンス担当者らは、世界各国の開発者ら4000人弱を対象とした年次調査を実施し、その普及を阻む原因を探った。回答者のうち、フルタイムでRustを使用している開発者のほとんどは、ウェブアプリケーションのバ
Amazon Web Services ブログ Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 2006 年に S3 をローンチした当時、私はその事実上無制限の容量 (「あらゆる数のブロックを簡単に保存…」)、99.99% の可用性を実現するように設計されており、データが複数の場所に透過的に保存される耐久性に優れたストレージを提供するという事実について説明しました。このローンチ以来、AWS のお客様は、バックアップと復元、データアーカイブ、エンタープライズアプリケーション、ウェブサイト、ビッグデータ、そして最終集計で 10,000 個を超えたデータレイクといった、驚くほど多様な方法で S3 を使用しておられます。 S3、およびその他の大規模な分散システムの興味深い (時には分かりにくいこともある) 側面のひとつに、一般に結果整合性として知られているものがあります。要
6年3ヶ月勤めた国立研究開発法人情報通信研究機構 (NICT) を退職しました。退職といっても、有期雇用研究員の任期満了なので、通常の退職とは少し異なるかもしれません。また、退職エントリと言えど、もちろん業務上知り得た秘密情報などは書けないので、公開情報や一般的な情報をベースに、具体性を落とした情報や主観を交えて書いていきます。国立研究開発法人とNICTそのものの説明がだいぶ長くなったので、既に知っている方は適宜飛ばして読んでください。なお、本エントリには次の仕事の話は書いてません。明日4月1日に公開します公開しました。 はじめに NICTに就職した理由 NICTを退職した理由 国立研究開発法人とは NICTについて 国立研究開発法人の目的 NICTの職員公募 総務省とNICT NICTの研究環境 北陸StarBED技術センターでの業務 サイバー攻撃検証研究室 テストベッド研究開発運用室
逆境でも乗り越えられたのは、心の底からJavaが好きだから。「#てらだよしおがんばれ」に支えられた半生 - Findy Engineer Lab
日本におけるJavaの普及に、多大なる貢献をした人物がいます。その方とは、日本人で2人目のJava Championである寺田佳央（@yoshioterada）さん。寺田さんは、これまで複数の企業でJavaやその関連製品のエバンジェリストを務め、日本におけるJavaの利用促進・啓蒙活動に従事してきました。 約25年にわたり、Javaと向き合ってきたキャリア。活動を継続できた理由は何にあったのでしょうか。今回は寺田さんにその歩みを振り返っていただきました。 それはiPhoneやKubernetesの登場にも等しい衝撃だった 今いるのが自分の望んだ場所ではなくても、その経験はいつか役に立つ オラクルによる買収後、初の登壇は本当に恐ろしかった オラクルで初めてのJavaOne Tokyo 2012 コミュニティに所属することでキャリアはより豊かになる それはiPhoneやKubernetesの登
前提: これは何? dbtを使ったデータプロダクトを作っている社内のチームメンバー向けに書いた勉強会用のドキュメントです 社外に公開できるように少し抽象化して書いてます DWHに限らずdbtを使ったデータプロダクトで生かせる話ですが、分かりやすさのためにDWHを題材にしています 3行まとめ elementaryはdbtを利用しているデータパイプラインに対してData Observabilityを強化するツールであり、付属のリッチなレポートやSlachへのアラート通知が便利です しかし、実はelementaryが内部で生成している成果物はDWHの改善に役に立つものがたくさんあります 本エントリではelementaryの成果物や役に立つ実例を多めに紹介します 前提: これは何? 3行まとめ 背景: DWHとデータ品質 Observability / Data Observabilityについて
非同期処理の基本とアクターモデルが解決する課題とは
はじめまして、マーベリック株式会社のリチャード 伊真岡です。この連載では非同期処理に役立つアクターモデルを学ぶため、JavaとScalaから使えるOSSであり、アクターモデルの実装を提供するAkkaを紹介します。連載の前半では非同期処理とActorの基礎的な部分を、後半では非同期処理から分散システムへと話を進めていきます。分散システムは現代のシステム構築において重要性を増しているので、Akkaが非同期処理のツールから始まって、どんな分散システムのアーキテクチャーのパターンを可能にしてくれるのかを紹介したいと思います。連載の第一回である今回は非同期処理の現状や歴史をおさらいし、そしてアクターモデルによって非同期処理の中でも、どういった問題が解決されるのかお話します。 非同期処理とは 現代のアプリケーション開発では非同期処理を扱う機会が数多くあるといえるでしょう。非同期処理[1]とは、処理を開
数年前から「Hadoopは終わった」と言われることがあります。 厳密なHadoopの定義は Apache Hadoop プロジェクトを指しますが、現在では異なる意味で使われていることも多いです。では、Hadoopは時代と共に消えたソフトウェアなのでしょうか？ @shiumachiの「Hadoopの時代は終わった」を正しく理解するの記事は、Hadoopを取り巻く環境の変化について書かれています。データ基盤の歴史に始まり、時代とともに変化し、現代におけるデータ基盤になっているという考察があり必見です。 Hadoop is Dead. Long live Hadoop. Arun C Murthy (Hortonworksの創業者であり、現在ClouderaのCPO）が本日公開したブログ、「Hadoop is Dead. Long live Hadoop」では、Hadoopは哲学（”Hadoop
新米SREとしての半年を振り返る
2020年12月22日以前の記事にあるように、かれこれ8年くらいやっていたiOS開発を一旦離れてフルタイムのSREに転向するという決断をした。それから約半年が経ったので、ここまでどのようなことをやったか振り返ってみる。まだまだ経験の浅い分野なので語彙に厳密性が欠けているかもしれない。 やったことKubernetesやはりこれを触ることが一番多い。弊社ではマルチテナントのクラスタが5つあり、うち2つがDCで、3つがAWS上で動いている。アプリケーション開発者やCI/CDパイプラインはGoで書かれた内製のコマンドラインツールを通じてクラスタとインタラクトする。つまり、開発者向けに新機能のサポートする度に、このツールのインターフェースを拡張することになる。 StatefulSets/Cephそうした中でもステートフルなアプリケーションのサポートが一番目立った変更だった。マネージドのサービスをほと
【ブロックチェーンエンジニア必見】ブロックチェーン業界で働く上でオススメの書籍9選 | エンジニア採用の羅針盤｜HRmedia
皆さん、こんにちは。近年、金融を始めとして、様々な分野で注目を集めているブロックチェーンですが、弊社デカルトサーチで扱う求人でも、ブロックチェーン関連のものは年々増え続けており、日本においても着実に成長している業界であると言えます。 一方でブロックチェーンは、様々な領域を横断する技術であるため、どの分野から、どの程度勉強すれば良いのか分からない、といった声もよく聞きます。 実際にブロックチェーン業界では、ハッシュ値やBFTといった特有の単語や概念も多く、初学者にとっては、とっつきにくい領域であるとも言えるでしょう。 そこで今回は、合同会社DMM.com テクノロジー本部ブロックチェーン研究室のリサーチャーである篠原航さんに、ブロックチェーン業界で働いている方やこれから働きたいエンジニアの方にオススメの書籍9選を紹介して頂きました。 【合同会社DMM.com テクノロジー・篠原航さん】 合同
個人的にTypeScriptプロジェクトで使って良かったと感じたライブラリやツール、役立ったノウハウ・情報源へのリンクをまとめていきます。随時更新します。 記事更新時に通知を受け取りたい方はこの投稿を「ストック」してください。 追加された内容は更新履歴をご覧ください。 書籍 『実践TypeScript ~BFFとNext.js&Nuxt.jsの型定義~』 - JavaScriptからTypeScriptに来た人が読むと、JSとTSの差分を学ぶことができる本。 『JavaScript Primer: ECMAScript 2019時代のJavaScript入門書』 - すでにプログラミング経験がある人が読むとJavaScriptの文法や機能を中心に学ぶことができる本。TypeScriptを書くにもJavaScriptの知識が必要不可欠なので、雰囲気でJSを書いてきた人やちゃんとおさらいしたい
我らがCloudflare社が、先日のブログで"Web3"なるものに言及してた。しかも3記事も続けざまに。 不勉強な身としては、ざっと読んだだけではふわっとしか理解できなかったので、もう少しちゃんと理解したいなーと思った。 というわけで、概要を訳しつつあれこれ調べてみたというメモです。 これは単に自分の視野が狭かったことに気付いたんですが、そもそも"Web3"という単語やそれを表すトレンドみたいなものは、2018年くらいのブロックチェーンな頃から既にあったんですね。 そういうわけなので、知ってる人にとっては何をいまさら？って話かもしれんし、それをこのタイミングでCloudflareが言及したことに、特別な意味を感じるのかも？とか。 Web 3.0とは Web3 — A vision for a decentralized web まずこの最初の記事をざっくり。 Web3とは、Web 3.0
OpenTelemetry Go Deep Dive
はじめに この記事はGo 言語 Advent Calendar 2023及びOpenTelemetry Advent Calendar 2023 8 日目の記事です。 今まで OpenTelemetry に関する記事をいくつか書いてきました(App Runner にデプロイしたアプリからトレースを X-Ray や Jaeger で可視化する記事やコンテナでデプロイした Lambda から X-Ray に OpenTelemetry でトレースを送る記事など)。今までの記事はどちらかというとインフラ観点のものが多く、アプリのサイドカーで OpenTelemetry Collector を動かしてマネージドサービスや OSS のツールにトレースを送る設定だったり、コンテナで動かして docker compose でローカルでも動かせるようにするだったりにフォーカスした内容が多かったです。一方で
SRE NEXT基調講演を終えて - ゆううきブログ
1月25日に開催されたSRE NEXT 2020 IN TOKYOにて、「分散アプリケーションの信頼性観測技術に関する研究」と題して、基調講演をさせていただきました。 これまで一環してWebオペレーション・SREに取り組んできて、今ではSRE Researcherと名乗っている身からすると、国内初のSREのカンファレンスで基調講演にお声がけいただいたことは大変名誉なことだと思っています。 基調講演について カンファレンスの基調講演は実ははじめての経験で、どのような発表をするかについては、いくらか逡巡することになりました。 SRE NEXTのオーガナイザーをされている@katsuhisa__さんからは、現在僕が取り組んでいる研究内容や、その研究背景として考えていることを講演してほしいという期待をいただきました。 同時に、カンファレンスのタイトルに含まれる「NEXT」には、参加者の皆様とSRE
Cloudflare、分散したCDNエッジ間でも強い一貫性を提供する「Durable Objects」正式リリース。ステートフルな分散アプリが容易に
Cloudflare、分散したCDNエッジ間でも強い一貫性を提供する「Durable Objects」正式リリース。ステートフルな分散アプリが容易に Cloudflareは、分散したCDNエッジ間でも強い一貫性を維持するオブジェクトを提供する「Durable Objects」の正式リリースを発表しました。 Today, we’re announcing that Durable Objects are generally available and production-ready for you to use! https://t.co/zSUc5w7Cn4 #FullStackWeek — Cloudflare (@Cloudflare) November 15, 2021 Cloudflareは、世界中に分散されたCDNエッジにJavaScriptのコードを配置し実行できる「Clou
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO
こんにちは！新卒エンジニアのハウンです? AWS Summit Online Koreaが開催されたことで、韓国語のセッションレポートを投稿しました！日本の方々ともセッションの内容を共有できたらなと思い、日本語のレポートも残しておきます。 今回の記事は模範事例の「1000万ユーザーのためのAWSクラウドアーキテクチャの進化」セッションについてまとめます。 ※ 本記事で使用されているアーキテクチャ図は登壇資料をもとに修正されたものです。 登壇者紹介 Jongmin Moon Solutions Architect AWS Korea AWSグローバルインフラストラクチャーとサービス AWSは全世界22箇所のリージョンを運営 各リージョンごとに2つ以上のアベイラビリティゾーンを持っているので、他のサービスより可用性が高い リージョンと216のPoP(205のエッジローケーション, 11のリージ
![[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e518b1f93dfdc31309838137b90da275a4352e91/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2Faws-summit-online-korea.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SRE として3年半働いてみて - ymyzk’s blog
Amazon Builder's Libraryを読んでみた - たけぞう瀕死ブログ
2021年にやったこと - k0kubun's blog
東証停止からのブロックチェーン話にモヤッとした人の独り言 - Qiita
freee での SLO の実践について - freee Developers Hub
2022年の不揮発メモリとLinux対応動向について - Qiita
クラウド・ネイティブは”人とシステム”をどう変えるのか？ OSS界隈のエキスパートの組織論
私のコード履歴書 - それが僕には楽しかったんです。
[#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita
低レイヤ領域への理解を深めながら、キャリアを開拓してきた。坂本大将の足跡
「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブログ記事が大反響を呼ぶ理由とは？
Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 | Amazon Web Services
6年3ヶ月勤めた国立研究開発法人情報通信研究機構(NICT)を退職しました - yumulog
DWH改善に生かす! 入門elementary - yasuhisa's blog
Hadoop is Dead. Long live Hadoop の所感
厳選TypeScript 〜おすすめしたいライブラリ、ツール、ノウハウ、情報源のリンク集〜 - Qiita
CloudflareのWeb3の記事を読んで、ざっくり調べたメモ - console.lealog();