Progressive Deliveryについてまとめる
目次 はじめに そもそもContinuous Delivery デプロイ方法の種類 Rolling Update Blue/Green Deployment Canary Release Progressive Deliveryとは どうやって実現するか Argo Rollouts CI/CDフロー例 導入手順 参考 はじめに Continuous Deliveryの次のステップだと言われているProgressive Deliveryについて そもそもContinuous Deliveryとは 継続的デリバリとは、新機能、構成変更、バグ修正、実験など、あらゆる種類の変更を、安全かつ迅速に、持続可能な方法で本番環境やユーザーの手元に届ける能力のことです。 私たちの目標は、大規模な分散システム、複雑な本番環境、組み込みシステム、アプリケーションなどのデプロイメントを、必要に応じて実行できる、予
2020/09/29 追記: 過去に、本記事冒頭で言及している"DHT内の通信について見るOSSなプログラム"を試した際の記録を記事にしていたのを見つけました・・・。また、そちらでも、掲題についてある程度説明していました。ですので、そちらの記事も併せて参照していただけると、より正確な理解が得られるのではないかと思います。 PythonでBitTorrent DHTネットワークに流れるメッセージを眺めるツール btsniff （libtorrentを利用） を試してみた - Qiita どうも。ryo_gridです。 趣味プログラミングで、Rustのお勉強がてら、簡単な Key-Value Store（単一ネットワーク内で動作、RESTインタフェースでアクセス）を書いてみようと思っている今日このごろです。 その実装に当たって、DHT（具体的にはChord）の仕組みを採用しようと思っているので
マイクロサービス分割に着目してContinuous Deliveryを形作る - Juju-62q's blog
こんにちは。@Juju_62qです。 この記事はJAWS DAYS 2020で話す予定だった内容です。人によっては当たり前のようにできているのかもしれません。 まずは遅れてごめんなさい。本当はスライドは作ろうと思っていて途中まで作っていたのですが、喋らないと思うとどうにもやる気が出ず、一方できちんと形には残したいと言うことでブログに書くことにしました。 新卒1年目の学びを形に残す意味でもスライドについてはそのうち完成させたいと思っています。 このブログで出してる意見は完全に自分の意見なので異論反論同調意見あれば是非お聞かせください。 TL;DR マイクロサービス -> イケてるアーキテクチャ、と言うわけではない マイクロサービス分割はビジネス境界で行う モノリシックにすることをイメージしてマイクロサービスアーキテクチャを設計する サブシステムのどこを切り取ってもデプロイ可能なようにする 前
食べログネット予約における非同期メッセージ発行の設計パターン - Transactional Outbox のメリット - Tabelog Tech Blog
この記事は 食べログアドベントカレンダー2023 の11日目の記事です🎅🎄 こんにちは。食べログシステム本部 技術部 マイクロサービス化チームの 栗山 です。マイクロサービス化チームは「巨大なモノリシックサービスにおける開発の辛さを解消し、少人数のチームが自律的に意思決定しながら開発するためのシステム基盤を作る」をミッションに活動しています。本記事は以前ご紹介した汎用性の高いマイクロサービス基盤技術 Change Data Capture の活用事例になります。 目次 食べログネット予約のがっかり体験 - 予約を取ろうとしたら既に席が埋まっていた メッセージ発行処理の設計パターン選定 二重書き込み(Dual Writes) 予約業務テーブルの Change Data Capture Outbox テーブルの Change Data Capture 各設計の特長まとめ まとめ 食べログネ
Multicoin Capitalは史上最高のパフォーマンスを誇るVCかもしれない。 このクリプトVCは、Solana, Helium, The Graphなどに集中的かつハイリスクな投資をすることで大きな勝利を収めた。 今回もテックメディア「The Generalist」から著名なクリプトVCであるMulticoin Capitalについての記事をお届けします。 Multicoin Capitalは、クリプト業界ではいわゆるティア1のVCとして有名で、SolanaやHeliumといった有名なプロジェクトに投資して大きな成功を収めています。 Sequoiaやa16z, Tiger Globalなど10年以上前から投資をしておりブランド力もあるVCを差し置いて、クリプト業界ではParadigmやPolychain, Dragonflyなどここ数年で力をつけてきたVCがたくさんあります。Mul
ゲームの数が増え，大企業が保守的になる中，開発者はいかにしてキャリアを築くべきか？ 日本在住のフランス人開発者が語る［CEDEC 2024］
ゲームの数が増え，大企業が保守的になる中，開発者はいかにしてキャリアを築くべきか？ 日本在住のフランス人開発者が語る［CEDEC 2024］ ライター：箭本進一 ゲームの数が増え，開発費も高騰する中，大企業はリスクを恐れてAAA作品も保守的になっていく。そんな中でゲーム開発者はいかにしてキャリアを築くべきなのだろうか？ フランス人ゲーム開発者であり，Keywords StudiosのCountry Managerであるハンサリ・ギオーム氏が行ったCEDEC 2024の講演「Too many games. Now, what?／飽和状態のゲーム業界において，これから何をすべきか」をレポートしよう。 ハンサリ・ギオーム氏（Keywords Studios Country Manager） 過去に学び，未来のキャリアを築いていく ハンサリ・ギオーム氏はCEDEC 2021の講演「Is World
Envoy情報 Envoyとは 主な機能 主な特徴 ユースケース 動作環境 Envoyのライセンス 参考情報 オープンソース年間サポートサービス Envoyとは Envoy（エンヴォイ）はクラウドネイティブなWebサービスのために設計されたL4/L7両機能を持つ高機能なプロキシソフトウェアです。 Envoyは、急速に普及したマイクロサービスの分散システム構築・運用を安定させるため2015年5月にライドシェアサービスのLyftが開発を始めました。 Envoyは、C++で実装されており、開発はAmazonやTwitterにも在籍したことがあり、10年以上分散システムに携わってきた配管工(Plumber)ことMatt Klein(マットクライン)氏を中心に行われました。 2016年9月にはEnvoy 1.0をオープンソースとしてリリースされ、2017年9月にはIncubatingプロジェクトとし
Introduction to Computer Systemsで低レイヤに入門する - pco2699’s blog
こんにちは。現在、無事にアメリカに入国して秋学期を過ごしています。それに先駆けて、日本でオンラインで夏に一つ授業を取りました。 その授業の内容について内容を纏めようと思います。 進学する大学院の詳細や経緯は以下の記事をご参照いただければと思います。 blog.pco2699.net Introduction to Computer Systemsとは クラス番号の意味 授業の構成 受けるために必要なスキル なぜ受けようと思ったか 自習で受けたい人向けの情報 スライド 授業のビデオ テキスト Lab Labとは Lab - プログラミング課題の詳細 Coda Lab 課題の内容 学べる内容 感想 Data Lab 課題の内容 学べる内容 感想 Bomb Lab 課題の内容 学べる内容 感想 Attack Lab 課題の内容 学べる内容 感想 Cache Lab 課題の内容 学べる内容 感想
ビットキーがパナソニックとIoT宅配ボックスを共同開発し、ソフトバンクの実証実験に供給 将来的にはサブスクで展開 - ロボスタ ロボスタ - ロボット情報WEBマガジン
デジタルキープラットフォーム開発の株式会社ビットキーはIoT宅配ボックスをパナソニック株式会社と共同開発し、ソフトバンク株式会社が2020年度中の事業化を目指すIoT宅配ボックスサービスの実証実験に供給することを発表した。将来的にソフトバンクのサービスとして、初期費用不要のサブスクリプションモデルにてユーザーに展開することを目指す。 ソフトバンクが自社の社員を対象に実証実験 近年、物流業界では労働人口減少により配達員が不足する一方で、EC拡大により宅配便の取扱個数が増加し、高い再配達率(2019年10月期は15％)が深刻な課題となっている。また新型コロナウイルスの影響拡大により非対面での受け取りニーズが拡大(約70％の人が「非対面がよい」と回答 ビットキー調べ)する中で、「置き配」の普及に伴う盗難被害なども問題視されるようになり、防犯性に優れた宅配ボックスの需要が高まっている。 今回ソフト
AWS Resilience Hub でアプリケーションのレジリエンスを測定、改善 | Amazon Web Services
Amazon Web Services ブログ AWS Resilience Hub でアプリケーションのレジリエンスを測定、改善 アプリケーションの耐障害性の定義、追跡、管理を支援するために設計された新しい AWS のサービスである AWS Resilience Hub が一般提供を開始することを発表いたします。 お客様は、顧客にサービスを提供するために、耐障害性の高いアプリケーションを構築、管理しています。分散システムの構築は難しく、オペレーション状態を維持することはさらに困難です。問題は、システムが故障するかどうかではなく、いつ故障するかということであり、そのための準備が必要であるということです。 耐障害性の目標は通常、障害からの回復に要する時間を意味する目標復旧時間 (RTO) と、インシデント後にデータが失われる可能性のある最大時間枠を意味する目標復旧時点 (RPO) という 2
プログラミングElixir（第2版） | Ohmsha
Elixir作者による前書き はじめに（正当化のむなしい試み、再び） 第1章 赤いカプセルをとれ 第 I 部 伝統的なプログラミング 第2章 パターンマッチ 第3章 不変性 第4章 Elixirの基礎 第5章 無名関数 第6章 モジュールと名前付き関数 第7章 リストと再帰 第8章 マップ、キーワードリスト、セット、構造体 第9章 寄り道：型とは何か？ 第10章 コレクションの処理 ── EnumとStream 第11章 文字列とバイナリ 第12章 制御フロー 第13章 プロジェクトを構成する 第14章 ツールの利用 第 II 部 並行プログラミング 第15章 複数のプロセスを使う 第16章 ノード ── 分散システムの要 第17章 OTP：サーバ 第18章 OTP：スーパーバイザ 第19章 さらに複雑な例 第20章 OTP：アプリケーション 第21章 タスクとエージェント 第 III 部
プログラムで時刻を扱うときは、必ずタイムゾーン付きの方の時刻型を使いますよね？ 「UTCの時刻に変換してdatetime without timezone型の列に格納」なんて、レガシー対応以外ではしませんよね！？ REST APIで、パラメータで時刻渡すときは2019-11-29T20:36:37+09:00みたいにタイムゾーン付きの表記にしますよね！？ 「当たり前じゃないか」という方には、この記事は蛇足です。 でも、 「datetime without timezoneで、サーバーのタイムゾーンを使えばいい」 「内部ではUTCに揃えて扱う」 「パラメータは "2019-11-29T20:36:37"形式で。タイムゾーンはJSTに統一」 とか言いだす人に遭遇することが意外とあります。 次回遭遇したときに備えて（or 次回遭遇を防ぐために）、なぜタイムゾーン付きをつけるべきなのかこの記事で説
概要 ユニークなID生成をしたい場面は多々ありますが、ユニークIDにはユースケースによって以下のような要件が出てきます。 ユニーク 短い（＝データ量が少ない） 推測困難 分散性（ランダム性） 順序性（Lexicographical） 生成速度 それぞれの観点について説明し、最後にGoでオススメの選択肢を提示します。 ユニーク ユニークIDというのでそのまんまではありますが、一番満たさなければいけない要件です。 特に現代におけるサービスでは高トラフィックをさばくためにスケール性を重視し、分散システムであっても衝突しないIDを求められます。 例えばMySQLのようなDBのauto_incrementを使う場合、そのDBがスケールしにくい＆SPoFといった課題があります。 Twitterで開発されたsnowflakeは以下のフォーマットになっており、 ※instance = machine id
TRACERYプロダクトマネージャーの haru です。 「設計」とは、単にシステムを構築するための作業ではなく、長期的に価値を生み出すための重要なプロセスです。 ソフトウェアが事業において長期的に価値を生み出すためには、ソフトウェア開発者が「設計にこだわる」*1ことが必要だと私は思います。 「設計にこだわる」とは、ソフトウェアから価値を生み出すためには設計はこうあるべきだという理想を持ち、それを実現し、やり続けることです。 本記事のテーマであるドメイン駆動設計（DDD: Domain-Driven Design）でいえば、その理想とは「事業戦略とソフトウェアの実装を結びつける」*2ことであり、開発者が事業や業務担当者と「同じ言葉」を共有し、現実の業務をソフトウェアにモデリングする（実装する）という活動を持続することです。 その対極にあるのが「動けば良い」という考え方です。自分が担当する機
はじめにはじめまして、Strategic AI Group(以降SAIG)に在籍しています、2019年度入社の真鍋です。学生の頃よりクラウドやHadoop等、大規模分散システムの研究をしていました。その経験と私自身の希望もあり、SAIGでは主にインフラ担当として業務に取り組んでいます。 今回は私がAI分野のインフラに触れ、MLOpsを知り、SAIG全体で利用する学習基盤を構築するまでに得た知見を、一部ではありますが共有させていただければと思い筆を取りました。MLOpsについて興味を持たれていて、具体的な取り組みについて知りたいといった方に読んでいただければ幸いです。 概要本稿は下記の内容で構成しています。 MLOpsとは SAIGの課題 施策1：実験管理についての取り組み 施策2：SAIG学習基盤の構築 まとめと今後の展望 1. MLOpsとは私がアサインされたSAIGは、フューチャーの一
既に1月後半になり，遅くなってしまったけど，毎年恒例の「振り返りと抱負」をまとめておこうと思う． 2019年の振り返り 🎉 幅広く技術を学べた 2019年の目標は「幅広く技術を語れるように学び続ける」としていた．未経験の技術は無限にあるし，苦手意識のある技術領域もある．2019年は意図的に「幅広さ」を意識した1年だった．そして，この戦略は正解だったとも感じる．1年前と比べて「技術的な幅広さ」という観点では少なからず成長実感がある． ブログのカテゴリを見ても，例えば「Python, React, Envoy, GraphQL, Docker, Ansible, Kubernetes, Prometheus, HashiCorp」などなど，技術領域の制限はせず，様々な技術に挑戦できた．そして幅広く学んだからこそ，さらなる「未経験の技術の発見」もできた．本当に未経験の技術は無限にある！Trel
「AWS re:Invent 2019」ミニレポート“re:Inventのスキマから” 003 良いアーキテクチャが良いビジネスを生み出す―「The Amazon Builders' Library」に込められたヴァーナー博士のスピリット 2012年に開催された第1回目の「AWS re:Invent 2012」以来、アンディ・ジャシー（Andy Jassy）CEOのキーノートと同じく、Amazon.comのCTOを務めるヴァーナー・ヴォゲルス（Werner Vogels）博士のキーノートでは、20前後のアップデートが発表されるのが通例です。ところが今年のre:Inventでは、5日間を通して70を超えるアップデートが発表されたにもかかわらず、12月5日に行われたキーノートでヴァーナー博士がアナウンスしたのはたったひとつ、「The Amazon Builders' Library」だけでし
分散システムにおけるScalableな名前付けアルゴリズム「Chord Protocol」を実装してみた - Qiita
この記事はEnjoy Architectingからの転載です。 概要 分散システムを学術的に学びたくて、 Chord Protocolというアルゴリズムが面白かったので実際に論文を読んで実装してみました。 この記事では、分散システムにおける名前付けの概念と、Chord Protocolの紹介、簡単な検証について言及していこうと思います。 分散システムにおける名前付けとは？ 分散システムの分野には「名前」、「名前付け」、「アドレス」と呼ばれる概念があります。 それぞれどのような意味を持っているのでしょうか？ 名前付けと名前 分散システムはネットワークを通じてそれぞれのサーバ、プロセスが協調して動作しています。 この中で、各サーバ、プロセスはやり取りをする相手の「名前」を知らなければやり取りを行うことができません。 この名前の解決を行うことを「名前付け」と呼んでいます。 そして、あるリソース（
Bplus53_開発物語_四久.indd
60 No.53 2020 日本の社会は，少子高齢化，グローバル化などの 激変する社会環境の影響を受け変化している．鉄道 事業も同様に，従来は安全で正確な輸送を行えばよ かったものが，現在は安全性，快適性，利便性など の多種多様で質の高いサービスが求められている． 鉄道経営を支える重要なシステムの一つに自動出改 札 シ ス テ ム（AFC: Automatic Fare Collection system）がある．東日本旅客鉄道株式会社（JR 東 日本）が 2001 年 11 月に導入した IC 乗車券システ ム“Suica”はシステムアーキテクチャに自律分散 技術を使い，トラブルが発生してもシステム全体へ 拡大しない仕組みを開発した．この結果，システム の拡張性と信頼性による継続的な高品質サービスの 提供を実現した．その後，交通機能を超えた新たな サービスの市場展開により，Suica は
購入した講座類および読破した講座類を一覧にし、体系分析の網羅性の方法を描写する。 現在、92冊分のURLを示している。 文学、数学など含め、購入した本で200冊あまり、図書館で借りて拝読した本で200冊あまりあり、400冊くらいの一覧にする予定です。 ご意見、ご感想、訂正などありましたら、コメント欄でお願いします。 岩波講座 情報科学 1 情報科学の歩み 1983/5/10 高橋 秀俊 (著) 情報技術の歴史の一端を記録している貴重な書籍。写真の出典はあるが、参考文献がないのが悲しい。 情報系では、情報工学の方が主導すべきことと、理論的な情報科学が主導するとよいことがある。本シリーズで、そこが明確に区分していない点が、弱点かもしれない。 情報科学の歩みを、工学との関係で立体的に議論できるとよいかもしえない。 2 電子計算機への手引き 1982/12/10 森口 繁一 (著), 筧 捷彦 (
#JTF2020 資料リンク集 - てんこ
本日は、JTF2020に参加しました。 とりあえず、とりいそぎ資料リンク集を作成しました。 別エントリで感想なども記載しております。 ■表形式のリンク集 コマ数 種類 A B C D E F G 1 資料 ■ ■ ■ ■ ■ ■ ■ - 動画 ライブ限定 ■ ■ ■ ■ ライブ限定 ■ 2 資料 ■ ■ ■ ■ ■ ■ ■ - 動画 ■ ■ ■ ■ ■ ■ ■ 3 資料 ■ ■ ■ ■ ■ ■ ■ - 動画 ■ ■ ■ ■ ■ ■ ■ 4 資料 ■ ■ ■ ■ 確認できず ■ 確認できず - 動画 ■ ■ ■ ■ ■ ■ ライブ限定 5 資料 ■ ■ ■ ■ 確認できず ■ ■ - 動画 ライブ限定 ■ ■ ■ ■ ■ ■ 6 資料 ■ ■ ■ ■ ■ ■ 中止 - 動画 ■ ■ ■ ■ ■ ■ 中止 Base 公式サイト(peatix) 詳細情報(Connpass) 講演リスト Yout
2019年8月のAWS障害を思いながらAWS Well-Architectedフレームワーク 信頼性の柱 ホワイトペーパーを読んでみた | DevelopersIO
2019年8月のAWS障害を思いながらAWS Well-Architectedフレームワーク 信頼性の柱 ホワイトペーパーを読んでみた 2019年8月のAWS障害のことを思いながら、「AWS Well-Architectedフレームワーク 信頼性の柱」のホワイトペーパーを読んでみました。また、可用性目標ごとの実装例についても比較表にまとめてみました。 こんにちは。AWS事業本部のKyoです。 覚えていますか？一年前の今日のこと。 そう、AWSの東京リージョンのEC2,EBSでの障害の日ですね。 当時はAWSの利用歴が浅かったこともあり、AWSで大きめな障害なんて...と幻想を抱いていました。 この障害をきっけにその幻想は打ち砕かれ、Werner Vogelsの言葉やカオスエンジニアリングを知り、信頼性の面白さにズブズブとハマっていったのでした。 AWS re:Invent 2019 - K
あけましておめでとうございます（いまさらｗ）。もーすけです。 最近は呪術廻戦にハマっています。ぜひまだ見てない方見てみてください！ さて本題ですが、新年はじめの投稿はデータ指向アプリケーションデザインという書籍についてです。 最近読んだ中で一番良かった本ではないかと思っています。 実は、勤めている会社内でこの書籍の輪読会を行っていて、自分が12章（最終章）を担当しました。 12章はこの本の一番言いたいことが書いてある章でもあったので、本の魅力を理解してもらうのにもしかして役立つのでは！？と思い、この書籍の紹介しつつ、輪読会で発表した内容を動画で解説していきたいと思います。 どんな本なのか？ もしかしたら本のタイトルから「データエンジニアとかデータサイエンスの人とかよむ本かな？」と思ってしまうかもしれません（自分は最初ちょっとそうおもってましたｗ）。しかし、この本は 「信頼性があり、スケーラ
週刊Railsウォッチ: 責任あるモンキーパッチの当て方、gem脆弱性スキャンツール、Docker Desktop課金プラン改定ほか（20210907後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） お知らせ: 来週の週刊Railsウォッチはお休みいたします🙇。 🔗Ruby 🔗 Twist: 出版原稿レビュープラットフォーム（Ruby Weeklyよ
はじめに お久しぶりです。inductorです。 今回はKatie Gamanji氏による記事「The Building Blocks of DX: K8s Evolution from CLI to GitOps」を翻訳しました。 この記事では主にKuberentesを管理するためのツールのこれまでの進歩について語られており、まだGitOpsに明るくない方にとって有益な話もいくつか含まれているかと思います。お楽しみください。 はじめに 開発者体験の構成要素: KubernetesのCLIからGitOpsへの進化 Cluster CLI 開発者体験の向上 プラグインとラッパー プラグイン ラッパー ApplicationOps ClickOps GitOps SheetOps まとめ 開発者体験の構成要素: KubernetesのCLIからGitOpsへの進化 過去数年間の動きによって、K
TiDBのRequest Unitの裏側 ① | CyberAgent Developers Blog
グループIT推進本部のデータプロダクトユニット（DPU）でエンジニアをやっている＠azazです。DPUではTiDBチームに所属していまして、ここではTiDBの運用、移行のサポート、クエリー最適化のサポート活動などに力を入れています。 大規模データ基盤にまつわるデータベース・ETL・クエリーエンジン・ストリーム処理技術について興味がある方は是非Cyberagentの採用ホームページから大規模データ基盤エンジニア枠で応募してみてください！ 流れ 最近注目を集めているMysql互換のNewSQL データベースであるTiDBですが、内部のレートリミッターについて考えたことありますか？本記事ではTiDBで採用されているレートリミッターの仕組みについて3部構成で紹介したいと思います。 様々なレートリミッターアルゴリズムの紹介 分散システムにおけるレートリミッターの課題 TiDBのレートリミッターの仕組
本連載は、カオスエンジニアリングの概要や求められる背景、実践的な障害挿入の仕方や気を付けておきたい注意点などについて、エンタープライズシステムの設計開発に長年従事してきた現場エンジニアの視点から解説します。第1回は、なぜカオスエンジニアリングが求められるのか、その背景と、実践のプロセスについて紹介します。 はじめに カオスエンジニアリングとは、本番環境が障害等による不安定な状況にも耐えられることができるという自信をつけるための方法論です。正常稼働中の本番システム上でわざと障害を発生させて、自動修復システムの動作を確認する手法はカオスエンジニアリングの代表例ではありますが、これがすべてではなく、そこに至るまでのステップで開発チームに対して多くのプラスの効果を生みます。 カオスを導入する一般的な方法は、システムコンポーネントの障害を引き起こすエラーを意図的に挿入することです。例えば、APIアプ
マイクロサービスがその進歩する方向を見出したのは、DevOpsの導入に伴うものとしてでした。当時、チームによるシステム構築方法としてのDevOpsは、特に継続的にデプロイされるシステムにおいて人気を集めるようになってきていました。 ただしそこには、コストという問題があります。今回の記事ではこのコストと、マイクロサービスにトレードオフの価値があるか、という点に注目していきます。 Wes Reisz: マイクロサービスの定義として私が気に入っているのは、Adrian Cockcroft氏の"コンテキスト境界内の細分化されたサービス指向アーキテクチャ"というものです。みなさんはマイクロサービスをどのように定義しますか？ Wrighson: この問題には何年も頭を悩ませてきたような気がします。それというのも、マイクロサービスを始めた当初の3年間は、DDDとの関係が十分に理解できていなかったからです
この記事は、Kubernetes3 Advent Calendar 2020 22日目の記事です。 サービスメッシュが雰囲気しかわからないので自身の勉強も兼ねて、kindのKubernetesクラスターにIstioとOnline Boutiqueを導入し、サービスメッシュとマイクロサービスアプリケーションを体験してみます。 マイクロサービスアーキテクチャ 概要 マイクロサービスアーキテクチャは、ソフトウェアアーキテクチャの1つで、従来のモノリシックアーキテクチャと比較されて語られることが多いです。こちらのドキュメントがわかりやすいかもしれません。 マイクロサービスは、アプリケーション構築のアーキテクチャ・スタイルです。マイクロサービス・アーキテクチャが従来のモノリシックなアプローチと異なるのは、アプリケーションをコア機能ごとに細分化するという点です。各機能はサービスと呼ばれ、独立して構築お
1 マイクロサービスとは マイクロサービスは、小規模なサービス（機能）を疎結合で組み合わせて1つのアプリケーションを構成するアーキテクチャ（システムの構造）です。各機能はそれぞれ独立して動作し、ネットワークを介してタスクを処理します。 マイクロサービスはクラウド技術と相性が良く、機能変更や拡張に対する柔軟性の高さ、またユーザーのニーズに迅速に対応できる開発スピードの速さから、採用するシステムが増えています。 2 マイクロサービスの特徴 マイクロサービスには以下のような特徴があります。 2.1 サービスの自律性 各サービスはそれぞれ機能とデータを持っていて、他のサービスから独立して動作します。これにより、システム全体を小さな部品として分けて管理しやすくなります。 2.2 疎結合 サービス間の依存関係を最小限に抑えるように各サービスを設計することで、特定のサービスに対する変更や更新が他のサービ
Chomado’s Portfolio (ちょまど)
Hi I’m Madoka (Chomado), Cloud Developer Advocate (engineer) at Microsoft and a manga artist. I love writing code, drawing manga, and having public speaking in Japanese & English. I’d like to show you my works in this portfolio page. Microsoft に勤める、エンジニア兼マンガ家「ちょまど」です。Cloud Developer Advocate というロールで、デベロッパーコミュニティの支援を主に担当しており、コード書いたり漫画描いたり、日本語や英語で登壇したりしています。日本人は私含め2人しかいないインターナショナルなチーム(Cloud Develope
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
AWS Fault Injection Simulator による Amazon EKS でのカオスエンジニアリング実践例 | Amazon Web Services
Amazon Web Services ブログ AWS Fault Injection Simulator による Amazon EKS でのカオスエンジニアリング実践例 この記事では、カオスエンジニアリングの実践に使用できるフルマネージドのフォールトインジェクション(障害注入)サービスである AWS Fault Injection Simulator (AWS FIS) の使用方法について説明します。AWS FIS は、Amazon Elastic Kubernetes Service（Amazon EKS）など、さまざまな AWS サービスをサポートしています。Amazon EKS は、Kubernetes の実行を容易にするマネージドサービスです。お客様は独自の Kubernetes コントロールプレーンまたはワーカーノードをインストールして操作することなく、AWS でKuberne
CAP定理を時間と空間に拡張する「落ちず、速く、信頼できるサービスをどう作るのか？」 - InfiniCloud株式会社
落ちず、速く、信頼できるサービスをどう作るのか？ オンプレミスでもクラウド上でも、システムを作る時に次の2つはどちらも「大切だ」と思うことでしょう。 サーバの可用性(落ちないサーバであること)、レスポンス(速いサーバであること) サーバの一貫性(書いたデータが消えないということ) しかし分散システムにおいては、実際は「どちらか1つを優先するしかない」というのが、定理上の真理です。 どういうことなのでしょうか？ データの一貫性を過度に重視することが可用性を低下させている データストアをどのように設計するか？ 分散システムを構築するにあたり、「データストアをどのように設計するか」は重要なテーマのひとつです。 残念ながら機械である以上サーバーはいつかは必ず壊れます。複数台のサーバーで構成されているシステムの内で、たった1台のサーバが故障するだけでサービス停止が発生したり（可用性の低下）、データが
(original: https://web.archive.org/web/19990208231552/http://www.vacia.is.tohoku.ac.jp/~s-yamane/hackersML/papers/manifesto-J.html ) サイファーパンク宣言 エリック・ヒューズ プライバシーは電子時代の開かれた社会にとって必要不可欠なものだ。プライバシーとは秘密主義のことではない。つまりプライベートな事柄というのは全世界には知らせたくない事柄だが、秘密の事柄とは誰にも知られたくない事柄だ。プライバシーは選択して自らを世界に示すための力なのだ。 もしも二つの集団が何か論争をおこなったとしよう。両者は議論を記録し、それぞれの集団はこの記録によって発言できる - 誰がそれを妨げるだろうか? たとえ記録を制限する法律ができたとしても、開かれた社会では発言の自由はプライバ
設計ナイト2020 https://kichijojipm.connpass.com/event/191220/ に参加してきたので、そのときのレポート 正直、設計に関して疎くて内容の 1 割くらいしか分からなかったのでメモ程度です。 かとじゅんさん発表 資料 https://speakerdeck.com/j5ik2o/event-sourcingwojie-shuo-suru 今日は、分散システムの設計パターンの話をします。 CQRS の話 DDD によるクエリサイドのペインについて クエリ要件を満たすことでリポジトリが複雑になる レスポンス用 DTO をリポジトリで組み立てるため、N + 1 クエリが発生しやすい ドメインオブジェクトから DTO への変換が非効率 ※これらのペインを飲み込めるのであれば、CQRS を採用する必要はない。 CQRS とは リポジトリがステートを書くので
DuckDB メモ v2
前提 自社製品では JSONL 形式のログが色々出力される 自社製品は分散システムなためログも分散する 自社サービスのログファイルは大きくても無圧縮で 1 日 10 GB いかない程度 Fluent Bit で gzip で圧縮した JSONL 形式のログを S3 互換オブジェクトストレージ (以下 S3) に保存する モチベーション 自社パッケージ製品のクラウドサービスで、顧客にログ解析情報を提供したい その仕組みを OSS 化して、自社パッケージ製品を利用している顧客が利用できるようにしたい S3 から gzip で圧縮された JSONL ログ(複数) を取得して、横断的に解析したい 自動でスキーマは作成してほしい 解析結果を DuckDB ファイルとして出力し S3 へ保存したい 出力した DuckDB ファイルを DuckDB-Wasm で読み込ませたい コストを低くしたい 転送量
マイクロサービスではなくモジュラモノリスを採用した理由
はじめに 皆様こんにちは、株式会社プラハのAwataです。 今回は、直近の開発において、マイクロサービスを検討をしたがモジュラモノリスを採用した経緯を書いていこうと思います。 案件の詳細に興味がある方は、以前書いたリーダーの振り返り記事を読んで頂ければと思います。 ※マイクロサービスやモジュラモノリスが何なのか？というそれぞれの詳細にはこの記事では触れませんのでご注意ください。 TL;DR マイクロサービスは思ったよりも難しい 組織的な問題がないならマイクロサービスはきっとまだ早い 将来的にマイクロサービスにするかもしれないなら、モジュラモノリスがいいかもしれない なぜマイクロサービスを検討したか 今回の案件では、既存システムとの連携が必須でしたが、既存システムのコードがかなり汚く、手を入れることが難しい状態でした。 そのため、既存システムのコードは極力触らずに新規サービスを開発したいと考
Cloud Run × Event-Driven Architecture の並列分散処理によるデータ処理高速化への取り組み
Cloud Run × Event-Driven Architecture の並列分散処理によるデータ処理高速化への取り組み この記事は、Magic Moment Advent Calendar 2023 5日目の記事です。 こんにちは！ Magic Moment で Tech Lead をやっている Miyake です。 弊社のセールスオペレーションクラウド「Magic Moment Playbook」では、大量の営業データに対してバッチ処理を行うシーンがあります。 今回はバッチ処理の高速化について、Cloud Run と Event-Driven Architecture を活用したアーキテクチャで取り組んだときのお話をしたいと思います。 実装した背景 リアーキテクト以前では、課題が大きく2つありました。 処理速度が単純に遅い リソースの枯渇によるパフォーマンスの低下 「1. 処理速度
概要 分散システムを学ぶうちにgRPCに興味を持った。きくところによると、gRPC-Webというものもあるらしい。 この記事では、gRPC-Web + React Hooks + Goを用いてリアルタイムチャットを作りながら、実装の流れを書いてみようと思う。 コードだけ見たいという方は↓へ、 okmttdhr/grpc-web-react-hooks gRPC-Webってなんやねん？という方は↓へどうぞ！ 3分でわかるgRPC-Web - Qiita 全体像 サービスの全体像は以下のようになる。 タイトルのとおり、ReactクライアントからgRPC-WebでGoサーバーと通信するチャットサービスだ。 デモはこんな感じ↓ (リアルタイムですべてのクライアントにメッセージが配信される) 開発 Protocol Buffersの定義 まずはProtocol Buffersのインターフェイスを定義
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BitTorrent の 分散ハッシュテーブル（DHT）や マグネットリンク とは - Qiita
Multicoin Capital Part1 : クリプト界のアウトサイダー｜Go
Envoy 最新情報 | OSSサポートのOpenStandia™【NRI】
時刻には「必ず」タイムゾーンをつけて扱え！絶対だぞ！？ - Qiita
ユースケースに応じたユニークなIDの生成 - Carpe Diem
「ドメイン駆動設計をはじめよう」は設計力で事業に貢献したい開発者のための実践ガイド - TRACERY Lab.（トレラボ）
MLOpsことはじめ ～実験管理導入と学習基盤の構築～ | フューチャー技術ブログ
2019年の振り返りと2020年の抱負 - kakakakakku blog
003 良いアーキテクチャが良いビジネスを生み出す―「The Amazon Builders' Library」に込められたヴァーナー博士のスピリット | gihyo.jp
科学技術網羅性確保用講座類一覧 - Qiita
分散システム構築の良書「データ指向アプリケーションデザイン」を動画で解説する · Goldstine研究所
開発者体験の構成要素: KubernetesのCLIからGitOpsへの進化 - inductor's blog
エンタープライズでも注目の「カオスエンジニアリング」とは何か？ 求められる背景と実践のプロセス
マイクロサービスアーキテクチャを再評価する - 影響、運用面での複雑性、代替案
IstioとOnline Boutiqueでサービスメッシュとマイクロサービスを体験する
「マイクロサービス」の構成や特徴を、図とテキストで学ぼう
【2024年】ITエンジニア本大賞まとめ - Qiita
サイファーパンク宣言(Eric Hughes, YAMANE Shinji訳)
設計ナイト2020に参加してきました。 | acchanBlog
gRPC-Web + React Hooks + Go でリアルタイムチャットをつくる - Qiita