(original: https://web.archive.org/web/19990208231552/http://www.vacia.is.tohoku.ac.jp/~s-yamane/hackersML/papers/manifesto-J.html ) サイファーパンク宣言 エリック・ヒューズ プライバシーは電子時代の開かれた社会にとって必要不可欠なものだ。プライバシーとは秘密主義のことではない。つまりプライベートな事柄というのは全世界には知らせたくない事柄だが、秘密の事柄とは誰にも知られたくない事柄だ。プライバシーは選択して自らを世界に示すための力なのだ。 もしも二つの集団が何か論争をおこなったとしよう。両者は議論を記録し、それぞれの集団はこの記録によって発言できる - 誰がそれを妨げるだろうか? たとえ記録を制限する法律ができたとしても、開かれた社会では発言の自由はプライバ
設計ナイト2020 https://kichijojipm.connpass.com/event/191220/ に参加してきたので、そのときのレポート 正直、設計に関して疎くて内容の 1 割くらいしか分からなかったのでメモ程度です。 かとじゅんさん発表 資料 https://speakerdeck.com/j5ik2o/event-sourcingwojie-shuo-suru 今日は、分散システムの設計パターンの話をします。 CQRS の話 DDD によるクエリサイドのペインについて クエリ要件を満たすことでリポジトリが複雑になる レスポンス用 DTO をリポジトリで組み立てるため、N + 1 クエリが発生しやすい ドメインオブジェクトから DTO への変換が非効率 ※これらのペインを飲み込めるのであれば、CQRS を採用する必要はない。 CQRS とは リポジトリがステートを書くので
AWS Fault Injection Simulator による Amazon EKS でのカオスエンジニアリング実践例 | Amazon Web Services
Amazon Web Services ブログ AWS Fault Injection Simulator による Amazon EKS でのカオスエンジニアリング実践例 この記事では、カオスエンジニアリングの実践に使用できるフルマネージドのフォールトインジェクション(障害注入)サービスである AWS Fault Injection Simulator (AWS FIS) の使用方法について説明します。AWS FIS は、Amazon Elastic Kubernetes Service（Amazon EKS）など、さまざまな AWS サービスをサポートしています。Amazon EKS は、Kubernetes の実行を容易にするマネージドサービスです。お客様は独自の Kubernetes コントロールプレーンまたはワーカーノードをインストールして操作することなく、AWS でKuberne
CAP定理を時間と空間に拡張する「落ちず、速く、信頼できるサービスをどう作るのか？」 - InfiniCloud株式会社
落ちず、速く、信頼できるサービスをどう作るのか？ オンプレミスでもクラウド上でも、システムを作る時に次の2つはどちらも「大切だ」と思うことでしょう。 サーバの可用性(落ちないサーバであること)、レスポンス(速いサーバであること) サーバの一貫性(書いたデータが消えないということ) しかし分散システムにおいては、実際は「どちらか1つを優先するしかない」というのが、定理上の真理です。 どういうことなのでしょうか？ データの一貫性を過度に重視することが可用性を低下させている データストアをどのように設計するか？ 分散システムを構築するにあたり、「データストアをどのように設計するか」は重要なテーマのひとつです。 残念ながら機械である以上サーバーはいつかは必ず壊れます。複数台のサーバーで構成されているシステムの内で、たった1台のサーバが故障するだけでサービス停止が発生したり（可用性の低下）、データが
マイクロサービスではなくモジュラモノリスを採用した理由
はじめに 皆様こんにちは、株式会社プラハのAwataです。 今回は、直近の開発において、マイクロサービスを検討をしたがモジュラモノリスを採用した経緯を書いていこうと思います。 案件の詳細に興味がある方は、以前書いたリーダーの振り返り記事を読んで頂ければと思います。 ※マイクロサービスやモジュラモノリスが何なのか？というそれぞれの詳細にはこの記事では触れませんのでご注意ください。 TL;DR マイクロサービスは思ったよりも難しい 組織的な問題がないならマイクロサービスはきっとまだ早い 将来的にマイクロサービスにするかもしれないなら、モジュラモノリスがいいかもしれない なぜマイクロサービスを検討したか 今回の案件では、既存システムとの連携が必須でしたが、既存システムのコードがかなり汚く、手を入れることが難しい状態でした。 そのため、既存システムのコードは極力触らずに新規サービスを開発したいと考
Cloud Run × Event-Driven Architecture の並列分散処理によるデータ処理高速化への取り組み
Cloud Run × Event-Driven Architecture の並列分散処理によるデータ処理高速化への取り組み この記事は、Magic Moment Advent Calendar 2023 5日目の記事です。 こんにちは！ Magic Moment で Tech Lead をやっている Miyake です。 弊社のセールスオペレーションクラウド「Magic Moment Playbook」では、大量の営業データに対してバッチ処理を行うシーンがあります。 今回はバッチ処理の高速化について、Cloud Run と Event-Driven Architecture を活用したアーキテクチャで取り組んだときのお話をしたいと思います。 実装した背景 リアーキテクト以前では、課題が大きく2つありました。 処理速度が単純に遅い リソースの枯渇によるパフォーマンスの低下 「1. 処理速度
概要 分散システムを学ぶうちにgRPCに興味を持った。きくところによると、gRPC-Webというものもあるらしい。 この記事では、gRPC-Web + React Hooks + Goを用いてリアルタイムチャットを作りながら、実装の流れを書いてみようと思う。 コードだけ見たいという方は↓へ、 okmttdhr/grpc-web-react-hooks gRPC-Webってなんやねん？という方は↓へどうぞ！ 3分でわかるgRPC-Web - Qiita 全体像 サービスの全体像は以下のようになる。 タイトルのとおり、ReactクライアントからgRPC-WebでGoサーバーと通信するチャットサービスだ。 デモはこんな感じ↓ (リアルタイムですべてのクライアントにメッセージが配信される) 開発 Protocol Buffersの定義 まずはProtocol Buffersのインターフェイスを定義
【海外記事紹介】PostgreSQLでUUIDを主キーとして使う
7月6日、MACIEJ WALKOWIAK氏が「PostgreSQLとUUIDをプライマリキーとして使用する方法」と題した記事を公開し、注目を集めている。この記事では、UUIDをPostgreSQLのプライマリキーとして効率的に使用する方法について詳しく紹介されている。 UUIDの概要 UUIDは一意性が保証され、分散システム間で容易に共有できるため、データベースのプライマリキーとしてよく使用される。ただし、UUIDのサイズを考慮すると、その選択が正しいかどうかは疑問の余地がある。この記事では、UUIDが適切かどうかではなく、どのようにPostgreSQLで効率的に使用するかに焦点を当てている。 Postgresのデータ型 UUIDは文字列として見なすことができ、textデータ型を使用して保存することも可能だが、Postgresには専用のuuidデータ型があり、これは128ビットのデータ型
データモデルを活用した データ ウェアハウスの設計
データ モデルを活用した データ ウェアハウスの設計 Joshua Jones, Eric Johnson 目次 はじめに.................................................................................................................................. 2 データ ウェアハウスの設計.................................................................................................... 2 データ ウェアハウスのモデリング..........................................................................
『Distributed Services with Go』は分散システム実装の入門書です。JSON/HTTP APIエンドポイントの作成から始まり、APIエンドポイントのprotobuf/gRPC化やTLS対応、そして非集中型サービスディスカバリ・オーケストレーションの実装であるSerfや分散合意アルゴリズムRaftなどを扱っています。『データ指向アプリケーションデザイン』で原理はなんとなくわかったけど分散システムを具体的にどう実装したら良いかわからないという人を対象にしているらしいです。（自分はこの書籍はまだほとんど読んでないです） この書籍では全てGoで実装していますが、理解度を確認しながらやっていきたいのでRustで実装していきます。 1. Let's Go Kubernetesなどで実行する分散システムの実装を学ぶ。その最初の一歩としてcommit log JSON over H
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーでAthenzを活用した社内アクセス制御基盤システムの開発・運用を担当している矢野です。 ヤフーでは、オープンソースであるAthenzに対してさまざまな活動を行っており、現在は、CNCF TOCによって定義されたCloud Nativeな技術がまとめられている CNCF(Cloud Native Computing Foundation) Landscape において、Sandbox Projectとして登録されるに至っています。 本記事では、Athenzがオープンソースとして公開され、CNCF Sandbox Projectとなるまでの、道のりについてご紹介します。 ヤフーにおけるアクセス制御 ヤフーでは、Op
発展する Anthos - より使いやすく、より多くのワークロードに対応 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 お客様はかつてないほど、アプリケーション ポートフォリオの見直しと費用削減の推進という 2 つの重要なビジネスニーズに対処するための支援を求めるようになっています。本日、Google Cloud App Modernization Program（Google CAMP）を発表いたしました。このプログラムは、イノベーションを加速して、世界クラスの安全かつ信頼性の高いアプリケーションで顧客にリーチしながら費用を節約できるようにするために作成されました。Google CAMP はこれを実現するために、アプリケーションを開発、実行、運用、保護する方法に関する一貫した開発と運用の経験、ツール、ベスト プラクティス、業界トップクラスのガイダンスを提供しています。 Google C
ついにAWSがマネージドなカオスエンジニアリングサービスを発表したぞ #reinvent | DevelopersIO
Werner Vogels氏のKeynoteで発表されました。 そうです、Well-Architected Frameworkの設計の一部となったカオスエンジニアリングのサービスです。 名前は、AWS Fault Injection Simulatorです。 そのうち出るだろとは思っていましたが、案外早かったですね。 今から使えると言うわけではなく、2021年の早期に提供するとのこと。 カオスエンジニアリングは、簡単にまとめるとシステムに対して何か破壊的なイベントを発生させ、弱点を見つけ出し、影響が出る前に改善していくという手法です。 AWS Fault Injection Simulatorでは、AWSサービスの範囲全体で制御されたカオスエンジニアリング実験をセットアップして実行するプロセスを簡素化する と説明されていました。 AWS Fault Injection Simulatorを
サンリオのEC（電子商取引）サイトで他の顧客情報が表示される事象が発生した。原因は負荷分散システムの設定ミスだ。サンリオの依頼に基づいて運用企業が設定する際に誤りがあった。個人情報が漏洩した可能性のある顧客は最大で145人と多くはない。しかし後を絶たない設定ミスによる情報漏洩は教訓に満ちている。 「他人の情報が見えている」――。2023年10月12日午後、サンリオのコールセンター宛てにこんな問い合わせが舞い込んだ。 情報漏洩が発生したのは、同社が運営するECサイト「サンリオオンラインショップ本店」。一部のWebページを閲覧したときに、別人の個人情報が表示される事象が発生した。具体的には、利用者の登録情報を管理する「マイページ」や、商品を注文する過程で表示する「ご注文手続き」のページを閲覧した際に、他のユーザーの個人情報が表示されることがあった。 誤表示の可能性がある個人情報は注文者の氏名、
キンドリルとは何者か？ 何ができ、何が新しいのか
IBMのマネージドインフラストラクチャサービス部門が独立して設立されたKyndryl。ベンダーやSIerの「コト売り化」が進み競合ひしめく中、キンドリルジャパンは何を狙い、どのようなスタンスで顧客に臨むのか。 2021年9月1日付でIBMから独立し、インフラストラクチャサービスを提供する企業としてスタートを切ったKyndryl。エンジニアを中心に全世界で9万人規模の従業員を抱える同社は、日本ではキンドリルジャパン（キンドリル）としてサービスを展開する。 多くの企業がデジタルトランスフォーメーション（DX）に取り組む中、ベンダーやSIerにも従来の在り方の見直しが迫られている。「製品販売」「人材派遣」だけでなく、技術以外の課題解決を含めて「顧客に寄り添う」ことをうたう競合がひしめく中、キンドリルはどのようなスタンスで市場に乗り出すのか。キンドリル 執行役員 最高技術責任者（CTO）の澤橋松王
IBM Cloud大阪リージョンが稼働開始。東京リージョンと同じく3つのゾーンで構成。リージョン間の通信費無料 IBM Cloudは、大阪リージョンの稼働開始を発表しました。IBM Cloudの日本国内においては、東京リージョンに次ぐ2番目のリージョンとなります。 東京リージョンと大阪リージョンを組み合わせて利用することにより、可用性の高いシステムや自然災害や事故などに対応するバックアップなど、BCP（Business Continuity Plan）を考慮したクラウド環境を日本国内に確保することが可能となります。 また、大阪リージョンも東京リージョンと同様に3つのゾーンから構成されています。ゾーンは独立した電気系統、機器、ネットワーク機器で構成されているため、別のゾーンの物理的障害などから影響を受けることはありません。 そのうえで各ゾーンは、2ミリ秒以下の低遅延かつ1Tbps以上の広帯域
『AWS re:Invent 2019』のDevelopers.IO セッションレポート総まとめ #reinvent | DevelopersIO
今年2019年12月に米国ラスベガスにて開催された『AWS re:Invent 2019』。当ブログでも特集を組み、総勢80名超の大所帯で現地参戦を行い、昨年以上のブログを今月投下して参りました。その数実に700本超！(2019年12月31日現在) ブログの内容については実に様々な切り口や角度で色々なレポートが投下されていますが、その中で『セッション参加レポート』についても300本以上のエントリがここまでに投下されています。『このテーマ・カテゴリに関するものが読みたいんだけど、多過ぎて大変...！』という声も聞こえてきそうな気がしてましたので(というか私個人でそういう思いが芽生えた)、『それならば まとめてしまおう DevIO(で)』という事で情報を抜粋・整理してまとめてみました。 目次 関連動画・スライド資料の見つけ方 ACT(各種アクティビティ) AIM(AI・機械学習) ALX(Al
メルカリグループ各社のBackendエンジニアに聞いた「うちの会社に合うのは、こんな人！」 | mercan (メルカン)
ソウゾウのソフトウェアエンジニア/エンジニアリングマネージャー。2010年にDeNAへ入社し、ソーシャルゲームや新規事業のBackend/iOS開発を担当。2016年に旧ソウゾウに入社し、メルカリ「アッテ」を開発。2018年メルペイ立ち上げのタイミングでProduct Managerとしてジョイン。Backendチームのエンジニアリングマネージャー、Manager of Engineering Managersを経て、2021年4月から新ソウゾウへ異動。現在は組織開発や採用をメインに担当。 まずは各社の特徴をご紹介 サービス拡大や立ち上げ…それぞれのフェーズの開発体制は？ ーそれぞれが提供しているサービスやフェーズ、開発体制を教えてください。 @CaDs：メルカリは、日本最大級のCtoCマーケットプレイスを提供しています。それもあって、エンジニアリング部門の規模は、メルペイやメルコイン、ソ
DDDってなんでオニオンとかといっしょに出てくるの？を社内で聞いてみた | 豆蔵デベロッパーサイト
この記事は夏のリレー連載2024初日の記事です。 夏のリレー連載の企画ということで今回はいつもとは趣を変え、筆者が社内Slackに「DDDってなんでオニオンとかといっしょに出てくるの？」と聞いたときのやり取りを紹介したいと思います。記事化の目的には筆者自身が技術的に「へぇー」と思ったことのアプトプットもありますが、それ以上に豆蔵の雰囲気を少しでも知ってもらえればいいなという思いもあります。読んでもらい豆蔵の社風的なものを少しでも感じ取っていただければ幸いです。 TL;DR # やり取りはいいから結局なんでなの？を取り急ぎ知りたい人向けに聞いた結果の結論を筆者なりの見解としてまとめると次のようになります。 DDDに特定のアーキテクチャは必要ない 必要なのは技術的な関心事とビジネス上の関心事を分離することができるアーキテクチャだけ 技術とビジネスの関心事の分離を直接的に実現するには依存関係逆転
JSer.info #513 - Socket.IO 3.0.0がリリースされています。 Release 3.0.0 · socketio/socket.io-client Socket.IO 3 Release | Socket.IOのリリース記事では、 現在ではWebSocketsのfallbackとしてのSocket.IOの機能はそこまで重要ではありませんが、auto-reconnectionような機能などには引き続き価値があるという話が書かれています。 2.xから3.0.0への変更点やマイグレーションについては次のページにまとめられています。 Migrating from 2.x to 3.0 | Socket.IO Engine.IO 4へのアップデートも含まれています。 破壊的な変更として、maxHttpBufferSizeが100MBから1MBに変更、CORSの設定方法の変更
公開論文から学ぶ Google のテクノロジー : パート 1：分散処理基盤（コンテナ技術）とデータセンター編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年に渡って構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google Cloud で提供されるマネージドサービスの多くは、これらのミドルウェアをマルチテナント化して提供しているものであり、いわば、Google Cloud を利用することで、Google 以外の企業でも「Google のサービスを支える技術」が活用できるのです。Google Cloud を活用する開発者の中には、このような Google の技術に興味を惹かれて、Google Cloud を使い始めたという方も少なくないかも知れません。
富岳は「世界一のスーパーコンピューター」として華々しくデビューした。開発プロジェクトを率いたのはソフトウエアの研究者である石川裕だ。京の100倍の実行性能を達成する一方で貫いた理想があった。 新型コロナウイルスの感染拡大を受けて理化学研究所のスーパーコンピューター富岳の運用が１年前倒しで始まった。新型コロナと戦うため急きょ研究者に提供を開始した富岳だが、2020年7月に早速、京都大学の研究チームが治療薬の候補物質を発見するなど成果を上げている。 先代の京の理論性能を100倍上回るエクサスケールマシン（1秒間に10の18乗回の浮動小数点演算が可能なスパコン）の開発を目指す「フラッグシップ2020プロジェクト」は2014年4月に始まった。プロジェクトを率いたのが理研の石川裕だ。 石川は並列分散システムソフトウエアやクラスターシステムの研究者で、東京大学情報基盤センターに在籍していた。「特殊なも
イミュータブルデータモデリング Q. イミュータブルデータモデリングについて教えてください。 A. 以下、ChatGPT の回答です。 イミュータブルデータモデリング（Immutable Data Modeling）は、データモデリングのアプローチの一つで、データを不変（変更不可）な形式で扱う方法です。このアプローチでは、データが一度生成されたら、その値を変更せず、新しいバージョンを作成することが一般的です。イミュータブルデータモデリングは、分散システム、バージョン管理、データの整合性、履歴のトラッキングなどのさまざまな領域で有用です。 以下は、イミュータブルデータモデリングの主要な特徴と利点です。 データの安定性と信頼性: データが不変であるため、一度データが記録されたら、それを変更することができないため、データの信頼性と安定性が向上します。これは、エラーやバグがデータを破損させる可能性
昨年12月にCMUのソフトウェア工学修士を無事に修めました。主に昨年 秋学期の振り返りをしようかと思います。入学から秋～春ぐらいのお話は以下の過去記事を参照ください。 blog.pco2699.net blog.pco2699.net blog.pco2699.net 授業 今年の秋は、「Advanced Distributed And Operating Systems」という CSのPhD向けのクラスを取りました。 www.cs.cmu.edu 授業はCSの論文のディスカッション、グループプロジェクトで構成されます。学期前半はDynamoやMapReduce、Tenserflowなど著名な分散システムやオペレーティングシステムの論文を読んでディスカッションを行います。学期後半は、グループプロジェクトとして、3人グループで論文を書きます。 この授業の教授がシステム界隈では有名な方らしく、
2016年頃「サービスメッシュ」という用語は、マイクロサービス、クラウドコンピューティング、DevOpsの分野に登場しました。楽天的なあるチームは、2016年にこの用語を使用して彼らの製品である Linkerd を説明しました。コンピューティングの多くの概念と同様に、実際には、関連するパターンとテクノロジーの長い歴史があります。 サービスメッシュの登場は、主に IT ランドスケープの最悪の状況によるものでした。開発者は、複数言語 (ポリグロット) アプローチを使用して分散システムの構築を開始し、動的なサービスディスカバリーを必要としていました。運用は一時的なインフラストラクチャの使用を開始し、避けられない通信障害を適切に処理し、ネットワークポリシーを適用したいと考えていました。プラットフォームチームは、Kubernetes などのコンテナオーケストレーションシステムの採用を開始し、Envo
RabbitMQ徹底解説 - Qiita
第1章: RabbitMQとは何か？ RabbitMQは、オープンソースのメッセージングミドルウェアで、メッセージキューを利用してアプリケーション間の非同期通信を実現するためのソフトウェアです。RabbitMQは、AMQPと呼ばれるプロトコルを使用して、メッセージの送信者と受信者を接続します。 RabbitMQの概要 RabbitMQは、Erlangという言語で記述されたオープンソースのメッセージングミドルウェアであり、多様なプログラム言語やプラットフォームで使用できることが特徴です。RabbitMQは、高いパフォーマンスと信頼性を持ち、スケーラビリティが高いため、世界中の多くの企業やオープンソースプロジェクトで利用されています。 RabbitMQの主な特徴 RabbitMQの主な特徴は、以下の通りです。 多様なプログラム言語やプラットフォームで使用できること 高いパフォーマンスと信頼性を
AWS Application Composerでサーバーレスワークロードを可視化し、作成する | Amazon Web Services
Amazon Web Services ブログ AWS Application Composerでサーバーレスワークロードを可視化し、作成する この記事は、プリンシパル スペシャリスト ソリューションアーキテクトのLuca Mezzaliraが書きました。 本日（2022年12月1日）、AWSは、複数のAWSサービスからサーバーレスアプリケーションを構築するために使用できるビジュアルデザイナー、AWS Application Composer のプレビューを開始します。 分散システムにおいて、チームに権限を与えることは、開発者がビジネス能力をコードに変換するのを支援するために必要な文化的な転換です。 これは、すべてのチームが孤立して働くことを意味するものではありません。異なるチームや新規の参加者であっても、プロジェクトに貢献するためには、自分たちが何を作っているのかを理解する必要があります
[レポート]Everything fails, all the time:分散システムにおける耐障害性のある設計について #AP-19 #AWSSummit | DevelopersIO
AWS Summit tokyo 2023の「Everything fails, all the time:分散システムにおける耐障害性のある設計について」のセッションレポートです。 セッション概要 【スピーカー】 アマゾン ウェブ サービス ジャパン合同会社 グローバル・オートモーティブ事業部 シニアソリューションアーキテクト 小林 芙美 システムは必ず壊れます。マイクロサービスのような分散システムや、AWS のマネージドサービスを活用したクラウドネイティブなシステムは、上手く設計することで高い耐障害性を実現できます。一方でコンポーネント間の連携が複雑化することで障害の原因特定が困難になったり、挙動を完全に予測することが困難になります。このような分散システムにおいて、高い耐障害性を備えたシステムを設計するための方法をお話しします。 セッション視聴 5/22からAWS Summit Tok
![[レポート]Everything fails, all the time:分散システムにおける耐障害性のある設計について #AP-19 #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92906dcb785a4c93120a3f47650fb23b9bcad275/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Fbnr_AWS_smt_tokyo2023_1200x630_SR.png)
“コストの壁” 春日重俊氏（以下、春日氏）：土橋さんのインタビュー動画でした。続いて、コストの壁といったところです。土橋さんと一緒にやったFALCONという分散システム導入するというところで、ようやくサービスを安定的に運用できるという、僕の心理的なところの1つのプレッシャーが解かれたところがありました。 この後に待っていたのが、その後のビジネスをよりGrowthさせてかないといけないので、やはりサービスを安定運用させるためには、コストがどんどん上がってしまっていたような状況でした。 ヘルシーにきっちり儲かるビジネスにしないといけないところがあり、そのコストの壁といったところで、どういうふうにChatworkがいろんな施策を通じて、システムをさらにバージョンアップさせていったのかについて、これから話したいと思っています。 先ほどの分散システムを導入したといったときのアーキテクチャです。、スラ
新機能 connpass APIに新しく、所属グループを取得できるAPIやユーザーの参加イベントAPIを追加しました。各APIの詳細な仕様や利用方法につきましては、 APIリファレンス をご確認ください。またAPI利用希望の方は connpassのAPI利用について をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。 新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。 2月 20 【中止】Database Internals 輪読会 #1 & Kick-off データベ
NATSに入門する - TECHSTEP
今回はメッセージングシステムの一つであるNATSを試してみました。 NATSとは 分散システムにおけるアプリケーションとサービス間のコミュニケーションは複雑で理解が難しいものとなります。現代のメッセージングシステムは複数のコミュニケーションパターンをサポートする必要があり、それに加えてセキュリティ・マルチテナンシー・拡張性など多様な要素も求められています。 NATSはこれらの要求を満たすために開発されたソフトウェアで、以下のような特徴を備えています。なおNATSはNeural Automatic Transport Systemの略称です。 複数のメッセージングパターンのサポート NATSはSubjectをベースとしたメッセージングシステムで、PublisherがSubjectに対してメッセージを送信し、Subjectと紐づくSubscriberへメッセージを転送します。Subjectは、
AWS認定SAA（ソリューションアーキテクト アソシエイト）合格体験記 - シー・エス・エス イノベーションラボ（ブログ）
皆さん、初めまして。エンタープライズ・システム開発四課のYです。 私は4月からAWSおよび開発技術習得という社内のスキルチェンジプロジェクトに配属されていました。 ※スキルチェンジプロジェクトについての記事はこちら blog.css-net.co.jp 以前は、C#を使用したアプリケーション開発を行っていたため、AWSに触れたのはこの時が初めてでした。スキルチェンジプロジェクトを通して、AWS認定ソリューションアーキテクト アソシエイト（以下、SAA）合格に至った体験を記していきます。 1.AWS認定SAAとは 2.試験について 2-1. 試験概要 2-2.申し込み 2-3.合否 3.社内での取り組み 4.個人での学習期間/学習方法 4-1．期間 4-2.教材 5.試験の感想 1.AWS認定SAAとは 引用：[AWS 認定](https://aws.amazon.com/jp/certif
モチベーション CockroachDBのcoding guidelinesを読んでいた際に、今回紹介するcockroachdb/errorsパッケージを発見しました。 調べてみたところ、日本語で紹介されている記事等がなかったので今回この記事を書きました。 cockroachdb/errorsとは cockroachdb/errorsは、CockroachDBを開発しているCockroach Labsが提供しているパッケージです。 READMEには「分散システムに適した方法でのエラーのネットワークポータビリティを提供する。」とあり、CockroahcDB:の実装のためのエラーハンドリング用のパッケージだということがわかります。 他のerrorsパッケージとの比較はcockroachdb/errorsのREADMEの方に書かれているので、ぜひそちらをご覧ください。 主な機能 ここからはcock
※この投稿は米国時間 2021 年 1 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 リーダー選出とは、分散システム実装の際に一般的に適用されるパターンです。たとえば、MySQL などのレプリケートされたリレーショナル データベースや、Apache Zookeeper などの分散 Key-Value ストアは、レプリカの中からリーダー（マスターと呼ばれることもあります）を選出します。すべての書き込みオペレーションはリーダーを経由するため、システムに書き込みを行うのは常に 1 つのノードのみです。これは、書き込みが失われたり、データベースが破損したりしないようにするためです。 分散システムのノードの中からリーダーを選出するのは、ネットワーク接続されたシステムと時刻同期の性質により、難しい場合があります。この記事では、リーダー選出（一般的には「分散ロック」と
[レポート] モノリスかマイクロサービスか、その選択に迷っている人へ届けたい話 #devio_day1 #main | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 2023年4月11日に開催されたクラスメソッド株式会社のイベント、DevelopersIO DayOne で「モノリスかマイクロサービスか、その選択に迷っている人へ届けたい話」とタイトルで登壇しましたのでスライドを公開します。 マイクロサービス導入ステップやチーム作りの観点から解説しました。 スライド スーパー概要 マイクロサービスに向いてない/向いているアプリケーション モノリスは悪くない マイクロサービスの導入 達成したいことは？ 別の方法はなかったのか？ KPI は？ 分散システムの罠にハマらないように マイクロサービス導入へのステップ マイクロサービスへの移行パターン チーム作り コンウェイの法則 ルース・マラン 逆コンウェイ戦略 マイクロサービス
![[レポート] モノリスかマイクロサービスか、その選択に迷っている人へ届けたい話 #devio_day1 #main | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a9c95de00528d533a6edbac02a5cf09cccdbc0f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F03%2Fdevio_day_one_1200x630.png)
こんにちはKotaです。 アイルランド在住ソフトウェアエンジニアです。Googleアイルランドに勤めております。 今まで自分がアイルランドへ来た経緯とかは一部の人にしか話してなくて「なんでアイルランドなの？」って聞かれることが多くあったので、この記事を残そうかと思います。だいぶ長くなっちゃいましたが全部読んでくれたらとても喜びます。最後に有料コンテンツとしてオファー額＋αを載せていますので興味がある人は買ってみてください。 リクルーターからの接触(2019/12)2019年12月にリクルーターからの最初のメールが来ました。渋谷オフィスができて、オフィスに人を集めたいから受けないか？とのことでした。学生時代に一度Googleを受けて落ちた経緯があってそのリストを使って連絡してきたそうです。前職には特に不満はなかったですが、最終面接まで行ったら渋谷オフィスのランチが食べられるし、どーせ受からな
2020年12月1日に、Facebookが主導する仮想通貨「Libra」の名称が「Diem」へと変更されました。これに伴い、Libraの発行や管理を行う「Libra協会」も、「Diem協会」へと改名することが決まりました。 Announcing the name Diem. Executive leadership in place in preparation for launch. | Diem Association https://www.diem.com/en-us/updates/diem-association/ Facebook-Backed Libra Association Changes Its Name to Diem - Bloomberg https://www.bloomberg.com/news/articles/2020-12-01/facebook-ba
「ソフトウェアアーキテクチャ・ハードパーツ」の情報リンク～マイクロサービスの設計技法の課題は何なのか - プログラマの思索
ソフトウェアアーキテクチャ・ハードパーツ ―分散アーキテクチャのためのトレードオフ分析を読んでいて、まだ中身を理解できていない。 ネット上の感想記事を自分用にリンクしておく。 【参考】 『ソフトウェアアーキテクチャ・ハードパーツ』 - Don't Repeat Yourself （引用開始） また、最近話題になっていた『ソフトウェアアーキテクチャの基礎』（以降、「基礎」）を執筆した著者陣が書いたもう一冊の本でもあります。 「基礎」はアーキテクトとしての姿勢や、それぞれのアーキテクチャの簡単な概要が中心でしたが、この本はより実践に近く方法論寄りです。「基礎」が「What」を扱うとすれば、本書は「How」を扱うといった関係性でしょうか。 （引用終了） （引用開始） 現代ではデータをどのように設計し、分割しつつ整合性を保って保管しておくかといった一連の流れの重要度が増しています。この問題について
ドメイン駆動設計の戦略的設計では、主にマイクロサービス形式によるサービス指向アーキテクチャ(SOA)を使用したクラウドを使用した分散型システムを使用する。 海外ではマイクロサービスの設計の失敗事例が数多くあり、設計思想に何らかの欠陥があるのではないかと考えた。 事例を研究した結果、アメリカ式のドメイン駆動設計の戦略的設計に問題があるという結論に達した。 アメリカ式のドメイン駆動設計の戦略的設計は、テクノジーに偏重した高スペック重視の設計方法。 スペックを高めるために、クラウド上の外部サービスを使用した結果、設計が複雑化し、サービスが追加されるほど複雑化が加速し、分散システムが破綻する。 マイクロサービス形式による分散型システムにはシンプルで簡易な設計思想が必要である。 そこで、ロシア式のドメイン駆動設計の戦略的設計であるICSアプローチを使用する方法を紹介したいと思う。 ICSアプローチと
このコラム欄で2022年8月に公開した記事「Dockerコンテナと関連技術をやさしく解説 （最終回） Dockerコンテナと関連技術は今後どのように進化していくのか？」で、クラウドネイティブ関連でさらに注目度が高まる技術は「eBPF」と「WebAssembly」であると書きました。今回は、そこでは書き切れなかったeBPFに関する動向を紹介します。 eBPFとは、Linuxカーネルのコードを変更することなく、カーネルの持つさまざまな機能をフックすることで、カーネルに対して動的な機能拡張を実現する技術です。Linuxのカーネルの動的な機能拡張が、なぜクラウドネイティブの文脈で注目されているのか。最大の理由はネットワーク機能の拡張にあります。 一般にクラウドネイティブなアプリケーションと言えば、複数のサービスをネットワーク経由で相互に連携させる分散システムとなります。このとき、サービス間の認証、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サイファーパンク宣言(Eric Hughes, YAMANE Shinji訳)
設計ナイト2020に参加してきました。 | acchanBlog
gRPC-Web + React Hooks + Go でリアルタイムチャットをつくる - Qiita
『Distributed Services with Go』をRustでやっていく
アクセス制御オープンソース「Athenz」、CNCF Landscape 参加までの道のり
サンリオのECサイトで別人の情報、手軽なクラウド設定に潜む落とし穴
IBM Cloud大阪リージョンが稼働開始。東京リージョンと同じく3つのゾーンで構成。リージョン間の通信費無料
2020-11-10のJS: Socket.IO 3.0.0、core-js 3.7.0、SvelteKit
スパコン富岳の「生みの親」が貫いた理想、目指したのは1番にあらず
イミュータブルデータモデルにおける "削除フラグ" の表現
CMUのソフトウェア工学修士を修めた - pco2699’s blog
サービスメッシュ必読ガイド - 第2版: 次世代のマイクロサービス開発
コスト意識は“現場レベル”での浸透が必要 システム肥大化で上がったコストをどう削減するか
【中止】Database Internals 輪読会 #1 & Kick-off (2020/02/20 19:00〜)
【リッチなerrors】cockroachdb/errorsとは
Google Cloud Storage にリーダー選出を実装 | Google Cloud 公式ブログ
私はこうしてGoogleに入社した（アイルランド編）｜KotaのXにはかけない雑多なこと
Facebookの仮想通貨「Libra」が「Diem」に改称、運営組織も再編
ICSアプローチに基づくドメイン駆動設計の戦略的設計 - Qiita
「eBPF」の利点とその登場が及ぼすクラウドネイティブへの影響とは？ | 東京エレクトロンデバイス