この記事は、Fedibird Advent Calendar 2019の1日目の記事です。 ひとまず導入として、Fedibirdについて改めて説明しておこうと思います。 Fedibirdは、SNS・マイクロブログ機能を提供するWebサービスの一つです。 短い文章や写真やイラスト・映像・音声を投稿できる仕組みの中で、発信し、楽しみ、フォローし、リアクションし、共有することを通じて、より楽しく便利な情報交換と交流の場を提供しています。 従来のSNSとの大きな違いとして、Fedibirdと世界中の様々なサービスが互いに繋がっていて、Fedibirdを通じて大きなひとつのネットワークに参加することができるという特徴があります。この大きなネットワークのことをFediverse（フェディバース）と呼んでいます。 まず、少しだけFediversの話をしましょう。 Fediverseには、マストドン（Ma
マイクロサービスはアンチパターン
マイクロサービスの矛盾先日、「マイクロサービス？モノリス？SaaSアーキテクチャのPros/Cons | SaaS.tech #1」(youtube)(togetter)というイベントを観ました。これは、マイクロサービスのイベントだったのですが、新規のシステム開発において積極的にマイクロサービス化をすすめる方が少なかったのが意外でした。 マイクロサービスの開発経験のある優秀なエンジニアであっても、まずはモノリスからはじめてプロダクト境界を意識して設計していき、functionベースで切り出せるもの(認証や通知、メール送信、バッチ等)は切り出しつつ、必要であればモジュラーモノリスかマイクロサービス化を慎重に検討するということでした。素晴らしい冷静な判断です。 というのは、ドメインの専門知識がないうちにマイクロサービスの複雑なシステムを設計するのは、多くのソフトウェアプロジェクトが陥りやすいリ
モノリス対マイクロサービスという誤った二分法
AWSの記事は、（長年マイクロサービスの支持者であった）同社がマイクロサービスから手のひらを返し、モノリスに戻った証拠として受け止められている。 彼らのブログ記事のタイトルは、注目を集めるよう計算されたものだが、この記事はマイクロ（マイクロの定義がどうであれ）より大きなサービスを持つ分散アプリケーションでなければ、FaaS（functions as a service）から、現在の恐らくマイクロサービスアーキテクチャへの転換について書かれているように見える。 しかし私が言いたいのは、そんなことはどうでもいいということだ。これはAWSのあるひとつのチームが、最初に試したアーキテクチャが上手く機能しなくなった（時とともに）、そして別の方法を試したらよりうまく機能した、というだけのことだ。だから何だというのだ。私の今までのキャリアから見て、これは 単に優れたソフトウェアが取るべき当たり前の方法だ
開発速度を高めるアジャイル開発の方法論であるDevOpsが、インフラストラクチャとオペレーション（I＆O）部門から注目を集めている。背景には、DevOpsの利用が、いち早い変化対応に向けたスキルセットやマインドセットの獲得の近道と目されていることがある。ただし、そこで壁となっているのが、DevOpsに取り組むには従来とは異なるスキルが必要となることだ。この課題克服に向けた“解”となりそうなのが「SRE（Site Reliability Engineering：サイト・リライアビリティ・エンジニアリング）」だ。ガートナーでリサーチ ディレクターを務める阿部恵史氏が基礎からわかりやすく解説する（2021年11月1日一部更新）。 これまで25年以上にわたって積み上げてきたIT業界でのキャリアを生かし、ガートナー ジャパンにおいては、ITオペレーション分野を中心とした市場動向分析と提言を行っている
モノリポとマルチリポの比較が浮き彫りにする開発能力を高めるための課題とトレードオフ - mtx2s’s blog
ソフトウェアプロダクトに対して求められ、日々繰り返される機能追加は、コードベースを肥大化・複雑化させ続ける。成長する組織では、開発者の増員がそれを更に加速させるだろう。そして、認知負荷の軽減を目的に、いずれはコードベースの分割について考えるようになる。その目指すアーキテクチャがマイクロサービスにせよ、モジュラモノリスにせよ、コンポーネントやモジュール単位でリポジトリを分けるというのが、コードベースのもっとも一般的な管理方法ではないだろうか。 しかし、ここにはもう1つの選択肢がある。「モノリポ（モノレポ）」だ。すべてのコンポーネント、モジュールを1つのリポジトリで管理する。それどころか、社内のあらゆるソフトウェアプロダクトを1つのリポジトリで管理することさえあり得る。 モノリポにはどのような利点や欠点があるのだろうか。私自身、小規模のマルチプロジェクトリポジトリを複数組み合わせて扱うことが多
4月10日、Rust言語はWASI（WebAssembly System Interface）ターゲットを現在の0.1から0.2に切り替えることを発表した。 4月10日、Rust言語はWASI（WebAssembly System Interface）ターゲットを現在の0.1から0.2に切り替えることを発表した。 この更新が行われるのはRust 1.78からで、wasm32-wasip1とwasm32-wasip2の二つの新しいターゲットが導入される。 wasm32-wasip2がWASI 0.2をサポートするターゲット名で、これを指定することでRustから出力されるWebAssemblyコードがWASI 0.2に対応したものとなる。 wasm32-wasip1は、既存のwasm32-wasiターゲットの別名として当面は機能するが、2025年1月5日のRust 1.84で削除される予定であ
[書評] Chaos EngineeringのO’Reilly Media本を読んでChaos Engineeringを理解していこう | DevelopersIO
[書評] Chaos EngineeringのO’Reilly Media本を読んでChaos Engineeringを理解していこう カオスエンジニアリングってなんじゃろ？ Gartnerが2019年12月5日にPredicts 2020: Agile and DevOps Are Key to Digital Transformation というレポートを公開しました。 ※ 完全なレポートを読むには、https://www.gremlin.com/gartner-predicts-2020-devops/ からリクエストできます Digital Transformationの推進に必要なことがなんなのかを、現状の調査や分析とともに記載されています。 その中に 2023年までに、組織の40％がDevOpsイニシアチブの一環としてカオスエンジニアリングプラクティスを実装し、予定外のダウンタ
![[書評] Chaos EngineeringのO’Reilly Media本を読んでChaos Engineeringを理解していこう | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3068e22c0c79f9aff2b042f0d28d817111ba5a44/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F03%2F0680a3089fd4a4ba1a956536c0995a1c.png)
Amazon SNS FIFO のご紹介 – 先入れ先出しでの Pub/Sub メッセージング | Amazon Web Services
Amazon Web Services ブログ Amazon SNS FIFO のご紹介 – 先入れ先出しでの Pub/Sub メッセージング 分散ソフトウェアアーキテクチャを設計する場合、サービスの情報交換方法を定義することが重要になります。たとえば、非同期通信では、コンポーネントを疎結合化してスケーリングを簡素化することで、変更の影響が軽減され、新機能のリリースが簡単になります。 サービス間の非同期通信で最も一般的な形式は、メッセージキューと pub/sub メッセージングの 2 つです。 メッセージキューでは、コンシューマーによる処理および削除まで、メッセージはキューに格納されます。AWS では、Amazon Simple Queue Service (SQS) が、管理コストなしで完全マネージド型メッセージキューイングのサービスを提供しています。 pub/sub メッセージング
CloudflareのS-1ドキュメントには、次のような言葉で始まるセクションがあります。「インターネットは、今あるもののために作られたのではない」この一文は、実験から始まったインターネットが、今や私たちの日常生活や仕事に欠かせない存在として開花したという考えを表現しています。そして、設計通りのインターネットだけでなく、セキュリティやパフォーマンス、プライバシーなど、より多くのものが必要とされているということです。 クラウドについても同じことが言えます。クラウドは、どうなるべきかということを想定して設計されたものではありませんでした。 Amazon EC2のようなサービスの登場は、サーバーやストレージシステムをラック単位で購入・設置し、それをメンテナンスするという以前のやり方からすれば、間違いなく大きな改善となったでしょう。 しかし、クラウドはその性質上、旧来の現実世界のインフラを仮想化し
コンピューティングがネットワークに溶け込む未来〜僕たちがエッジデバイスでKubernetesを使う理由〜 - Qiita
はじめに エッジコンピューティングの一丁目一番地と言えば、ラズパイやNVIDIA Jetsonみたいな エッジデバイスでKubernetesですよね(!?)。k3s、k0s、MicroK8sと軽量Kubernetesは、前々からKubernetes on エッジデバイスの代名詞ですし、KubeEdgeやEclipse FoundationのEdgeNative WGが推進するioFogなど、エッジコンピューティング向けのKubernetes関連のオープンソースプロジェクトも増えつつあります。そして、KubeCon + CloudNativeConでもKubernetes on Edge Dayなイベントをやったりと、コミュニティの盛り上がりも高まっています。 そんな中、エンタープライズ向けのKubernetesディストリビューションを提供しているレッドハットが、軽量版OpenShiftとし
DMM meetupは、多種多様な生命が彩るジャングルのように毎回個性豊かなさまざまなテーマを題材に、共に学び、遊び、楽しめるイベントです。今回はオンラインサロン事業に焦点をあて、事業部メンバーが課題と取り組みについて話しました。萩原氏は、オンラインサロン事業部のマイクロサービス化について発表しました。 マイクロサービスとモノリス 萩原圭市氏：「いびつ（歪）なモノリシックアプリケーションをマイクロサービスパターンで未来につなげる話」をお話しします。 簡単に自己紹介をします。エンターテインメント本部オンラインサロン事業部の萩原と申します。私は2020年5月に中途で入社して、オンラインサロン事業部に配属となって、主にバックエンドの開発に従事しています。 本日はこのアジェンダでお話しします。マイクロサービスについて、オンラインサロンが抱えている課題、オンラインサロンが目指したい姿、今やっているこ
こんにちは。@mosuke5です。 みなさん普段の監視はどのように行っていますか？Datadog使っていますか？ 最近Datadogを触る機会が多いのですが、Datadogはobservabilityの3本柱ということで、メトリックとトレース(APM)とログ、この3つを統合した監視サービスであることを強くおしだしています。 3つの分野のそれぞれに対応したOSSやサービスは多いですが、統合されてシームレスに連携できる点はDatadogの非常に強いポイントと感じます。 さて、そんななかでDatadog APM (Application Perfomance Monitoring) が強力だったので紹介したいのと、その仕組みを探っていきましょう。 APMとはなにか、なぜ必要か 従来的な監視との違い 今回に至るまで、APMは名前は聞いたことがありましたが、実際に利用したことはありませんでした。 A
[レポート] アマゾンの回復性のあるシステムを作るアプローチ DOP342-R #reinvent | DevelopersIO
AWS re:Invent 2019 DOP342-R - [REPEAT] Amazon's approach to building resilient servicesのセッションレポートです。アマゾンで回復性のあるシステムを作るアプローチについて解説していました。 セッション情報 登壇者 Marc Brooker - Senior Principal Engineer, Amazon Web Services 概要 One of the biggest challenges of building services and systems is predicting the future. Changing load, business requirements, and customer behavior can all change in unexpected ways. In
![[レポート] アマゾンの回復性のあるシステムを作るアプローチ DOP342-R #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
読んだ本 Rust Atomics and Locks 著者: Mara Bos 楽しみにしていたRust Atomics and Locksを読んだので感想を書いていきます。 Kindle版の 2022-12-14 First Releaseを読みました。 まとめ 非常におもしろく是非おすすめしたい本です。 なんといっても、一冊まるごとAtomicとLockについて書かれておりstd::sync::atomic::Orderingがわからない自分のために書かれたのではと錯覚してしまうほどに刺さりました。 また、説明の後には必ず具体例をつけてくれるので理解を確かめられながら読み進められる点もうれしいです。 特に以下のような方におすすめしたいです。(全て自分のことなのですが) atomic api(AtomicI32::{compare_exchange,load,...})を使う際のOrd
ZooKage: Hadoop on Kubernetes on Docker Desktop - おくみん公式ブログ
Kubernetes上にHadoopサンドボックス環境をコマンド一発で構築するツール、ZooKageをリリースしました。本記事では開発に至った経緯と基本的な使い方を紹介します。 「Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020」にエントリーするつもりでいましたが、開発中に枠が埋まってしまったので過去の日付を埋める形で参加させていただきます。遅くなってすみません…… モチベーション Hadoopエコシステムは大量のコンポーネントから成り立っており、その混沌はしばしば動物園に例えられます。手軽に起動する手段が用意されているプロジェクトもありますが、それでもローカルマシンで満足な検証をするには困難を伴います。公私ともに様々なバージョンのHive/Hadoopやそれらへのパッチを検証すること
Perl Hackers Hub 第56回AWS X-Rayによる分散トレーシング―マイクロサービスのボトルネック、障害箇所の特定（1） 本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回のハッカーは面白法人カヤックでWebアプリケーションの運用、インフラを担当している藤原 俊一郎さんで、テーマは「AWS X-Rayによる分散トレーシング」です。 分散システムのボトルネックや障害箇所を特定することは、モノリシックなシステムを相手にするのに比べて難しいものでした。しかし開発手法としてマイクロサービスアーキテクチャが普及してきた昨今、それに対する武器として分散トレーシングと呼ばれる手法が一般化してきました。 本稿ではPerlで実装されたWebアプリケーションに分散トレーシングを組込み、複数コンポーネントの関連やパフォーマンスを可視化する例を紹介します。 分散トレーシングとは何
AWS 導入事例：PayPay株式会社 | AWS
キャッシュレス決済の普及に向け AWS のマイクロサービスアーキテクチャを活用し 3,300 万人* が利用する QR コード決済サービスを3 ヶ月でリリース 2018 年 10 月のリリースから 2 年間で、登録ユーザー数が 3,300 万人以上*を突破した QR コードやバーコードなどを使って支払うスマホ決済サービス『PayPay』。開発・運営を担う PayPay株式会社は、サービスのインフラ基盤にアマゾン ウェブ サービス（AWS）を採用し、マイクロサービスアーキテクチャによって分散システムを構築しています。開発決定からリリースまでに要した期間はわずか 3 ヶ月。AWS の活用と、日本、インド、カナダなどから集まった多国籍メンバーによる開発体制により、ファーストローンチを実現しました。現在も『スーパーアプリ』への進化を目指し、サービスのアップデートを続けています。
その経済学者は、最初は野口悠紀雄氏との出会いによって、また制度設計を研究する立場から、ビットコインの深みに引き寄せられていった─。『多数決を疑う』『暗号通貨VS.国家 ビットコインは終わらない』など数々の著作を持ち、自らもフルノードとしてビットコインの稼働に携わり、実際に売買も行いながら、ガチホ（ガチホルダー）勢として動向を追いかけ続ける慶應義塾大学 経済学部 教授 坂井豊貴氏。同氏にビットコインという暗号通貨の“本当の凄さ”について話を聞いた。 サトシ・ナカモトの論文の“美しさ” 私が最初にビットコインに対して興味を持ったのは、野口悠紀雄教授がきっかけです。2017年にNHK教育の番組（2018年にオンエア「欲望の経済史」）で共演させていただいたことがあって、そのとき野口教授がずいぶん熱っぽくビットコインについて語られたんです。 それは経済史の番組でビットコインについてそれほど多くの時間
分散キャッシュシステムにおける公平制御の実現 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された石森大路さんによる寄稿です。 こんにちは。PFN2023 夏季国内インターンシップに参加していた大阪大学3年の石森大路です。私はPFNの機械学習基盤を開発、運用するCluster Servicesチームにおいて、「キャッシュを利⽤した機械学習・深層学習ワークロードの加速」というテーマで課題に取り組みました。 Cluster Servicesチームでは、機械学習データセットをはじめとする大容量データの読み込みを高速化する分散キャッシュシステムを開発しています。キャッシュシステムの細部については次の記事や発表において詳しく説明されていますが、この記事でも改めて簡単に説明します。 深層学習のための分散キャッシュシステム – Preferred Networks Research Development 分散キャッシュシステム on K
2021年2月13日紙版発売 2021年2月10日電子版発売 西田圭介 著 A5判／368ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-297-11952-2 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 「ビッグデータ」をテーマに，データ分析基盤技術をまとめた解説書。 AIの発展，コンテナ技術の進歩をはじめ，ビッグデータを取り巻く技術が大きく変わり始めました。ビッグデータの技術には，元々大きく分けて2つのバックグラウンドがありました。一つは業務系システムで，RDB（Relational Database）から取り出したデータをバッ
この記事は新野淳一氏のブログ「Publickey」に掲載された「KubernetesのPodやネットワークをわざと落としまくってカオスエンジニアリングのテストができる「Chaos Mesh」がバージョン1.0に到達」（2020年10月13日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Kubernetes上のシステムに対してわざと障害を発生させることで、システムの耐障害性のテストを行うためのソフトウェア「Chaos Mesh」がバージョン1.0に到達したことを、Chaos Meshの開発チームが明らかにしました。 Chaos Meshは、Kubernetesの開発などをホストしているCloud Native Computing Foundationのサンドボックスプロジェクトに採用されているオープンソースのソフトウェアです。 Netflixが提唱するカオスエンジ
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その2- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 今回は前回の続きでセクション3からです！前回のエントリーはこちらです。 inductor.hatenablog.com 3. Borgアーキテクチャ(Borg architecture) Borgセルは、マシンのセット、Borgmasterと呼ばれる論理的に集中化されたコントローラ、およびセル内の各マシン上で実行されるBorgletと呼ばれるエージェントプロセスで構成されます(図1参照)。 BorgのすべてのコンポーネントはC++で書かれています。 3.1 Borgmaster 各セルのBorgmasterは、メインBorgmasterプロセスと個別のスケジューラ（§3.2）の2つのプロセスで構成されています。 メインのBorgmasterプロセスは、ステートを変更（ジ
TiKV/TiDBを開発するPingCAPが日本での活動を本格化するのに合わせて、代表にインタビューした。 TiDBはMySQL互換の分散データベースで、オープンソースとして公開されている。このTiDBを開発するPingCAPが、日本での活動を本格化させている。今回はWeWorkのオフィスに訪問し、日本法人であるPingCAP株式会社に所属する3名の社員にインタビューを行った。またPingCAP株式会社の技術顧問として就任したサイバーエージェントの長谷川誠氏も同席し、これから日本での活動に対してアドバイスを行う予定であることを明らかにした。 参加したのは、副社長の韓偉（Eric Han）氏とシニアソリューションアーキテクトの水戸部章生氏、シニアアカウントマネージャーの前田大輝氏だ。PingCAPは、CNCFにホストされていたTiKVの開発をリードしていることでも知られている（現在はGrad
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
【AWS グラレコ解説】カオスエンジニアリングで本当にカオスにならないための進め方をグラレコで解説 - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さん、「カオスエンジニアリング」という言葉を聞いたことがあるでしょうか ? カオスエンジニアリングは Netflix 社がクラウド上で分散したアプリケーションを構築していく中でスタートした、本番環境に意図的に障害を注入し、その影響を観察する実験を通して、システムの可用性、信頼性を高めていく取り組みです。この記事では、グラレコを使ってカオスエンジニアリングの基本的な進め方をご紹介しつつ、AWS Fault Injection Simulator というカオスエンジニアリングの実験を支援するサービスをご紹介します。 「カオスエンジニアリング」という言葉を聞いたことがある方は「EC2 インスタンスをランダムに止めて、テストするやつでしょ ?」と考えたかもしれません。これには少し誤解があります。 確かに、初期には仮想マシンをランダムに停止していたようで、OSS の “Chaos Monkey“
カオスエンジニアリングの原則 最終更新: 2021年3月 カオスエンジニアリングは、システムが本番環境における不安定な状態に耐える能力へ自信を持つためにシステム上で実験を行う訓練方法です。 大規模で分散したソフトウェアシステムの進歩により、ソフトウェアエンジニアリングの趨勢は変化しています。業界では、開発の柔軟性と速度を向上させる取り組みを迅速に採用しています。複雑なシステムで本番適用することにどれほどの信頼性を持っていますか、という執拗な質問はこれらの利点に続きます。 分散システム内のすべての個々のサービスが適切に機能している場合でも、それらのサービス間の相互作用は予測不可能な結果を引き起こす可能性があります。本番環境に影響を与える稀ではあるが破壊的な現実のイベントが混在する予測不可能な結果により、これらの分散システムは本質的に混沌としています。 我々はシステム全体が異常な挙動に陥る前に
※この投稿は米国時間 2020 年 5 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 分散システムには数多くの設計方法が存在しますが、その一つにシステムの自然な拡張を考慮した設計があります。この方法では、システムがより多くのリクエストを処理していくにつれて、コンポーネントの書き換えや再設計を行います。また、概念実証から始める手法もあります。システムによってビジネスに付加価値がもたらされたら、次のバージョンがゼロから設計されます。 Google では、Non-Abstract Large System Design（NALSD）と呼ばれる手法を使用しています。NALSD は、分散コンピューティング向けの Borg クラスタ管理や Google の分散ファイル システムなど、分散システムの設計、検証、評価を行うための反復プロセスについて記述しています。最初から
セキュリティや構成や可読性を重視する一方で、リポジトリや継続的インテグレーション(CI)、DevOps、継続的デプロイメント(CD)、クラウドとクライアントの可搬性、エッジ/CDN/5G統合、地理的分散システムといったものを明確に意図して設計されています。 ただの新言語ではありません。Ecstasy言語は、新たなインストラクションセットを持ち、ジャストインタイム(JIT)やアヘッドオブタイム(AOT)、適応的コンパイル(adaptive compilation)をサポートするために設計された新たなマネージドランタイムをベースとする、新しいバイナリフォーマットにコンパイルされます。 InfoQ: 挙げられた内容からは(私の理解が正しければ)、システムプログラミングを意図した言語ではない、というように思われますが？ Purdy: システムプログラミング言語ではありません。つまり、オペレーティン
Operating Lambda: パフォーマンスの最適化 – Part 3 | Amazon Web Services
Amazon Web Services ブログ Operating Lambda: パフォーマンスの最適化 – Part 3 Operating Lambda シリーズでは、AWS Lambda ベースのアプリケーションを管理している開発者、アーキテクト、およびシステム管理者向けの重要なトピックを取り上げます。この 3 部構成のシリーズでは、Lambda ベースのアプリケーションのパフォーマンスの最適化について説明します。 Part 1 では、Lambda 実行環境のライフサイクルについて説明し、コールドスタートを定義、測定、改善する方法について説明しました。Part 2 では、メモリ構成が Lambda パフォーマンスに及ぼす影響と、静的初期化コードを最適化する方法について説明しました。このブログでは、Lambda 関数のパフォーマンス向上に役立つ関数のアーキテクチャとベストプラクティス
CloudNative Days Tokyo 2020 で CockroachDB と TLA+ について話してきました - チェシャ猫の消滅定理
こんにちは、チェシャ猫です。先日行われた CloudNative Days Tokyo 2020 で、形式手法ツール TLA+ が CockroachDB の設計に使用された事例について発表してきました。公募 CFP 枠です。 講演概要 CockroachDB は、Google Spanner の系譜に連なるいわゆる NewSQL データベースの一種です。 強い一貫性や ACID トランザクションといった従来の関係データベースが持つ「良い特徴」を残したまま、従来の関係データベースが苦手としていた水平スケーリングにも優れるのが特徴です。CockroachDB 自身は「地理分散 (geo-distributed) データベース」を標榜しています。 このような CockroachDB の特徴は、内部のデータ保持の方法に由来します。データは内部的には Key-Value レコードの形を取っていて、
この記事の内容 自己主権型アイデンティティ（Self-Sovereign Identity）に関する動向やその実装技術についてお勉強した内容を整理していきます。 目次 はじめに SSIについて SSIのキーファクター まとめ はじめに 最近デジタルアイデンティティの世界で「自己主権型アイデンティティ（Self-Sovereign Identity）」という考え方が注目され始めています。EUや北米では以前からその実用化に向けた取り組みや議論がされており、国内でもブロックチェーン界隈を中心に徐々に話題に上がるようになってきています。なぜブロックチェーン界隈なのかというと、ブロックチェーン技術と相性の良いユースケースだからです。なぜ相性が良いのかという話は後述するとして、今回はSelf-Sovereign Identity（長いので以後"SSI"に省略）の概要と基本的なアーキテクチャについて学ん
これが最新のAmazon S3ベストプラクティスだ！ #AWS-41 #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画、「AWS-41: 【基本の AWS サービス】進化した Amazon S3 を最大限に活用する」のレポート記事です。 Amazon S3は2006年のリリースから15年が経ちましたが、今でも頻繁にアップデートされるAWSの中核サービスです。AWSを利用している方はぜひチェックしておいてください！ 概要 アプリケーション・パフォーマンスとストレージ・コストの最適化には、アプリケーションのレイテンシーとアクセス・パターンに応じて異なるアプローチが必要です。このセッションでは、アクセスパターンとパフォーマンスニーズに基づいて、Amazon S3 ストレージクラスにデータを格納する際の主要な考慮事項について説明します。Amazon S3 を最大限に活用して、コストを最適化し、パフォーマンスを向上させ、データを大規模に管理する方法
[速報] The Amazon Builders’ Libraryが発表されました #reinvent | DevelopersIO
西澤です。Werner Vogelsのキーノートで面白いものが発表されました。 The Amazon Builders' Libraryとは？ まずは、サービスページの冒頭にある文をざっくり日本語にしてみます。 誰もがより迅速かつ効率的に革新できれば、世界がより良い場所になることは間違いありません。そして、もし何かがうまく機能するなら。そのため、私たちが学んだことをAmazon Builders' Libraryで共有できることに興奮しています。 There’s no question the world will be a better place if everyone can innovate more quickly and efficiently. And if stuff just works better. For that reason, I’m excited that
![[速報] The Amazon Builders’ Libraryが発表されました #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a298426174d5914a0e9708095c8dd40c4722cc0d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_newservice_eyecatch.jpg)
唐突ですが未来予想をするターンです。10 年後のプログラマ事情（じゃなくてもいいけど）を予想してみたい。 背景としては、むかしむかしの 2005 年に Steve Yegge という当時人気だった blogger が Ten Predictions という記事を書き、それを十年後の 2015 年に Dan Luu (森田が好きな blogger)が採点する、という出来事がありました。我々もいまテキトーなことを書いて 10 年後に採点したら面白いんじゃないかな。という動機。Caveat としては 2005 年の Steve Yegge はテック業界に詳しい若者ブロガーでしたが、2021 年の森田は業界動向とか真面目にウォッチしてないおっさんなのであまり面白い予想は書けない恐れがあります。が、まあそれは仕方なしということで。 一人10件を目標に、あまり保守的でもアグレッシブ過ぎても面白くないの
EC2のプレイスメントグループを活用するとネットワークパフォーマンスを向上したりハードウェア障害を軽減できます | DevelopersIO
Amazon EC2にはプレイスメントグループと言う概念があり、ネットワークパフォーマンスの向上や物理サーバ障害時の影響範囲を限定させるために、インスタンスをグループ化することができます。 今回は、3種類あるプレイスメントグループ戦略について、説明します。 3種類の戦略 プレイスメントグループにはクラスター・分散・パーティションの3種類の戦略があります。 クラスター(cluster) ※ 図は公式ドキュメントから HPC のようなワークロード向け インスタンス群を高バイセクションバンド幅セグメントに配置 ノード間通信で低レイテンシー、高スループットなネットワークパフォーマンスを実現 利用可能なインスタンスタイプに制限あり(対応インスタンス一覧)。例えば、T系インスタンスは利用不可。 AWS ParallelClusterを利用してHPCクラスターを構築している場合、設定ファイルで次の様に指
メルペイの技術リードを担うArchitectチームが掲げる3つの目的と、#今メルペイが一緒に働きたい仲間 | mercan (メルカン)
メルペイArchitectチーム、プリンシパルエンジニア。運用から開発までなんでもやる。 システムを最適化するのが好きで今日も人の仕事を無くすことを目指す。 JavaScriptやPHPのような上位レイヤから分散システム、OS、コンパイラ、コンピュータアーキテクチャのような低レイヤまでを行ったり来たりしているがどれも得意ではない。 今年の目標はx86で会話すること。 DXを向上し、メルペイ全体の底上げを担うことがミッション ーそもそも、Architectチームとはどういうチームなのかを教えてもらえますか？いわゆるBackendチームとは違うんですよね？ @osamingo：もともとは、@kazegusuriさんが1人で立ち上げたチームでした。最初はマイクロサービスアーキテクチャとしてのメルペイ、つまりメルペイの一番最初のフェーズから開発を担当。その後、全体的な決めごとや仕組みをつくるために
分散処理を民主化するRay - Qiita
イントロ 日立製作所 研究開発グループの中田です。普段、エッジコンピューティングや分散システムの研究開発、またシステムアーキテクトをやっています。 公私ともにQiitaは初投稿です。 今回は、Rayを紹介します。 Rayは、分散処理を含むアプリを開発するためのライブラリおよび実行環境です。まだ日本では情報が少ないのですが、海外では有名企業や大学がこぞって活用しており、かなりホットなライブラリだと思います。今年2020年10月1日にバージョン1.0がリリースされました。また同じタイミングにRay Summitが開催され、50本程のセッションで多数の活用事例が紹介されました。 Rayは、通常の手続き型言語を容易に分散処理化できるものであり、データ分析やエッジ/IoTの分野で有用に思えるので、日本でも広まって欲しいと思っている次第です。 本記事では、そもそもここでの分散処理とは何か、から始めて、
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 saga 設計パターンは、分散トランザクション シナリオでマイクロサービス間のデータの一貫性を管理する方法です。 saga はトランザクションのシーケンスです。この saga によって各サービスが更新され、次のトランザクション ステップをトリガーするメッセージまたはイベントが発行されます。 また、ステップが失敗すると、その前のトランザクションを無効にする補正トランザクションを実行されます。 コンテキストと問題 "トランザクション" は、ロジックまたは作業の 1 つのユニットで、複数の操作で構成されることもあります。 トランザクション内では、"イベント" は、エンティティに対して発生する状態変更です。アクション
はじめに おはようございます、もきゅりんです。 皆さん、日々可観測してますか？ 自分は最近、稼働サービス収益に直結する、アプリケーションにおけるレイテンシや分散システムのトレーシングの課題について相談されるといったことが続いておりました。 目の前の課題に対して、暫定的な対応や処置を進めていくにせよ、中長期にどのようなモニタリングを目指していくのか、しっかりと検討の上、取り組めるようなオトナになりたいと思いました。 そんな気持ちもあって、弊社とも関係があります New Relic で、まずは ECS Fargate 設定を一通りしてみてよう、ということで コンテナアプリケーションのオブザーバビリティ実現手順 で紹介されている下図を参考に一通り設定してみました。 本稿では、アラートシステムの検討、設定についての対応はしません。 なお、そもそも New Relic の概要などは、下記ブログも参考
株式会社ミライトデザインでは毎週、社内の技術力アップのために社内勉強会を行っています。 業務に関連することであればジャンルは様々ですが、今回はCodeZineさんの「IDDD本から理解するドメイン駆動設計」の輪読会を行いました。 IDDD本から理解するドメイン駆動設計連載一覧：CodeZine（コードジン） こちらの記事を読むには会員登録が必要ですが、メールアドレスを登録するだけで無料で読むことができました。 「IDDD本から理解するドメイン駆動設計」は書籍「実践ドメイン駆動設計」の内容を要約してくれているものになります。 実践ドメイン駆動設計 (Object Oriented SELECTION) | ヴォーン・ヴァーノン, 髙木 正弘 |本 | 通販 | Amazon 本稿は輪読会を行って出てきた疑問点や、気になったところなどを議事録にまとめたものになります。 議事録では「IDDD本か
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fedibirdってなに？（紹介） - noellabo's tech blog
SREとは何か？DevOpsと何が違う？ガートナーが解説する運用管理変革の現実解
Rust、WASI 0.2への対応を表明 ー WebAssemblyの更なる促進に期待
開発者ウィーク（それと開発者ウィーク2022）へようこそ
いびつなアプリケーション構造がビジネスの足を引っ張る 3年後、5年後につなぐDMMサロンのマイクロサービス化計画
Datadog APMとトレーシングの仕組みについて · Goldstine研究所
📕 Rust Atomics and Locksを読んだ感想 | Happy developing
第56回 AWS X-Rayによる分散トレーシング―マイクロサービスのボトルネック、障害箇所の特定（1） | gihyo.jp
慶大 坂井豊貴教授：なぜビットコインに魅せられるのか？ ガチホ勢が考えていること
［増補改訂］ビッグデータを支える技術 ――ラップトップ1台で学ぶデータ基盤のしくみ
Kubernetes上でわざと障害発生、復旧のテストができる「Chaos Mesh」がバージョン1.0に
MySQL互換のTiDBを開発するPingCAP、日本での本格始動を開始
分散システムにおける適度な結合とは - Viadik Khononov氏のDDD Europeでの講演より
カオスエンジニアリングの原則 - Principles of chaos engineering
NALSD フラッシュカードを使用した 分散システムの設計 | Google Cloud 公式ブログ
クラウドネイティブコンピューティングのための新プログラム言語 Ecstasy
自己主権型アイデンティティ（Self-Sovereign Identity）の概要 - Qiita
未来予想 / morrita - Message Passing
saga パターン - Azure Design Patterns
ECS Fargate に New Relic を導入してみた | DevelopersIO
「IDDD本から理解するドメイン駆動設計」輪読会まとめ - Qiita