仮想通貨・ビットコインの仕組み 仮想通貨仕組み①仮想通貨の管理者仮想通貨には特定の管理者が存在しません。 これが最も大きな法定通貨との差と言えます。 円（￥）であれば、管理者・発行体は日本銀行になるわけですが、仮想通貨のほとんどは管理者を持っていません。 では、どのようにして仮想通貨は管理されているのか？ そう、この管理にブロックチェーン技術が使われているのです。 仮想通貨仕組み②根幹技術「ブロックチェーン」では、ブロックチェーン技術とは何か？ ブロックチェーン技術は、以下の技術の組み合わせということができます。 ブロックチェーン技術1 P2PネットワークP2Pネットワークは、仮想通貨が24時間稼働し続け、システムダウンを起こさないために必須の技術です。 P2Pは、Peer to Peer（ピア・トゥ・ピア または ピア・ツー・ピア）の略称のことで、複数のコンピューター間で対等の者（Pee
Raftを使ってDFSを作るという仕事を数年前ぐらいから続けています。そのためか最近、形式仕様記述（特にTLA+）とかModel checkingとかTheorem provingとかが私の中でアツいです。TLA+とかAlloyとかVDM++とかSpin周りのやつです。 ソフトウェアの仕様を形式仕様で厳密に書き下して検証、証明するという手法がある！ということ自体は院生時代に見聞きして知ってたんですが「難しそう」とか「一部のすごい人にしか使えなさそう」といった先入観があってなんとなく敬遠してました。正直、当時は自分の身近な問題であると感じられていませんでした。 あれから10年以上たって最近形式仕様記述とかModel checkingとかTheorem provingというものは「必須なものである」という認識がようやく私の中にも芽生えたようです。仕事で分散システムの開発を通じて「これは人間の頭
apenwarr.caより。 数年前、私は『IPv6が優れた設計(good design)である世界』という記事を書きました。私は今もその記事を誇りに思っていますが、少し更新した方がいいと思いました。 まさか、寝返ってはいません。IPv6は、3年前と同じように、世界的な普及や私たちの世界にとって「優れた設計(good design)」からは程遠いものであると言えます。しかし、それから、その記事で要点を説明した原則に偶然にも基づいている会社を共同設立しました。いやむしろ、これらの原則をひっくり返しています。 その記事では、ネットワークの全体的な歴史とIPv6に至るまでの考え(considerations)を探りました。今回、そのあたりの話をまたするつもりはありません。代わりに、私は考え方(attitude)について話したいと思います。 インターネット、相互運用性、ポステルの法則 なぜ、「イン
概要 2ヶ月遅刻ですが、2023年4月～2024年3月で読んだ本145冊のうち技術寄りの本から52冊をざっくり紹介します。 オススメ度は10段階です。 1年目。 2年目。 プログラミング言語 実践Rustプログラミング入門 オススメ度★6 章ごとに1つのプログラムを作成しながら、Rustとそのエコシステムの特徴を学べる形式の本です。Rust哲学や文法解説は少なめです。 Rust学習者にはプログラミング初心者が少なく、質の高い公式ドキュメントも充実しているため、この形式の本は多い印象ですが、その中でも最もポピュラーな本です。 多様な用途を紹介する都合で作成するプログラムも多様で、これは好みが分かれるかなと思います。「ざっくり出来ることが分かればいいので後半は読み流すだけで、あとは自分で作りたいものを作りながら学ぶ」という人にはオススメです。一方で、マトモにコードを理解して環境構築して動かそう
コンテナを用いたシステムのアーキテクチャパターンはいくつか提唱されています。今回はその中で、分散システムのデザインパターンであるサイドカーパターンを取り上げます。サイドカーパターンは、マイクロサービスの課題を解決するために生まれたサービスメッシュの概念につながるパターンです。 今回は、ローカルな K8s 環境で、サイドカーパターンを用いたアプリケーションを試しに動かしてみるところまでやってみます。 サイドカーパターンとは 具体的な稼働例 自力で Git からの取り込みコンテナを実装する 必要なファイルを用意する contents-puller Dockerfile webserver.yml マニフェストを適用して確認する 既存のコンテナ git-sync を利用する まとめ 参考資料 サイドカーパターンとは 下図のように Kubernetes のポッド内で、主となるコンテナと共にそれを補
はじめに 分散システムやってるとどこからでも安全に採番できる強い衝突耐性をもったuuid的なほげほげidがほしくなります。 世にほげほげidはたくさんありますが、適当にREADMEとかよんでもみんな「これイケてるで！」「uuidとかより文字数すくないで！」「sortableでうれしいで！」とかそういうことばっかいっててどの程度衝突耐性があるのかよくわからん問題があります 今回はほげほげidの構成要素の調査と衝突耐性をざっとまとめて比較しようと思います。 比較する項目 ざっくり random bit数 衝突耐性 ソートできるか その他メモ みたいな感じで整理して比較していきます。 衝突耐性は 衝突確率P=0.5のときの必要な試行回数 乱数以外の識別要素 の2つで評価します。たとえばtimestampとか入れてるやつは暗号学的な安全性には寄与しないけど実用上はある精度の時刻で識別できて衝突耐性
Amazon S3 Glacier ストレージクラスへのログの圧縮とアーカイブ | Amazon Web Services
Amazon Web Services ブログ Amazon S3 Glacier ストレージクラスへのログの圧縮とアーカイブ このブログは 2022 年 3 月 7 日に Ilir Iljazi (senior cloud solutions architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 分散アーキテクチャでは、アプリケーションログを保存する必要がある場合が多く、AWS のお客様では、Amazon S3 バケットを介して保存されることがよくあります。ログには、ランタイムトランザクション、error / failure のステータス、またはアプリケーションのメトリクスや統計に関する情報が含まれている場合があります。これらのログは、後にビジネスインテリジェンスで使用され、有用な洞察を提供し、ダッシュボード、分析、およびレポートを生成するため
研究アイデアや構想の公開 まつもとりースタイルとして、研究開発をしつつあいであがまとまってきたら公開しながらやっていくスタイルをとっていますので、国際会議などの延期に伴い、新しい研究をやり始めているのでそれをアイデアや構想ベースで公開します。 また、僕の研究のやり方として、まずはこのように考えて研究を組み立てているんだという紹介でもあります。是非ご笑覧下さい。 本研究のアイデア紹介 単一のOS環境に複数のテナントを配置するようなマルチテナント環境において、一般的に各テナント間での権限分離はプロセスのオーナやパーミッション情報を利用します。 一方で、Webホスティングサービスをはじめ、Webサービスにおいてもコンテナによって処理を担当するプロセスの権限分離が普及している状況において、データ処理に関しては、複数の異なるオーナのプロセスがデータベースのようなミドルウェアをネットワークを介して通信
論文翻訳: In Search of an Understandable Consensus Algorithm (Extended Version) Abstract Raft は複製されたログを管理するためのコンセンサスアルゴリズムである。これは (Multi-) Paxosと同等の結果を生み出し Paxos と同程度に効率的だが、その構造は Paxos とは異なる; Raft によって Paxos よりも理解しやすく実用的なシステムを構築するためのより良い基盤が提供される。わかりやすさを高めるために Raft はリーダー選挙、ログ複製、安全性といった合意の重要な要素を分離し、考慮すべき状態の数を減らすためにより強力な一貫性を強制する。ユーザ調査の結果から Raft は Paxos よりも習得しやすいことを示している。Raft にはクラスタメンバーシップを変更するための新しいメカニズム
仮想通貨の不正使用とビザンチン将軍問題 ビットコインを仮想通貨として利用するには、取引内容の改ざんや二重使用などの不正を防がなければならない。こうした不正は、情報学やコンピュータサイエンスでは「ビザンチン将軍問題」（Byzantine Generals Problem）と呼ばれる問題とよく似ている。 さて、ビザンチン将軍問題とは、2014年にチューリング賞を受賞した数学者のレスリー・ランポート博士（Leslie Lamport）らが考案した分散システム上の信頼性に関わる問題である［1］。なお、ランポート博士はLaTeX（電子組版 システムTeX 用の論文作成用マクロパッケージ）の作成者として有名だが、研究者としての専門は分散システムの基本アルゴリズムである。 ビザンチン将軍問題の舞台は、ビザンチン帝国の将軍たちがそれぞれ部隊を率いて敵を包囲している戦場である（図1）。各部隊はそれぞれ離れた
〈対談〉CBDCを語る 日本銀行 副島豊 氏 × JBA 加納裕三 | JBA | 一般社団法人 日本ブロックチェーン協会 | Japan Blockchain Association
2021年の幕が開けた。 思えば2020年はブロックチェーンや暗号資産などの分野にとって、まさに「潮目」が変わった年だった。暗号資産の価格急騰、ユースケースの創出、若手企業家の躍進、そして各国のCBDCへの取り組みが飛躍的に進んだ。 CBDCとは何か？ 日銀のHPによれば以下と定義されている。一般に「中央銀行デジタル通貨（CBDC：Central Bank Digital Currency）」とは、次の3つを満たすものであると言われている。（1）デジタル化されていること、（2）円などの法定通貨建てであること、（3）中央銀行の債務として発行される、となっている。このCBDC、先行する中国ではデジタル人民元として実証実験も終え、一説では来年の北京冬季五輪においてお披露目されるとも噂されている。翻って我が国はどうなのだろうか。 CBDCを語る上で、この国の最高のインテリジェンスが対談をおこなった
最短で理解して運用するGrafana Loki
本記事について Lokiについてまったく知識のない状態の人にとって、1からキャッチアップしていくのは とても大変なことです。 特にLokiはマイクロサービスで構成されているため、何を知るべきなのかの全体像が見えにくいと思っています。 そのため、Lokiをまったく知らない状態から実際に運用検証を開始するために必要なインプットを体系的にまとめました。 具体的には下記の項目で整理します。 Lokiの機能 Lokiを構成するアーキテクチャ Lokiを構成するプロセス Lokiのモニタリング Lokiでのログのリテンション管理 Lokiのデプロイ Lokiでのデータキャッシュ Lokiのベストプラクティス ※前提として、Prometheusについての基本的な知識があれば本記事についてもすぐに理解できるかと思います。 1. Lokiの機能 Grafana Lokiとは？ Lokiは3大監視項目である、
週刊Railsウォッチ: RubyのGVLトレーサーgvl-tracing、casting gemでオブジェクトに振る舞いを追加ほか（20220802後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） お知らせ: 来週および来来週の週刊Railsウォッチはお盆休みをいただきます🍉。次回は8/22（月）を予定しています。 🔗Ruby 🔗 gvl-trac
本ランキングは、同社の運営するフリーランス・複業・副業の求人マッチングサービス「SOKUDAN」に2024年1月2日までの直近1年間に掲載された求人案件2289件から抜粋された一部を対象にしている。単価と稼働時間から平均時給を計算し、その平均時給から1日8時間、月21日稼働で想定月収と想定年収を試算している。 ランキングによると、1位はGoで年収1362万円、時給6755円となった。2位はKotlinで年収1308万円、時給6489円。続く3位はPython（年収1249万円、時給6197円）であった。 2024年エンジニア言語の年収ランキング フリーランス副業編 1位のGoは、高いパフォーマンスと並行処理の容易さにより、大規模なサーバーサイド開発で広く採用されている。Googleによって開発された同言語は「クラウドインフラストラクチャ」「マイクロサービス」「分散システム」の構築に適してお
第 12 回 インターネットと運用技術シンポジウム (IOTS2019) プログラム – IPSJ SIG IOT (Internet and Operation Technology)
2019年11月19日公開 2019年11月29日一部訂正 2019年12月2日更新 日程: 2019年12月5日 (木)〜6日(金) 2日間 場所: 沖縄産業支援センター (沖縄県那覇市字小禄1831番地1) https://www.okinawa-sangyoushien.co.jp/ ※シンポジウム論文は発表２０分質疑応答１０分とします。 ○および◎が発表者を表し、◎は学生であることを示します。 2019年12月5日(木)1日目 09:50-10:00 オープニング【大ホール102】 10:00-11:30 セッション１：自動化とシステム評価【大ホール102】 (座長：鳩野 逸生 (神戸大学)) 演習環境の自動構成システムの実現と運用評価 ◎広川 優也, 萩原 威志 (新潟大学) アプリケーション識別機能付きファイアウォールのログを対象とした機械学習による自己らしくない通信の識別手法
Kubernetes で実践するクラウドネイティブ DevOps "監視とオブザーバビリティ"編 / Cloud Native DevOps with Kubernetes (Monitoring and Observability)
コンテナと Kubernetes の到来によりソフトウェアをデプロイおよび運用する方法は大きく変わりました。ソフトウェアはコンテナ化された分散システムとなり、Kubernetes（または類似の基盤）の上で自動化を通じて動的に管理されるものになっています。そうしたアプリケーションを開発し、本番（プロダクション）に高頻度でデプロイしながらも安定した運用を実現することが今求められています。 本セッションは「OpenShift Meetup Tokyo #9 - DevOps/GitOps編」での発表の続編としてアプリケーションの運用、監視におけるメトリクスやオブザーバビリティに関する DevOps のプラクティスを実践する方法と具体的に利用できるツールを紹介します。 https://www.slideshare.net/pfi/kubernetes-devops-cloud-native-dev
最初に結論。 Example のコード そもそもログの目的とは何なのか。 W3C Trace Context Trace Context の HTTP ヘッダとフォーマット Traceparent Header version version-format trace-id parent-id trace-flags 用語 Distributed trace 要するに。 System.Diagnostics.Activity ConsoleFormatterOptions.IncludeScopes HttpClient 内での Activity のイベントを検知してログに出す。 まとめ References 最初に結論。 この記事自体はアレコレ書いていますが、結論に至るまでが長いので、先に結論というか言いたい事から入ります。 とりあえず覚えておいて欲しいのはたった1つです。 それは「Co
カオスエンジニアリングの過去と今(後編)
はじめに このエントリではカオスエンジニアリングの歴史から、その目的が本番環境におけるテストから本番環境前に行うテストへ変わりつつあるのではないかということを説明する。 前編では、 カオスエンジニアリングとは実験であること カオスエンジニアリングを提唱したNetflixはAWSの障害を乗り切ったという成功体験を元に本番環境での試験を重要視していること(推測を含む) カオスエンジニアリングの周知に伴い、色々なツールが開発されたが、現在も生き残っているプロダクトは少ないこと などを説明した。 それでは後編に続く。 📘【note】 この記事はKubernetes2 Advent Calendar 2020の19日目です。 昨日は@hhiroshellさんのアルパカでもわかる安全なPodの終了 - 実験編でした。 Kubernetesにより、有名になったアーキテクチャデザイン 2014年、Goo
Kubernetesでの分散システムの進化
ネットワークの次は、さまざまなAPIやエンドポイント、つまり、リソースバインディング - 他のプロトコルやさまざまなデータ形式と通信できるようにします。おそらく、あるデータ形式から別のデータ形式に変換することも必要でしょう。ここには、ろ光器 (light filtering) なども含めます。つまり、トピックをサブスクライブするときに、特定のイベントにのみ関心があるかもしれません。 最後のカテゴリーは何だと思いますか? それは状態です。私が状態とステートフル抽象化と言うときは、データベースの機能やファイルシステムなど、実際の状態管理については話していません。私は開発者が状態に依存している舞台裏の抽象化についてもっと話しています。おそらく、ワークフロー管理を行う能力が必要です。実行時間の長いプロセスを管理したり、一時的なスケジューリングやcronジョブを実行して、サービスを定期的に実行したい
米ノースウェスタン大学がアルゴリズムを利用した群れロボットを開発した。衝突や交通渋滞を回避でき、自動運転車や自動倉庫の制御に役立つことが期待される。 ・衝突と渋滞のない分散アルゴリズム自動運転車を実現するには、衝突や交通渋滞を引き起こすことなく、安全かつ完璧にナビゲートする必要がある。 そこで、ノースウェスタン大学の研究者が、衝突と渋滞のない分散アルゴリズムを開発した。アルゴリズムはGPSと同様の技術を使用して、各ロボットが位置を認識。各ロボットは移動場所を決定する前にセンサーを使用して近くのロボットと通信して、スペースが空いているかどうかを判断する。 ロボットはスペースが空くまで、もしくはその場所に他のロボットが移動していないことがわかるまで、その場所への移動を拒否する。各ロボットは、近くにいる3つまたは4つのロボットしか感知できず、群れ全体を見渡せないため、システムスケーリングが容易に
本当は恐ろしい分散システムの話 | ドクセル
スライド概要 分散システムのFault Injectionの話 NTTデータテクノロジーカンファレンス2017で発表する際に用いたプレゼン資料 https://oss.nttdata.com/hadoop/event/201710/index.html https://www.slideshare.net/kumagi/ss-81368169 と同一です。
〜ガバメントクラウドでの定量的計測の考え方〜 デジタル庁クラウドチーム Cloud Engineer 矢ヶ崎哲宏 クラウドサービスではマネージドサービスを活用することで、ログ、トレース、メトリクス、イベントなどシステムから発生する各種大量のデータを容易かつ低コストで収集、分類、可視化することができます。ガバメントクラウドでは、提供するサービスの価値をいかに発揮できたかを可視化するために、必要な情報をデータとして継続的かつ定量的に計測していくことを常に考慮しています。今回はこの定量的計測について説明します。 ガバメントクラウドが考える定量的計測とは？ガバメントクラウドで考える定量的計測では、以下の３つの観点が重要です。 Monitoring（モニタリング/監視） モニタリング（監視）は、あらかじめ想定している異常値に対して、しきい値を設定しアラートなどでの通知を行い異常を検知する仕組み。監視
TCCパターンとSagaパターンでマイクロサービスのトランザクションをまとめてみた | Wakatchi Tech Blog
こんにちわ、サイト管理者のわかっち (@wakatchi_tech) です。 質問者 マイクロサービスでシステム作ったらトランザクション管理がしんどいです。 こんな質問をいただきました。 マイクロサービスアーキテクチャでシステムを構築した際、更新対象が複数のサービスをまたがる場合は、トランザクションの扱いが途端に難しくなります。なかでも、障害発生時に各サービス間の処理をロールバックするためには補償(補正)トランザクションが必要になり、複雑なトランザクション制御が求められます。 補償トランザクションとは、処理の途中で失敗した場合に、それを取り消すことで実行結果を打ち消す処理のことです。補償トランザクションの実装は、打ち消す処理を提供するサービスと、それを呼び出すサービスの双方に負担があり、設計や実装が複雑になりがちです。 トランザクションには、1つのトランザクション内で1つのリソース（DBな
こんにちは、チェシャ猫です。先日行われた第 7 回 Web System Architecture 研究会で形式手法について発表してきました。 普段、形式手法について登壇する際は具体例な検証例を出すことが多いですが、今回は理論側に寄せたサーベイになっています。 はじめに 本セッションでは、安全性-活性分解 (safety-liveness decomposition) と呼ばれる一連の結果について解説する。安全性-活性分解は、システムの仕様が与えられた時、それを安全性 (safety) および活性 (liveness) と呼ばれる、よりシンプルな特徴付けを持つクラスに分解して扱うための方法論である。さらにセッションの後半では、安全性と活性の組み合わせ以外にも提案されている派生的な特徴付けについても述べる。 Web アプリケーションと形式手法 システムやプログラムの性質を何らかの数学的な対象
サービスメッシュ入門 | ネットワンシステムズ
コンテナの利活用が広く進み、マイクロサービスアーキテクチャの採用を耳にすることが増えてきました。本記事ではマイクロサービスアーキテクチャや連携して使用される技術サービスメッシュをご紹介します。 マイクロサービスアーキテクチャ サービスメッシュを説明する前に、クラウド、コンテナ環境のサービスを運用するアーキテクチャの1つ「マイクロサービスアーキテクチャ」を整理します。マイクロサービスアーキテクチャとは、端的に言うと1つのシステムに複数の小さなサービスを組み合わせて開発する手法のことです。James Lewis氏とMartin Fowler氏が2014年3月に公開した記事 “Microservices” が有名ですが、コンテナ型仮想技術が普及するにつれて注目が集まっています[1]。 マイクロサービスアーキテクチャの利点はいくつかありますが、本ブログでは次の3つを取り上げます。 サービスごとのス
さくらインターネット研究所と公立はこだて未来大学、“超個体型データセンター”を共同で研究 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データセンター ＞ 市場動向 ＞ さくらインターネット研究所と公立はこだて未来大学、“超個体型データセンター”を共同で研究 データセンター データセンター記事一覧へ [市場動向] さくらインターネット研究所と公立はこだて未来大学、“超個体型データセンター”を共同で研究 2019年10月24日(木)IT Leaders編集部 リスト さくらインターネットの組織内研究所であるさくらインターネット研究所と、公立はこだて未来大学は2019年10月23日、さくらインターネット研究所が提唱する次世代データセンターおよびコンピューティングのコンセプト「超個体型データセンターの実現」に向けて、自律分散するコンピューター群を抽象化するための分散OSおよび仮想化技術に関する共同研究を開始した。 さくらインターネット研究所は、生物の集団的特性として知られる
分散システムにおける適度な結合とは - Viadik Khononov氏のDDD Europeでの講演より を読んで、ソースコードの結合度を測るコナーセンスという概念を初めて知った。コナーセンスは日本語で検索しても情報がほとんどない。そこでコナーセンスの理解を深めるために英語サイト connascence.io を翻訳した。 翻訳サイトはこちら。元サイトが work in progress なのでコンテンツの分量は少ない。 コナーセンス(翻訳) この記事では上の翻訳サイトと Connascence - Wikipedia をもとにコナーセンスの概要を説明する。 コナーセンスとは コナーセンスはソフトウェアの品質を測る結合度のメトリクスであり、Meilir Page-Jones により提唱された。初めて本格的に解説されたのは 1996 年の著作『What every programmer s
『［増補改訂］ビッグデータを支える技術 ――ラップトップ1台で学ぶデータ基盤のしくみ』より転載 本書は『ビッグデータを支える技術』の増補改訂版です。 「ビッグデータ」（big data）という言葉が広く用いられるようになって数年が経ち，以前であれば簡単には手を出せないと思われた大規模なデータ処理も，少し勉強すれば誰にでも扱えるものになってきました。筆者が前著『Googleを支える技術』（技術評論社，2008）の執筆にあたり「MapReduce」について学んでいた当時，それはどこか遠くの世界のように感じられたものですが，今ではもうありふれた技術になったのですから時代は変わったものです。 コンピュータの性能向上に伴い，ますます多くの物事がシステム化され，効率良く運用される時代になってきています。身近なところでは，たとえば「スマホで買い物をして，翌日には届けてもらえる」というとき，その背
「コードの腐敗」がIoTで生死に関わる問題になる恐れも
モノのインターネット（IoT）が切り開く可能性は素晴らしいものだ。しかし、IoTのデバイスに組み込まれているソフトウェアに十分な注意が払われているとは言い難い。管理が一元化されたITインフラとは状況が異なるため、この問題は非常に手ごわい難問になる可能性がある。ある推計によれば、これまでにすでに300億個以上のIoTデバイスが出回っており、1秒ごとに127個の新しいIoTデバイスがインターネットに接続されているという。 これらのデバイスの多くは、単純なものではない。デバイスはますます洗練され、インテリジェントになっており、それらの内部ではかなりの量のコードが動いている。しかしそれは、面倒を見なければならないソフトウェアが大量に存在するということを意味する。Gartnerは、現在企業が生成しているデータの約10％は従来の一元化されたデータセンターやクラウド以外で生成、処理されており、この数字は
G-gen の杉村です。当記事では Google Cloud (旧称 GCP) の Virtual Private Cloud (VPC) について徹底解説します。なお当記事は VPC の基本機能に絞った 基本編 であり 応用編 も続けてご確認ください。 Virtual Private Cloud (VPC) とは ネットワークとサブネット ネットワーク サブネット サブネットの IP アドレス サブネット作成モード VPC 間接続 オンプレミスや他のクラウドとの接続 ルート ファイアウォール（Cloud NGFW） インターネットとのアクセス VM とインターネット間の通信 Cloud NAT インターネットとの通信を防ぐ方法 プレミアムティアとスタンダードティア Google Cloud サービスへのプライベートサービスアクセス Virtual Private Cloud (VPC)
Amazon Elastic Container Service のレジリエンスと可用性を Dive Deep | Amazon Web Services
Amazon Web Services ブログ Amazon Elastic Container Service のレジリエンスと可用性を Dive Deep はじめに この投稿では、Amazon Elastic Container Service (Amazon ECS) におけるアーキテクチャの原則について詳しく説明し、Amazon ECS におけるアプリケーションの高可用性とレジリエンス(回復力)を実現しやすくする機能のいくつかを概説します。Amazon ECS が AWS の可用性と回復力のパターンをどのように活用するように設計されているのか、そして Amazon ECS API などを利用してそうした考え方をどのように簡単に利用できるようになっているのかについて見ていきましょう。これにより、お客様のソリューションの要求に最適な Amazon ECS 構成と機能を選択できるようにな
【レポート】マルチリージョン、ちょっとその前に…-サービスの可用性について考える #AWS-53 #AWSSummit | DevelopersIO
【レポート】マルチリージョン、ちょっとその前に…-サービスの可用性について考える #AWS-53 #AWSSummit 本記事はAWS Summit Online Japan 2021で5/11に行われたセッション「【【基本の AWS サービス】マルチリージョン、ちょっとその前に...-サービスの可用性について考える」のセッションレポートとなります。 最近大阪リージョンが開設されたため、マルチリージョンにしよう！と考えている方も多いのではないでしょうか？ぜひ一度本セッションからシステムに必要な可用性について考えてみてください。 セッション概要 スピーカー：アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ISV/SaaSソリューション本部 ソリューションアーキテクト 木村 公哉 日本でも大阪リージョンがフルリージョンとして拡張され、日本国内だけでいわゆる「マルチリージョン」構成を
Transtracer: 分散システムにおけるTCP/UDP通信の終端点の監視によるプロセス間依存関係の自動追跡
情報処理学会 第12回インターネットと運用技術シンポジウム(IOTS)2019 論文: https://yuuk.io/papers/transtracer_iots2019.pdf OSS: https://github.com/yuuki/transtracer
フィードバックを送信 Spanner: TrueTime と外部整合性 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 TrueTime は、すべての Google サーバーのアプリケーションに提供される可用性の高い分散クロックです1。TrueTime により、アプリケーションは単調に増加するタイムスタンプを生成できます。タイムスタンプ T が生成される前にタイムスタンプ T' が生成された場合、アプリケーションは T' より大きいことが保証された T を使って計算できます。この保証は、すべてのサーバーとすべてのタイムスタンプにわたって保持されます。 TrueTime のこの機能は、Spanner でトランザクションにタイムスタンプを割り当てるために使用されます。具体的には、トランザクションが発生したと Spanner がみなす瞬間を反映するタイムスタンプ
クラウドネイティブデータベースを実現する技術(の一端)を理解してみた - NTT Communications Engineers' Blog
はじめに こちらは NTT Communions Advent Calender 2021 の 24 日目の記事です。 はじめまして、データプラットフォームサービス部の tnkgw と申します。 普段は、Smart Data Platform の契約管理機能を開発しています。 本記事では、クラウドネイティブデータベースを実現する技術の一端を理解するということでAlibaba Cloud で提供されている PolarDB のファイルシステムである PolarFS で用いられている分散合意プロトコルの ParallelRaft 1について解説します。 Raft Raft は Ongaro らにより提唱された2理解と実装のしやすさに重きをおいて考案された分散合意アルゴリズムです。 この章では、本記事を読むにあたって前提知識となる Raft の各要素について概要を紹介します。 Raft が実現する
LINEが定期的に開催する技術者向けミートアップ「LINE Developer Meetup」の68回目のテーマは「Big Data Platform」。LINEのサイトリライアビリティエンジニアである内田早俊氏が、Hadoop3にアップグレードした際に起きたErasure Codingのトラブルシューティングについて共有しました。 関連資料はこちら。 2019年にクラスタをHadoop 3にアップグレード 内田早俊氏（以下、内田）：LINEのData Platform室の内田です。本日は忙しい中ご参加いただき、ありがとうございます。 LINEでは10年近く大規模なHadoopクラスタを運用していますが、昨年（2019年）クラスタをHadoop 3にアップグレードしました。ディスク使用量を削減するためにHadoop 3で新しく追加されたHDFSのErasure Coding（EC）を、約1
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで井出氏が「LINEアプリにおけるScalableなマルチデータ センターIDジェネレーター」というテーマで、メッセージングアプリにおけるID生成の方法を共有しました。 メッセージングアプリのシステム図 井出真広氏：こんにちは。LINE Platform Development Center1のチームで、メッセージング機能の開発、ストレージの運用を行っている井出と言います。本日は、LINEアプリにおいて、ID生成をどのように行っているのかを紹介します。 はじめに、この発表の対象となる我々のLINEアプリについて、簡単に紹介します。我々のLINEアプリは、現在約2億人のアクティブユーザーがいて、1日にこれらのユー
マイクロサービスの内と外を裏返しにする
キーポイント The idea of "unbundling" the database and replacing it with an event log such as Apache Kafka is appealing, but in practice fails to realize its goals. Rather than replacing a fundamental component such as the database, a better approach is to complement the database with Apache Kafka through a connecting tissue such as Debezium. To future-proof your microservices, you have to design them w
イーサリアムのハッキングが仕事──キャンピングカーからネットワークを守るサイバーセキュリティのプロ | CoinDesk JAPAN（コインデスク・ジャパン）
イーサリアム財団のセキュリティ研究者であるデビッド・セオドア（David Theodore）氏の典型的な1日は、世界最大のスマートコントラクトブロックチェーンであるイーサリアムでクラッシュが起きていないかチェックすることから始まることが多い。 その後、彼と同僚はイーサリアムを壊す仕事に取り掛かる。 「私たちのゴールは、できれば他の誰かが壊す前にイーサリアムを壊してしまうことだ」 33歳のセオドア氏は、6月に発表されたプレゼン資料によると、イーサリアム財団のセキュリティ研究チームに所属する約10人のコンピュータエンジニア兼サイバーセキュリティ専門家の1人だ。 彼らは、一部のブロックチェーン専門家が、将来、グローバル規模でデジタルな分散型金融システムの基盤になると見ているイーサリアムネットワークの究極の維持者であり、守護者でもある。 イーサリアム財団は、イーサリアム創設者のヴィタリック・ブテリ
業界で活躍する方にお話を伺い、ブロックチェーン・暗号資産（仮想通貨）業界に関わる人々の姿をお届けするインタビュー。 今回は株式会社LayerXのR&D Engineer、中村龍矢氏にお話を伺いました。業界では広く知られた存在である同社ですが、チームがスタートした時には、ブロックチェーンに詳しい社員はいなかったといいます。ゼロからここまでたどり着くことができた理由とは？ 中村龍矢（なかむら りゅうや）氏 株式会社LayerX Lead Researcher (Twitter: @nrryuya) ブロックチェーンのセキュリティに関する研究に従事。特に、EthereumのPoSプロトコルであるCasperのコアリサーチャーを務め、改善案や脆弱性を複数提案。同研究は日本拠点のチームとしては初めてEthereum Foundationのグラントプログラムに採択される。また、形式手法のブロックチェー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
仮想通貨の仕組みとは？ブロックチェーン技術とは？わかりやすく説明！
TLA+の社内勉強会スライド公開します - takaha.siの技術メモ
IPv4、IPv6、そして突然の考え方の変化
SE 3年目で読んだ技術書52冊 - Qiita
Kubernetes でサイドカーパターンを試す - Linkode.TechBlog
グローバルなid生成器(UUID v4とか)の比較 - ちりもつもればミルキーウェイ
クライアントプロセスのオーナ情報によるTCPを介した透過的な権限分離 - 人間とウェブの未来
論文翻訳: In Search of an Understandable Consensus Algorithm (Extended Version) - MOXBOX #Raft
「「ビザンチン将軍問題」とは何か」第69号 - NII Today / 国立情報学研究所
最も年収の高いプログラミング言語は？ CAMELORSがランキングを発表
【C#】ASP.NET Core と W3C Trace Context とお手軽ロギング。 - ねののお庭。
アルゴリズム利用の群れロボットが衝突や交通渋滞を回避！自動運転車や自動倉庫の制御に | Techable(テッカブル)
サービス改善のための監視と運用｜デジタル庁 ガバメントクラウド
安全性-活性分解定理とその関連研究 - チェシャ猫の消滅定理
結合度の尺度「コナーセンス」とは何か - Qiita
本書について ―改訂にあたって：［増補改訂］ビッグデータを支える技術 ――ラップトップ1台で学ぶデータ基盤のしくみ
Google CloudのVPCを徹底解説！(基本編) - G-gen Tech Blog
Spanner: TrueTime と外部整合性 | Google Cloud
HDFS Erasure Codingを大規模本番環境で運用するには LINEエンジニアによるトラブルシューティング
Redisを使ったID生成は本当にReliableなのか？ LINEアプリにおけるID生成の問題と解決法
まだ道の途中、若き研究者がコミットするのは”今”のブロックチェーン - LayerX 中村龍矢 氏 | withB