5GキャリアのエッジロケーションにAWSを設置、モバイルデバイスから利用できる「AWS Wavelength」発表。国内ではKDDIが提携。AWS re:Invent 2019
5GキャリアのエッジロケーションにAWSを設置、モバイルデバイスから利用できる「AWS Wavelength」発表。国内ではKDDIが提携。AWS re:Invent 2019 AWSは米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」で、5GキャリアのエッジロケーションにAWSのインフラを設置する「AWS Wavelength」を発表しました。 これにより5Gのモバイルデバイスから非常に小さなレイテンシでエッジロケーションに置かれたAWSのコンピュートやストレージなどにアクセスできるようになります。 次世代のモバイル通信サービスとして期待されている、いわゆる「5G」は、大容量で低レイテンシなネットワークを実現します。 しかしこの5Gネットワークを通じて、モバイルデバイスからAWSのようなパブリッククラウドへアクセスしようとすると、5Gキャリアのネットワークからイン
「社会を作り変えたいなら、コードを書くのが一番だ」――。ソフトウエアが世の中を大きく変えている今、それを作り上げるコーダーの存在感は高まる一方だ。優秀なコーダーをひき付けられるかが、企業の競争優位性を大きく左右するまでになっている。本特集では5回にわたって、そんなコーダーたちの実像に迫る。 ハイテク企業の創業者などは、まず、資本主義経済にはあちこち割れ目があり、そこから底辺に滑り落ちてしまう人がいる、しかも、そういう亀裂でふつうの人の暮らしがめちゃくちゃになってしまうことがあると考える人々だと言える。同時に、そういう亀裂を全力で作ろうとしている人々だとも言える。 アマゾンの台頭で小さな商店が減ってしまったこと、ウーバーをはじめとするオンデマンドサービスの台頭でギグと呼ばれる不安定な働き方が増えたこと、オートメーションの普及で法務アシスタントなどの職業がなくなってしまったことなどを見れば明ら
分散システムについて語らせてくれ | ドクセル
目次 分散システムを作る際に気をつけて欲しい事 1.分散自体を目的にしない事 2.論文を読んでそのまま実装しない事 3.Two Phase Commitを使わない事 4.手を動かす事 Copyright©2016 NTT Corp. All Rights Reserved. 2 分散自体を目的にしない事 • よくわかってない人でもCloudera Managerをダウンロードして1時間後 には巨大なHadoopクラスタを立ち上げてYARN, HDFS, Spark, HBase などで遊ぶ事ができる。 • 世の中では分散システムが必要以上に喧伝されている • 「コンピュータ1台よりも2台の方が高速」という直感に対して反論するの は意外と難しい • あなたのそのシステム、本当に分散システムじゃないとダメ？ Copyright©2016 NTT Corp. All Rights Reserve
AWS OpenSearch (Elasticsearch) Serviceで専用マスターノードは3つが推奨な理由を段階を踏んで理解する - Qiita
AWS OpenSearch (Elasticsearch) Serviceで専用マスターノードは3つが推奨な理由を段階を踏んで理解するAWSElasticsearch 前提 AWS OpenSearch ServiceでサポートするElasticsearch 7.10.2時点までの内容になります。 ノードが3つ必要という結論に関してはAWS OpenSearchの特別な話ではなく分散システムでの一般的な話になります。 理解のステップ 以下が本記事での理解の流れです。 マスターノードとは何か、他にどんなノードタイプがあるのかを把握する。 専用マスターノードとは何か把握する。 quorumとは何か把握する。 理想のquoram数を出す式がdedicated master nodes / 2 + 1の理由を把握する。 これまでマスター候補ノード(master-eligible node)はなぜ
2019年7月24日、ヤフー株式会社が主催するサーバーサイドエンジニア向けの勉強会「Bonfire Backend #3」が開催されました。第3回となる今回のテーマは「モバイル決済の裏側」。急速に成長するモバイル決済分野でサービスを展開する企業が一堂に会し、自社サービスの仕組みや技術スタックなど、知られざる裏側を語ります。プレゼンテーション「100億を支える技術 」に登壇したのは、PayPay株式会社の正木一平氏。「100億円あげちゃうキャンペーン」をはじめとした各種キャンペーンを支えるキャッシュバックエンジンの仕組みを解説します。 PayPayの100億円キャンペーンを支える技術 正木一平氏（以下、正木）：PayPay株式会社の正木一平と申します。今日は弊社から2人登壇させていただきます。まずは自分からPayPay全体の簡単な紹介と、自分が担当しているキャンペーン・キャッシュバックエンジ
はじめに ちょっと前に「「このバイブルに育てられた」駆け出しエンジニアだった頃に読み込んだ、学びの一冊をご紹介」というweb記事が話題になっていました。 type.jp たぶん、長年ITエンジニアをやっている人なら1冊か2冊はそういった「バイブル」があると思います。 そこでフィヨルドブートキャンプのメンターに「あなたが「このバイブルに育てられた」と思う一冊は何ですか？」という質問をしてみました。 なお、回答者はメンターだけでなく、アドバイザー（メンターではないが、受講生の学習状況を確認できる企業関係者）や卒業生も含まれています。 というわけで、以下がその回答です！ 【もくじ】 はじめに メンターの伊藤淳一さん＝「情熱プログラマー」 メンターのinoueさん＝「リーダブルコード」か「アジャイルサムライ」 メンターのべーたさん＝「猫でもわかるC#プログラミング」と「ノンデザイナーズ・デザインブ
新たなJavaScript RPCライブラリをCloudflareがオープンソースで提供 ー Web開発・マイクロサービス開発を進化させる可能性も
4月6日、CloudflareはCloudflare WorkersにJavaScriptネイティブのRPC（Remote Procedure Call）システムを追加した。 4月6日、CloudflareはCloudflare WorkersにJavaScriptネイティブのRPC（Remote Procedure Call）システムを追加した。 この新機能により、クライアント・サーバー間はもちろん、Worker間の通信も、ほぼボイラープレートなしでシームレスに行えるようになる。 ※RPC（Remote Procedure Call）とは、異なるコンピュータシステム間、または同一システム内の異なるプロセス間で、あたかもローカルのプロシージャ（関数やメソッド）呼び出しのように通信を行う手法。この手法を用いることで、開発者はネットワークの詳細を意識することなく、簡単にシステム間でデータを交換
考えてみればソフトウェアパターンが賑やかだった時代からはすでに20年以上たっているわけで、20年も変わるといろいろ状況も変わりますし、そんな昔のことなんて知ってるわけない、というか知ったことではない、という人も少なくないと思います。 とはいえ今でも使われている用語について、その当時の使われ方を知ると、考察が深まることもあるかもしれません。 そんな感じでOOPとかパターン方面の用語とかを遡りたい！ というときには、WikipediaとかではなくてC2 Wikiを見るのがおすすめです。 C2 Wikiとは Wiki（WikiWikiWeb）の元祖みたいなやつですね。iki-ikiで紹介されています。 例えばValue Objectについて掘りたい、と思った時にはValueObjectで探すと見つかります。単語と単語をつなげるときに、単語の先頭を大文字にする感じです。 とはいえ、C2 Wikiも
Debugging Incidents in Google’s Distributed Systems - ACM Queue
June 6, 2020 Volume 18, issue 2 PDF Debugging Incidents in Google's Distributed Systems How experts debug production issues in complex distributed systems Charisma Chan and Beth Cooper Google has published two books about SRE (Site Reliability Engineering) principles, best practices, and practical applications.1,2 In the heat of the moment when handling a production incident, however, a team's act
Rustは、現在最も注目を集めているプログラミング言語の1つといっていいだろう。2015年にリリースされ、ここ数年でじわじわとファンとユーザーを増やしてきた。Rustは、言語仕様が比較的難しい部類の言語であることは間違いない。しかし、それを上回る安全性と速度の担保、優れた開発者体験――そして使う楽しさがある。 Rustは本来、オペレーティングシステム（OS）など低レイヤーのソフトウエア開発向けに設計された言語である。しかし、他の用途で使えないわけではない。例えばWeb開発でも、他の言語と遜色のない実力を発揮できる。この連載では、Rustの言語機能について一通り説明した後に、Webアプリケーション開発に利用できる側面を見ていく予定だ。連載が終わるころには、システム開発の現場にRustを導入できるようになることを目指す。 今回は、Rustの概要と特徴について解説する。Rustの特徴はメモリー安
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
中村 (@nrryuya_jp) です。先月末を持って、東京大学工学部を中退しました。高卒です。現在はLayerXというスタートアップのAI・LLM事業部担当執行役員・事業責任者をしています。 東大にはたしか3年生から完全に行かなくなってしまい、それからもう7年以上は経過しています。ずっと休学と留年を組み合わせて学籍だけ残っていました。が、ようやく正式に退学になりました。 スタートアップ界隈では、「大学なんて無駄だから行かなくて良い」という声が結構あるように思います。一方、実際に中退した人は意外と少ない気がします。LayerXにも中退や休学をしているメンバーもいて、たまにそういった悩みの相談を受けることもあるので、個人的な体験を書いてみます。また、高校生などでそもそも大学への進学を迷っている人向けにも一つのサンプルを提供できればと思います。 （注: 個人的なバイアスに溢れている記事です。）
Rustの開発チームは毎年末にRustユーザのサーベイを行っています。このサーベイは開発者のバックグラウンドから普段使っているツールまで幅広く問うもので、コミュニティの中心がどこにあるのか理解するのに大変役立ちます。特に、周りにRustaceanがいない方にとっては「こういうのってみんなどうしてるの？」という疑問はよく発生するでしょう。そういうときにサーベイの結果はコミュニティのトレンドを追う一助になります。 2021年は2021/12/08から2021/12/22の期間にサーベイが行われました。そこで実施されるアンケートは、英語の他、中国語（簡体字、繁体字）、フランス語、ドイツ語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語に翻訳されました。 例年なら詳細なレポートが提出されるのですが、今年は比較的簡素なもののみであったため、大きな注目は浴びませんでした。その代わりにサーベイの
PHP/Rust/Swift/Erlangあたりはコミットチャンス？ 2年前からアップデートされていると感じたポイントOpenTelemtryと、その前身のOpenCensusについてはこのブログでも取り上げました。 OpenCensus(OpenTelemetry)とは | フューチャー技術ブログ 基本的な考え方は前回紹介したものと変わっていませんが、2年前からいくつか変わったかも？と思ったところをピックアップするとこんなところですかね。 OpenTelemetryはOpenTelemetry専用のエージェント（ログ中継サービス）の活用も最初から視野に入っており、エージェント向けのエクスポーターも提供されている（OpenCensusにもあったがバージョンが最終版でも0.1.11で安定版ではなかった）。 stdoutロガーが一級市民扱い？ トレース、メトリックスという2種類の機能のほかに、
最近，因果推論や因果探索に興味を持ち，勉強している．というのも最近，ゆううきさん と一緒に分散システムの異常の原因を即時に診断するための研究を進めている．原因を診断するためのアプローチとして，サーバやコンテナ等から取得できる様々なメトリック（CPU使用率やメモリ使用率など）を（グラフ理論における）ノードとして，因果グラフを構築することを考えている．メトリック同士の単なる「相関」ではなく，結果と原因の関係である「因果」を捉えようとするアプローチである．例えば，システムの障害が発生した場合，相関だけでは，AとBが関連がありそうというところまでしか言えないが，因果を特定できると理想的には，Aの原因はBであるといった議論ができるため，有用だと考えている． 実際に，前述のような因果グラフを構築して障害の原因を特定しようというアプローチは，以下の例に挙げるようにここ数年で増えている印象がある． 「Mi
分散システム内のプロセス間の関係性に着目したObservabilityツールの設計と実装 / Transtracer CNDK2019
CloudNative Days KANSAI 2019
順序性の担保とスループットはトレードオフだという話
この記事について AWS SQSからメッセージを受けとって処理するLambdaを書いているときに、 標準キューだから順序保証されてないな、じゃあ順序バラバラできても捌けるように処理を書かないと！ → ... → あれ？？？意外とこれ難しくない？？？ と思った経験、皆さんにもあるのではないでしょうか。 この記事では、筆者が上記のような壁にぶつかったときに「順序を保つってなんでそんなに難しいんだろう？」「保てないならどうやってそれに耐えうるようにすればいいんだろう？」と色々考察した結果を書いていきたいと思います。 使用する環境・バージョン 2024/6/22時点で提供されている機能に基づき考察 読者に要求する前提知識 AWSのSQS, SNS, Kinesis Data Streamがどういうサービスなのかは既知という前提のもとで書きました 順序セマンティクスとは 順序セマンティクスとは「イベ
Kubernetesとは何か？
Kubernetesは、宣言的な構成管理と自動化を促進し、コンテナ化されたワークロードやサービスを管理するための、ポータブルで拡張性のあるオープンソースのプラットフォームです。Kubernetesは巨大で急速に成長しているエコシステムを備えており、それらのサービス、サポート、ツールは幅広い形で利用可能です。 このページでは、Kubernetesの概要について説明します。 Kubernetesは、宣言的な構成管理と自動化を促進し、コンテナ化されたワークロードやサービスを管理するための、ポータブルで拡張性のあるオープンソースのプラットフォームです。Kubernetesは巨大で急速に成長しているエコシステムを備えており、それらのサービス、サポート、ツールは幅広い形で利用可能です。 Kubernetesの名称は、ギリシャ語に由来し、操舵手やパイロットを意味しています。Googleは2014年にKu
マイクロサービスは優れたアーキテクチャーだが、設計・開発・運用の難度が高い。そこで、マイクロサービスの利点を一部手放す代わりに導入の難度を下げた「モジュラーモノリス」が注目されている。本特集は、モジュラーモノリスとは何かを解説するとともに、このアーキテクチャーを採用した4社の事例を取り上げる。 マイクロサービスは、それぞれのサービスを独立したアプリケーションとして構築し、それらが互いにデータをやり取りすることで全体のシステムを構築するアーキテクチャーだ。米国の巨大IT企業や日本のメガベンチャーが導入し、大きな成果を上げている。 マイクロサービスが生まれた背景には、巨大IT企業の事業成長のスピードにシステム開発のスピードが追いつけなくなったことがある。実際のシステムには、事業の成長に合わせて高い頻度の変更が必要なサービスと、それほど変更が必要ないサービスがある。 ところがそれぞれのサービスが
分散深層学習における耐故障性と可塑性 - Preferred Networks Research & Development
ImageNetを15分で学習して以来 [1]、Chainerと沢山のGPUを使って深層学習を並列化し、一回の学習に必要な時間を大きく短縮することができるようになりました。その後、ImageNetの学習は深層学習における並列化 ・高速化のデファクト標準ベンチマークとなりました [2]。それと同時に、深層学習の並列化および大規模化は進み、複数GPUどころか複数ノードで学習することは当たり前のこととなりました。深層学習の計算が大規模化し所要時間はどんどん短くなりましたが、一般的にはノードが増えれば増えただけ部分故障の確率は高くなります。また、大規模なクラスタでは個々の分散ジョブをスケールアウトしたりスケールダウンする機能、つまり可塑性をもとにした計算資源のやりくりが運用上重要になってきます。そこでChainerを拡張し、分散深層学習に耐故障性だけでなく可塑性を導入する実験を行いましたので、ここ
今から10年ほど前の2013年、筆者は六本木のダイニングバー「The Pink Cow」に入り浸っていた。多国籍の料理や酒を楽しむため……ではなく、そこに集う暗号資産（仮想通貨）Bitcoin（ビットコイン）ファンに話を聞くためだ。 銀行を介さず自らデジタル通貨を管理し、店で決済できるBitcoinの可能性に、誰もが興奮していた。ブロックチェーンを使えば、銀行や国家から独立したDecentralized（非中心、非中央集権）なマネーを運営できる。そんな魅力に引かれていた。 そして2022年。DeFi（分散型金融）やNFT（非代替性トークン）、DAO（分散型自律組織）などに代表される「Web 3.0（Web3）」のブームにおいても、やはり人々を引き付けたのは非中心という考え方だった。「Web 1.0やWeb 2.0は中央集権的だが、Web 3.0は非中心になる」といわれるようになった。 とは
こんにちは、食べログシステム本部長の京和です。 今年の4月から本部長になりました。さらに4月に娘が生まれました 本エントリでは食べログで1年を通じて取り組んだ、大規模なレガシーシステムの段階的な改善について紹介します。[翻訳] Shopifyにおけるモジュラモノリスへの移行 に続いて2記事目のアドベントカレンダーになります。 どのように段階的に進めるか 食べログは今年で15年目のサービスで、Railsになってからは13年が経過しています。これだけ歴史があればあちこちにガタが来ているのは当然で、無数にある課題に対してどこからどのように取り組んでいくかを最初に決める必要がありました。 まず最初の前提として以下のように考えました。 既存のビジネスや開発を止めるような悪影響を与えない。むしろなるべく早くポジティブな影響を与えていきたい。 これだけ歴史のあるシステムを改善していくのは長い時間がかかる
DJIが販売するドローンが発する無線信号を傍受し、デコードすることで、DJI製のドローンを操縦する人物の位置を正確に割り出すことが可能だとセキュリティ研究者チームによって明らかにされました。規制当局がドローンを識別し、悪用を防止するための「DroneID」が暗号化されておらず、誰でも傍受可能だと指摘されていたにもかかわらず、DroneIDはドローンのGPS座標だけでなく所有者のGPS座標も送信していることが指摘されています。 Drone Security and the Mysterious Case of DJI’s DroneID (PDFファイル)https://www.ndss-symposium.org/wp-content/uploads/2023/02/ndss2023_f217_paper.pdf DJI Drone Operator's Location Can Easi
実践TLA+ | 翔泳社
設計だってテストしたい！ 【本書の内容】 本書は Hillel Wayne, "Practical TLA+", Apress, 2018 の邦訳版です。 複雑精緻なシステムを構築する際に、設計そのもの、仕様そのものにバグがないかをテストできたら、もう少し幸せな開発人生を送れそうな気がします。 本書は送金システムの小規模な仕様からTLA+を使ってヤバいバグを発見するところから始まります。この小さなサンプルをもとに、より良いアプリケーションの設計・テスト・構築に、どのようにTLA+を使えばよいかを理解し、実際のプロジェクトに援用できるよう、TLA+の演算子、論理、関数、PlusCal、モデル、および同時実行の基礎を学びます。 設計図の整理の仕方、分散システムや最終的な整合性の指定の仕方を学んだら、アルゴリズムのパフォーマンスやデータ構造、ビジネスコードやMapReduceなど、さまざまな実用
Web3はWebではない｜みし
WebではないWeb3 イーサリアムのブログを読むとそう解釈せざるおえない。WebとはWorld Wide Webの略で、インターネット上で、HTMLドキュメントを配信するシステムで、httpプロトコル上で文書をやりとりシステムである。このシステムは、クライアント＝サーバーアーキテクチャを前提としている。 そしてWeb3はWebではない。なぜならhttpプロトコルを使うとは限らないし、HTMLドキュメントをやりとりするとは限らないし、クライアント＝サーバーではなくPeer to Peer(P2P)を前提にしている。WebはP2Pではなくクライアント＝サーバーなのでWeb3はWebではない。 なぜ定義がおかしいのか？ Web3の大元の定義がおかしいから説明しにくいし、理解もしにくい。なぜ分かりにくい言い方をしているかと言えば、Web3自体がベンチャーが投資家からお金を巻き上げるためのマーケテ
ブロックチェーンの登場によって、これからのウェブとインターネットはどのように変わってゆくのか。 2018年にベルリンで開かれたWeb3 Summitにて、InterPlanetary File System (IPFS)の考案者であるJuan Benet氏がWeb3.0について明解な解説をし、わたしたちが次の時代をどのように心がけて創ってゆくべきかの指針を与えてくれました。 あまりにも素晴らしく、多くの人に知ってもらいたいと思ったので、本人に許可を得て、スピーチ全文を日本語に翻訳しました。是非YouTubeのプレゼンと一緒に読んでいただけると嬉しいです。15,000字以上ありますが、スマホでも見やすいレイアウトにしました。 追記：英語文字起こしバージョンも作成しました。日本語版のレイアウトと一対一の対応になっているので、合わせて読んでいただくことで英語学習の一助となれば幸いです。 最後にち
Googleは現地時間の2020年8月19日午後8時55分から2020年8月20日午前3時30分までの間に、Gmail・Google ドライブなどのサービスやG Suite・Google Cloud Platformで発生した大規模なサービス障害について、障害の詳細および原因と対策を発表しました。 Google Cloud Issue Summary (PDFファイル)https://static.googleusercontent.com/media/www.google.com/ja//appsstatus/ir/bd9m3vkqwpvkk4j.pdf ◆障害の詳細 各サービスで発生した障害の詳細は以下の通り。 ・Gmail 一部のユーザーがGmailサービスを利用できず、メールの配信の遅延やメッセージに添付ファイルを追加する際にエラーが発生。Gmailユーザーの約0.73％に障害発生
こんにちは。チャージ式プリペイドカードと家計簿アプリがセットになったサービス、B/43のサーバサイド開発をしている@ohbaryeです。 はじめに 唐突な問ですが、読者諸兄はECサイトでカード決済を行う際に本人認証を求められたことはあるでしょうか？弊社のようなカード会社のブログを読まれる方であれば人生で一度は経験しているのではないかと推察します。 この仕組みは3Dセキュアと呼ばれる本人認証サービスで、カードの盗用やなりすましなどの不正利用の防止を目的としてつくられたものです。近年では不正利用防止だけでなく消費者の利便性向上に寄与するシーンも増え*1、B/43にも多くのユーザーさんから3Dセキュア対応の要望がありました。B/43はその要望にお応えして2022年の6月に3Dセキュアに対応したカードをリリースしました。 本記事では筆者が3Dセキュアの開発・運用を通じて学んだ、3Dセキュアの仕組み
リモートワーク環境での勉強会、みんなどうしてる？VOYAGE GROUP の読書会について紹介します！ - CARTA TECH BLOG
こんにちは！fluct でインターネット広告配信のお手伝いをしている @jewel_x12 です！今日は VOYAGE GROUP における、リモートワーク環境での勉強会について書きます。 VOYAGE GROUP では以前から勉強会を実施しています(例えばReactハンズオンなど)。部署や若手・シニアを問わず、社内バーの AJITO 等に集まってワイワイやっていました。COVID-19の状況が収まらない今のご時世ですと、AJITO でワイワイってのはできなくなっています。 なので勉強会もオンラインでせざるを得ない状態です。そんな中、みなさんはどうやって勉強会を進めてますか？VOYAGE GROUP ではリモートワーク環境でも社内勉強会が活発に行われているので、その様子を紹介できたらと思います。 社内では論文読み会などの勉強会も行われていますが、読書会だけでもたくさんあったので、今回は読書
こちらは Node.js Advent Calendar 2020 の24日目の記事です。前日は @euxn23 さんによるTypeORM と比べながら Prisma を触るです！そして明日は @yosuke_furukawa さんによる締めくくりです 導入 こんにちは 趣味でNode.jsのCore Collaboratorをしている@watildeです。今年は後半に時間を作ってNode.jsに21コミット行い、合計78コミットで終わりそうです。最近は本業でOSSのWeb/Mobileアプリ開発フレームワーク Amplify (公式サイト) の改善に集中をしていますが(JSerな人たちぜひ使ってみてください！)、来年は100コミット超えを目標に引き続きコミッター活動を続けていきたいと思っています。 さて、今回はNode.jsのv14.5.0で入ったworkerの新機能 “Broadcas
こんにちは、滝澤です。 前回の記事『WireGuardによるマルチクラウド構成VPNの事例紹介』に引き続き、社内事例を紹介します。 弊社ハートビーツではMSP（Managed Service Provider）サービスの可用性向上のために、社内基盤をマルチクラウド構成で運用しています。 複数のクラウド拠点のネットワーク間をWireGuardというVPNトンネルのソフトウェアで接続しています。 さらに、リレーショナルデータベース管理システムにはMySQLを利用しており、MySQLのレプリケーション機能の一つであるGroup Replicationを使って拠点内および拠点間における冗長化を行っています。 今回はこのMySQL Group Replicationの利用事例を紹介します。 行っていることをまとめると次のようになります。 マルチクラウド構成（Azure, AWS, GCP）において、
subee - #golang で快適に Pub/Sub するためのフレームワーク | Wantedly Engineer Blog
People tribe / Backend squad の @izumin5210 です。来月以降もこのペースでブログを書いていけるといいですね。 この記事は Go3 Advent Calendar 2019 の25日目です。長い1ヶ月だった。 3行まとめPub/Sub により、マイクロサービスアーキテクチャで高い疎結合性とスケーラビリティを実現できるGo で Subscriber worker を効率よく実装するためのフレームワーク Subee をつくったGo でメッセージを Publish する際の細々とした処理を隠蔽・共通化するため Pubee をつくったはじめに5月に開催された Go Conference 2019 Spring にて "Subee: Pub/Sub Worker Framework Implementation" という発表がありました。Pub/Sub というパ
例年のように、昨年の活動を振り返る。 昨年は、それ以前の5年と異なり、働き方もエンジニアから研究者へ転向したことにより、自分を取り巻く環境は大きく変化した。 とはいえ、1年の研究活動を通じて、エンジニア時代と比較し、働き方は変わっても、自分が目指すものはあまり変わらないことも再確認した。 エンジニアであっても、研究者であっても、SREの分野において、相変わらず特定の環境に依存しない汎用的かつオリジナルの貢献を目指している。 エンジニアか研究者かというのは、自分にとっては、単に時間の使い方の差に過ぎない。 エンジニア時代は、企業の商用システムの開発・運用経験を通して、余暇時間でブログに知見をまとめたり、ソフトウェア化したりしていたが、研究者になってからは現場経験のウェイトをほぼゼロにして、学術論文の形で深く知見をまとめて、ソフトウェア化を進めている。 1月 昨年の12月に前職を退職したのち、
本記事について Lokiについてまったく知識のない状態の人にとって、1からキャッチアップしていくのは とても大変なことです。 特にLokiはマイクロサービスで構成されているため、何を知るべきなのかの全体像が見えにくいと思っています。 そのため、Lokiをまったく知らない状態から実際に運用検証を開始するために必要なインプットを体系的にまとめました。 具体的には下記の項目で整理します。 Lokiの機能 Lokiを構成するアーキテクチャ Lokiを構成するプロセス Lokiのモニタリング Lokiでのログのリテンション管理 Lokiのデプロイ Lokiでのデータキャッシュ Lokiのベストプラクティス ※前提として、Prometheusについての基本的な知識があれば本記事についてもすぐに理解できるかと思います。 1. Lokiの機能 Grafana Lokiとは？ Lokiは3大監視項目である、
2019年7月24日、ヤフー株式会社が主催するサーバーサイドエンジニア向けの勉強会「Bonfire Backend #3」が開催されました。第3回となる今回のテーマは「モバイル決済の裏側」。急速に成長するモバイル決済分野でサービスを展開する企業が一堂に会し、自社サービスの仕組みや技術スタックなど、知られざる裏側を語ります。プレゼンテーション「Payment as a Microservice 」に登壇したのは、PayPay株式会社のHarsh Prasad氏。数多くのマイクロサービスで構築されているPayPayの心臓部、ペイメントコアシステムの裏側を解説します。 PayPayの分散システムの裏側 Harsh Prasad氏：みなさん、こんばんは。PayPayのペイメントコアシステムを担当している、プラサド・ハーシュと申します。今日お話しさせていただきたいことは、ペイメントマイクロサービスと
モジュラーモノリスについて 目次 モジュラーモノリスとは メリット デメリット・課題 採用例・実装例 必要・向いているケース 不必要・向いていないケース そもそもマイクロサービス メリット デメリット・課題 マイクロサービスを選択する理由 マイクロサービスを採用すべきでない時 とりあえずまとめ そもそもモノリス デメリット・課題 モノリスの種類 参考 モジュラーモノリスとは モノリスからマイクロサービスへでは単一プロセスのモノリスのサブセットと紹介 独立して作業が可能なモジュールで構成され、デプロイ時に結合 モノリスアプリケーション内で、ドメインモデル等を単位としてモジュールに分解し、モノリスのように1つのデプロイパイプラインだけを持ちつつも、マイクロサービスのようにシステムのモジュール化・独立性を両立 マイクロサービスアーキテクチャの場合OrderサービスやPaymentサービス等が独立
Project Tsurugi(劔)とAsakusaについて - 急がば回れ、選ぶなら近道
Project Tsurugi(劔)とAsakusaについて ついでにAsakusa advent calendarの分も ■Tsurugiの特にNEDOプロ部分について 日経の記事はこちら https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00001/03044/ 本紙はこちらからかな？ https://www.nikkei.com/article/DGXMZO51692890R01C19A1000000/ ・NEDOのサイト https://www.nedo.go.jp/content/100891996.pdf ・スライドはここ drive.google.com ・togetterはここ https://togetter.com/li/1430683 本来であれば、あまり外向きに書く話ではないのですが、仮にも公金が入っていて、日経の方にも「
話したネタ Worse Is Better - 過去を知り、未来に備える。技術選定の審美眼 2019 edition 集中と分散 Good Old Webとは何か？ 改訂第5版 PC UNIXユーザのためのPostgreSQL完全攻略ガイド（シーラカンス本） Linux, Apache, PostgreSQL, PHP 2層アーキテクチャから3層アーキテクチャへ EJB(Enterprise Java Beans)とは？ SOAP(Simple Object Access Protocol)とは？ なぜEJBやSOAPが生まれてきたのか？ 言語依存から言語非依存、ベンダ依存からベンダ非依存へという流れ SOA(Service-Oriented Architecture)とは？ Enterprise Service Bus XMLによる設定とマッピングが多い時代だった XMLエンジニアとYA
2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話などについてインタビューします。今回の対象セッションは「Ostracon：P2Pネットワークでのブロックチェーンの一貫性に挑む」です。 2017年のビットコインブームを皮切りに、ブロックチェーンは暗号資産や権利の証明のための、改ざん不可能なトランザクションを支える重要な技術として世間に認知されることとなりました。LINEではブロックチェーン基盤技術およびその応用サービスの研究・開発を行う専門組織として、LINE Blockchain Labを運営しています。 本セッションでは、LINE Blockchai
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ぼろぼろでも動けばいい」、クレイジーなアイデアは美しいコードに勝る
PayPayの各種キャンペーンを支えるキャッシュバックエンジンの仕組み
フィヨルドブートキャンプのメンター陣が語る「このバイブルに育てられた」学びの一冊 - give IT a try
昔から使われている技術用語をさかのぼる: Value Object編
圧倒的な安全性と高性能を両立、常識を覆す次世代言語「Rust」のすごさ
東京大学工学部を中退しました｜中村 龍矢 | LayerX 事業部執行役員 AI・LLM事業部長
データでわかるRustの開発者達 〜Rust Survey 2021の深堀 | gihyo.jp
OpenTelemetryとgo-chiを繋げてみる | フューチャー技術ブログ
グラフィカルモデルに基づく因果探索手法の調査 - Fire Engine
Observabilityをはじめよう！(後編) 〜Metrics/Logs/Tracesチュートリアル〜 | さくらのナレッジ
マイクロサービス信仰を打ち破る新技術、「モジュラーモノリス」の正体
分散システムはなぜ非中心の夢を見るか、Web 3.0ブームをまじめに考察する
食べログの大規模なレガシーシステムを段階的に改善していく取り組み - Qiita
DJI製ドローンに操縦者の位置情報を正確に割り出すことが可能な脆弱性が発見されるも関係者は「想定通り」と釈明
What is Web3? (Japanese Translation)
Google ドライブ・Gmailなどで発生した大規模障害の原因と対策をGoogleが説明
3Dセキュア入門 -B/43の3Dセキュア開発・運用の裏側- - inSmartBank
Node.js v14.5.0に入ったBroadcastChannelについて
マルチクラウド構成におけるMySQL Group Replicationの利用事例紹介
2019年振り返り - エンジニアから研究者へ - ゆううきブログ
最短で理解して運用するGrafana Loki - Enjoy Architecting
PayPayはなぜマイクロサービスアーキテクチャを採用したのか？ 決済プラットフォームの構成と狙いを解説
Modular Monolith(モジュラーモノリス)についてまとめる
29. 技術選定の審美眼(2) w/ twada | fukabori.fm
P2Pネットワークでのブロックチェーンの一貫性をいかに実現するか、Ostraconが目指すもの