並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 287件

新着順 人気順

dynamoの検索結果201 - 240 件 / 287件

  • 楽天モバイルが認めた、新基準のオープン・ソース分散SQLデータベース「YugabyteDB」〜高可用性、パフォーマンス等、妥協なきプラットフォームの実現

    楽天モバイルが認めた、新基準のオープン・ソース分散SQLデータベース「YugabyteDB」〜高可用性、パフォーマンス等、妥協なきプラットフォームの実現 2021年11月17〜19日にオンラインで開催された「DB TECH SHOWCASE」にて、分散データベース「YugabyteDB」が紹されていたので、レポートしたいと思います。 YugabyteDBは、Google Spannerに着想を得て開発されたトランザクションやクラウドネイティブアプリケーションのための分散SQLデータベースです。インタフェースはPostgreSQL及びCasaandra互換で、分散ということで水平方向へのスケーリングが得意なだけではなく、トランザクションも担保できるようになっています。また、ノード数が増えても高可用性を維持し、問題発生時の回復力も充実しています。グローバルでも採用事例が増えてきているそうです。

      楽天モバイルが認めた、新基準のオープン・ソース分散SQLデータベース「YugabyteDB」〜高可用性、パフォーマンス等、妥協なきプラットフォームの実現
    • Go言語による分散サービス

      本書は、Go言語で分散サービスを構築する方法を解説する書籍です。分散サービスの概要と基本を解説し、設計、開発、およびデプロイする方法をコードを使ってハンズオン形式で学びます。はじめに、ストレージレイヤの構築とデータ構造の定義を行い、gRPCを用いてAPIを定義したサービスをネットワーク上で動作させる方法を説明します。そしてサービスを分散させて、可用性、耐障害性、拡張性を実現する方法を解説し、本番環境のKubernetesへデプロイする方法を学びます。 [本書の正誤表] 本書への推薦の言葉 はじめに 第I部 さあ始めましょう 1章 レッツGo 1.1 HTTPベースのJSONサービスの分散システムへの適合性 1.2 プロジェクトの準備 1.3 コミットログのプロトタイプの作成 1.4 HTTPベースのJSONサーバの構築 1.5 サーバの実行 1.6 APIのテスト 1.7 学んだこと 2章

        Go言語による分散サービス
      • [Kubernetes] PodのAZ分散を実現するPod Topology Spread ConstraintsとDescheduler

        本記事は、PodのAZ分散を実現するPod Topology Spread ConstraintsとDeschedulerについて紹介します。 また、それぞれの課題とその解決方法について書きます。 Kubernetesについて基本的な用語がわかる方であれば読める内容になっているかと思います。 Pod Topology Spread Constraintsとは? Pod Topology Spread Constraintsを使うことで、Region・Zone・Nodeなどの単位でPodを分散して配置することが可能になります。 例えば、1つのZoneにNodeが2台とPodが1台ずつ配置されているとします。 AZ障害が発生し、Nodeがダウンすると1つのZoneにPodが集中していた場合のサービス影響は大きくなります。 しかし、2台のPodが異なるZoneに配置されていた場合、サービス影響は

          [Kubernetes] PodのAZ分散を実現するPod Topology Spread ConstraintsとDescheduler
        • Distributed Systems 3rd edition (2017) - DISTRIBUTED-SYSTEMS.NET

          You can get a digital (personalized) copy of this book for free. PPT slides now available This page refers to the 3rd edition of Distributed Systems For this third edition of “Distributed Systems,” the material has been thoroughly revised and extended, integrating principles and paradigms into nine chapters: Introduction Architectures Processes Communication Naming Coordination Replication Fault t

            Distributed Systems 3rd edition (2017) - DISTRIBUTED-SYSTEMS.NET
          • OceanVista 再読 - 急がば回れ、選ぶなら近道

            OceanVista http://www.vldb.org/pvldb/vol12/p1471-fan.pdf 基本的アーキテクチャは、DC間クラスターをインフラにおいて、高遅延・耐障害性を前提にした分散transactionの仕組みになっている。 どう見てもAlibabaのOceanBaseそのものではない。が、同じAlibabaグループでかつ、Oceanの名前をつけているので、関係はなくはないと思う。少なくとも同じグループまたは情報交換はしているのではないか。技術的な方向性を模索するプロトタイプに見える。 バックグラウンド的な与太話をすると、Alibabaは、というか中国的には、ITでの米国からの依存脱却(ポーズだけなのか、実際なのかは置いておいて)を目標として掲げているのは周知の通り。んで具体的な話としては、Alibaba的には脱Oracleが一つの目標になっている。この目線で見た

              OceanVista 再読 - 急がば回れ、選ぶなら近道
            • Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postg... | Hacker News

              Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postgres, SQLite and Lambda.Basically, it worked like this: - All of our data lived in compressed SQLite DBs on S3. - Upon receiving a query, Postgres would use a custom foreign data wrapper we built. - This FDW would forward the query to a web service. - This web service would start one lambda per SQLite file. Each lambda

              • W3Cが分散IDの規格を標準化、認証サービスの選択が可能に

                Web技術の標準化団体であるWorld Wide Web Consortium(W3C)は2022年7月19日、分散IDの規格「Decentralized Identifiers(DIDs)」を標準規格として勧告した。これまでWebサービスで利用者を認証するには中央集権型のIDP(IDentity Provider)が必要だった。分散IDにより、利用者もサービス事業者もオンラインにおけるID情報の管理をコントロールできるようになるという。 携帯電話の電話番号や電子メールのアドレスは認証IDによく使われ、一見利用者が所有しているように見える。しかしMNP(モバイルナンバーポータビリティー)が実現されるまで、携帯電話番号はキャリアを変えると変更を余儀なくされた。また電子メールのアドレスも、個人が契約するISP(インターネットサービス事業者)を変えると変更が必要になる。これがこれまでの中央集権型

                  W3Cが分散IDの規格を標準化、認証サービスの選択が可能に
                • GitHub - wasmerio/ate: Distributed immutable data store with strong encryption and authentication

                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                    GitHub - wasmerio/ate: Distributed immutable data store with strong encryption and authentication
                  • 日本マイクロソフトの社員が教える、GPT×ReAct活用のコツ トークン制限がある場合は分割格納、自然言語の履歴管理にはNoSQLデータベースを

                    ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。ここでは、「社内データを参照して何かを答えさせること」において役立つ工夫を話します。前回はこちらから。 ドキュメント検索の過程における2つの選択肢 蒲生弘郷氏(以下、蒲生):そういったところで、ReActの話に戻ります。弊社のアーキテクトが、実際にReActを使ってエンタープライズのサーチをしていくサンプルの解説記事とかを書いています。社内データを参照して何かを答えさせることにおいて非常に有益なものになってきます。 その話についても触れていきながら、GPTのシステムを組ん

                      日本マイクロソフトの社員が教える、GPT×ReAct活用のコツ トークン制限がある場合は分割格納、自然言語の履歴管理にはNoSQLデータベースを
                    • File systems unfit as distributed storage backends: lessons from ten years of Ceph evolution | the morning paper

                        File systems unfit as distributed storage backends: lessons from ten years of Ceph evolution | the morning paper
                      • AWS CloudFront Pricing and Cost Optimization Guide | CloudForecast

                        CloudFront is AWS own CDN (Content Delivery Network). CDNs are primarily used for caching, and many customers also use AWS CloudFront CDN as a security layer, or use it to handle network spikes. With AWS CloudFront CDN, when a user requests a webpage or an image, the request is routed to one of Amazon’s 225+ edge server locations. If the edge server already has the resource cached, it’s served to

                          AWS CloudFront Pricing and Cost Optimization Guide | CloudForecast
                        • A Multithreaded Fork of Redis That’s 5X Faster Than Redis | KeyDB - The Faster Redis Alternative

                          What if I told you there is a fork of Redis that can run 5x faster with nearly 5x lower latency. What if you no longer needed sentinel nodes and your replicas could accept both reads and writes? This could provide the potential to achieve a 10x reduction in the amount you shard. This article looks at KeyDB which is an open source, multithreaded fork of Redis. We will review the latest benchmarking

                            A Multithreaded Fork of Redis That’s 5X Faster Than Redis | KeyDB - The Faster Redis Alternative
                          • KVSあるいはKVSベースのNewSQLに高速なAuto Incrementを実装する | CyberAgent Developers Blog

                            AI事業本部の黒崎( @kuro_m88 )です。 MySQL、PostgreSQLのようなRDBとAmazon DynamoDBやCloud SpannerのようなNoSQL、NewSQL系のDBを比較したときに、後者はRDBのauto incrementのような機能を実装しようとすると前者と比較して性能が出ない問題があります。この問題に対してRedisのLua Scriptingを用いて採番用のキャッシュを実装し、併用することで高速化した事例を紹介します。 本記事ではAmazon DynamoDBやCloud Spannerが採用されている環境を想定します。特に特定のDBに依存した考え方ではないので、その他のKVSやKVSベースのNewSQLにも応用できる考え方かと思います。手法を検討するのに使ったコードはGoで実装しました。 前提 前提としてKVSのような分散DBにおいて、auto

                              KVSあるいはKVSベースのNewSQLに高速なAuto Incrementを実装する | CyberAgent Developers Blog
                            • GitHub - erikgrinaker/toydb: Distributed SQL database in Rust, written as an educational project

                              You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                GitHub - erikgrinaker/toydb: Distributed SQL database in Rust, written as an educational project
                              • How Instagram scaled to 14 million users with only 3 engineers

                                Author’s Note: This is a timeline of notes compiled from publicly available sources. All links and sources are posted at the bottom, and throughout. Instagram scaled from 0 to 14 million users in just over a year, from October 2010 to December 2011. They did this with only 3 engineers. They did this by following 3 key principles and having a reliable tech stack. Instagram’s Guiding PrinciplesKeep

                                  How Instagram scaled to 14 million users with only 3 engineers
                                • 分散システムでのフォールバックの回避

                                  重大な障害が発生したサービスからは、有用な結果を得ることができなくなります。たとえば、e コマースウェブサイトでは、製品情報のデータベースクエリが失敗すると、ウェブサイトは製品ページを正常に表示できません。Amazon のサービスは、信頼性を高めるために、重大な障害の大部分を処理する必要があります。重大な障害を処理するための戦略には、大きく次の 4 つのカテゴリーに分かれます。 • 再試行: すぐに、または少し遅れて、失敗したアクティビティを再度実行します。 • 積極的な再試行: アクティビティを並行して複数回実行し、最初のアクティビティを使用して終了します。 • フェイルオーバー: エンドポイントの別のコピーに対してアクティビティを再度実行するか、できればアクティビティの複数の並行コピーを実行して、それらの少なくとも 1 つが成功する確率を上げます。 • フォールバック: 異なるメカニズ

                                    分散システムでのフォールバックの回避
                                  • コラム - グーグルのクラウドを支えるテクノロジー | 第101回 Googleの分散ビルドシステムのアーキテクチャー(パート1)|CTC教育サービス 研修/トレーニング

                                    [IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第101回 Googleの分散ビルドシステムのアーキテクチャー(パート1) (中井悦司) 2021年3月 はじめに 今回からは、2020年に公開された論文「Scalable Build Service System with Smart Scheduling Service(PDF)」を紹介します。この論文では、Google社内で利用されている「分散ビルドシステム」のアーキテクチャーが解説されています。独立したいくつかのシステムが連携する分散型のアーキテクチャーになっており、マイクロサービスアーキテクチャーの設計例としても参考になります。 Google社内のビルド環境 第20回の記事でも紹介しましたが、Google社内では、すべてのソフトウェア

                                    • ジッターを伴うタイムアウト、再試行、およびバックオフ

                                      あるサービスまたはシステムが別のサービスまたはシステムを呼び出すたびに、障害が発生する可能性があります。これらの失敗は、さまざまな要因から発生することがあります。サーバー、ネットワーク、ロードバランサー、ソフトウェア、オペレーティングシステム、またはシステムオペレーターからのミスが含まれます。故障の可能性を減らすようにシステムを設計していますが、故障しないシステムを構築することは不可能です。そのため、Amazon では、障害の可能性を許容して削減するようにシステムを設計し、わずかな割合の障害を完全に停止するまで拡大することを防いでいます。回復力のあるシステムを構築するために、タイムアウト、再試行、およびバックオフの 3 つの重要なツールを採用しています。 リクエストが通常より長くかかり、完了しない可能性があるため、障害の種類の多くが明らかになります。クライアントがリクエストの完了を通常より

                                        ジッターを伴うタイムアウト、再試行、およびバックオフ
                                      • GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online

                                        2020 年 4 月 27 日(月) 第 10 回 Google Cloud INSIDE Games & Apps Online Google Cloud 篠原 一徳によるセッション スライドです。Read less

                                          GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
                                        • 分散型ID ラーニングパス

                                          Intro 分散型IDに関する情報がウェブ上に溢れており、片っ端から読んではいるけれど、なかなか理解が深まらないということもあるかと思います。私も苦労しました。(今もしています笑) 分散型IDに関する規格は、以下の図からわかるように、たくさん存在し、互いに依存したり、関係し合っています。 from Verifiable Credentials Specification Map そこで、この順番で読めば理解が深まるのではないか、というラーニングパスを作ってみました。 ※ まずはVer01(2020-12-10)。徐々にアップデートしていきます。 前提知識 JSON:開発者フレンドリーなデータフォーマット JSON-LD:データに関係性を持たせることができるデータフォーマット。データ間の関係性を可視化するセマンティックウェブなどを起点に始まった。規格が不安定かつ最新情報が反映されていないため

                                            分散型ID ラーニングパス
                                          • YDB — an open source Distributed SQL Database

                                            YDBYDB is a versatile open source Distributed SQL Database that combines high availability and scalability with strong consistency and ACID transactions. It accommodates transactional (OLTP), analytical (OLAP), and streaming workloads simultaneously.

                                              YDB — an open source Distributed SQL Database
                                            • マイクロソフト、「Folding@home」の新型コロナ分析に協力するPowerShellスクリプトを公開

                                              Microsoftは、「Windows 10」ユーザーが「Folding@home」プロジェクトにコンピューターの余剰演算能力を安全に提供するためのPowerShellスクリプトをリリースした。分散コンピューティング技術を活用して疾病研究を行うプロジェクトである「Folding@home」は現在、新型コロナウイルス感染症(COVID-19)の解析に取り組んでいる。 既に多くのユーザーが、Folding@homeのタンパク質動力学シミュレーションを支援するために、macOSやWindows、Linuxにこのソフトウェアのクライアントをダウンロードしている。 Microsoftの今回の取り組みは、Windows 10のユーザーが、Windowsサンドボックスを利用して安全に演算能力を提供できるようにするものだ。 Folding@homeプロジェクトは、生化学と分子生物学が専門のワシントン大学セ

                                                マイクロソフト、「Folding@home」の新型コロナ分析に協力するPowerShellスクリプトを公開
                                              • CockroachDB から覗く形式手法の世界 #CNDT2020 / CloudNative Days Tokyo 2020

                                                CloudNative Days Tokyo 2020 で使用したスライドです。 バグのない分散システムの設計は果たして可能でしょうか? この問いに対する一つの答えとして、CockroachDB では形式手法ツール TLA+ を用いて分散トランザクションの正しさを担保しています。 形式手法はシス…

                                                  CockroachDB から覗く形式手法の世界 #CNDT2020 / CloudNative Days Tokyo 2020
                                                • Kinesis Data Analytics不要?Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO

                                                  CX事業本部@大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド

                                                    Kinesis Data Analytics不要?Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
                                                  • 6.5840 Home Page: Spring 2024

                                                    · Information · Schedule · Submissions · Labs: 1 2 3 4 5 · Questions · Past Exams · 2023 Web Site · 2022 Web Site · 2021 Web Site · 2020 Web Site · 2018 Web Site · 2017 Web Site · 2016 Web Site · 2015 Web Site · 2014 Web Site · 2013 Web Site · 2012 Web Site · 2011 Web Site · 2010 Web Site · 2009 Web Site · 2007 Web Site · 2006 Web Site · 2005 Web Site · 2004 Web Site · 2002 Web Site · 2001 Web Sit

                                                    • EleutherAIが60億パラメータGPT-3のクローンであるGPT-Jをオープンソース化

                                                      Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

                                                        EleutherAIが60億パラメータGPT-3のクローンであるGPT-Jをオープンソース化
                                                      • 分散型クラウドコンピューティングプラットフォームDFINITY

                                                        分散型クラウドコンピューティングプラットフォームDFINITY DFINITYとはDFINITYは、ブロックチェーンを使って分散型のクラウドコンピューティングプラットフォームを提供しようというプロジェクトです。 DFINITY Foundation | Internet Computer DFINITY上では、現在私たちが利用しているようなウェブサイトやウェブサービス、API、企業・業界システム、昨今注目を集めるDeFiサービス(分散型金融サービス)などありとあらゆるインターネットサービスが稼働することが想定されています。 DFINITYは、提供するクラウドコンピューティングプラットフォームを、安全で止められない「インターネットコンピュータ」(Internet Computer)と表現しています。初めて聞くと、直観的にイメージしにくいですが、分散型のAWS(Amazon Web Servi

                                                        • 「初心者向けにNoSQLを徹底解説」に関する誤りについて

                                                          「初心者向けにNoSQLを徹底解説」に関する誤りについて 以下の元記事では,初心者向けにあやまった情報で解説を行っているように見受けられたため,その訂正を目的とした記事である. NoSQLのメリット 高速 処理を高速に行えるのはNoSQL最大のメリットと言っても過言ではない。トランザクションを必須とせず、データの厳密な一貫性を確保しないことで迅速にデータを処理できる。NoSQLはデータ量が増えてもRDBより処理速度が下がりにくい。 (中略) 完全一貫性を必要としない NoSQLでは、処理の結果が最終的に一貫性のある状態となれば可とする「BASE基準」を採用している。NoSQLは完全な一貫性を含む「ACID特性」を満たす必要はないので、高速処理の実現に大きく貢献している。逆を言えば、NoSQLはデータの一貫性が必要なシステムには不適である。 データの厳密な一貫性 や 完全一貫性 というものが

                                                            「初心者向けにNoSQLを徹底解説」に関する誤りについて
                                                          • モバイル向けNoSQL「Firestore」で件数を数える「count()関数」、期限付きデータ「Time To Live」など新機能。Firebase Summit 2022

                                                            モバイル向けNoSQL「Firestore」で件数を数える「count()関数」、期限付きデータ「Time To Live」など新機能。Firebase Summit 2022 Googleは10月18日に米ニューヨークでモバイル向けのバックエンドサービスであるFirebaseにフォーカスしたイベント「Firebase Summit 2022」を開催し、モバイル向けのNoSQLデータベースFirebaseの新機能として、件数を数える「count()」関数や期限が来たら自動的にデータが消去される「Time To Live」などを発表しました。 クエリ結果の件数を返してくれるcount()関数 これまでFirebaseでクエリの結果何件のデータがマッチしたのかを数えるには、プログラマが検索処理の後になんらかの手法で件数を数える処理を記述する必要がありました。 件数を数えることは比較的ニーズの高

                                                              モバイル向けNoSQL「Firestore」で件数を数える「count()関数」、期限付きデータ「Time To Live」など新機能。Firebase Summit 2022
                                                            • 「Apache Cassandra 4.0」正式リリース。スループットが25%向上、データの一貫性も強化、監査ログ機能も

                                                              「Apache Cassandra 4.0」正式リリース。スループットが25%向上、データの一貫性も強化、監査ログ機能も 代表的なNoSQLデータベースの1つであるApache Cassandraが6年ぶりにメジャーバージョンアップを果たし、「Apache Cassandra 4.0」が正式リリースとなりました。 Apache Cassandra 4.0 is here! The most stable database release in history, already running in production in some of the world’s largest environments. Read @TheASF press release: https://t.co/iXzxWYRobp#nosql #databases #opensource #apache pic

                                                                「Apache Cassandra 4.0」正式リリース。スループットが25%向上、データの一貫性も強化、監査ログ機能も
                                                              • Microsoftがリードするモダンな分散システム用ランタイムDaprとは?

                                                                MicrosoftはCNCF(Cloud Native Computing Foundation)が主催するWebinarで、クラウドネイティブなシステムにおいて分散処理を実装するランタイムであるDaprを解説するセッションを実施した。CNCFのWebinarページには、CNCFにホストされている多数のプロジェクトのセッションだけではなくCNCFのメンバーによる技術解説が公開されている。今回紹介するセッションは2020年10月1日に公開されたもので、CNCFのプラチナムメンバーであるMicrosoftがコンテンツを提供したものになる。 参考:Dapr, Lego for microservices セッションのタイトルは「Dapr, Lego for Microservices」というもので、マイクロサービスを構築する際にランタイムとして機能するDaprの最新情報を紹介する内容となった。

                                                                  Microsoftがリードするモダンな分散システム用ランタイムDaprとは?
                                                                • 海賊版論文サイト「Sci-Hub」が分散型ネームシステム「Handshake」に移行

                                                                  有料で配信されている学術論文を無料で閲覧できる海賊版サイト「Sci-Hub」が、自身のドメイン管理を分散型ネームシステムの「Handshake」に移行したと報じられています。Sci-Hubは裁判所のドメイン利用差止め命令によりドメインを何度も変更してきた背景があり、今回の分散型DNSへの移行はそうした問題を恒久的に解決するための動きとみられます。 Pirated Academic Database Sci-Hub Is Now on the ‘Uncensorable Web’ | Nasdaq https://www.nasdaq.com/articles/pirated-academic-database-sci-hub-is-now-on-the-uncensorable-web-2021-01-11 Tutorial 1: What is Handshake and HNS htt

                                                                    海賊版論文サイト「Sci-Hub」が分散型ネームシステム「Handshake」に移行
                                                                  • Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合

                                                                    Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合 Google Cloudは、これまで同社のハイブリッドクラウド戦略を実現する製品としてオンプレミス用に提供してきた「Anthos on-premises」の製品名を「Google Distributed Cloud Virtual」(GDC Virtual)に変更し、Google Distributed Cloudブランド傘下の製品として位置づけ直すことを明らかにしました。 New update to our Google Distributed Cloud portfolio Google Distributed Cloud Virtual: a software-only solution that brings o

                                                                      Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合
                                                                    • Announcing Grafana Tempo, a massively scalable distributed tracing system | Grafana Labs

                                                                      Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster

                                                                        Announcing Grafana Tempo, a massively scalable distributed tracing system | Grafana Labs
                                                                      • Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その2- - inductor's blog

                                                                        このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 今回は前回の続きでセクション3からです!前回のエントリーはこちらです。 inductor.hatenablog.com 3. Borgアーキテクチャ(Borg architecture) Borgセルは、マシンのセット、Borgmasterと呼ばれる論理的に集中化されたコントローラ、およびセル内の各マシン上で実行されるBorgletと呼ばれるエージェントプロセスで構成されます(図1参照)。 BorgのすべてのコンポーネントはC++で書かれています。 3.1 Borgmaster 各セルのBorgmasterは、メインBorgmasterプロセスと個別のスケジューラ(§3.2)の2つのプロセスで構成されています。 メインのBorgmasterプロセスは、ステートを変更(ジ

                                                                          Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その2- - inductor's blog
                                                                        • GitHub - losfair/mvsqlite: Distributed, MVCC SQLite that runs on FoundationDB.

                                                                          Full feature-set from SQLite: mvSQLite integrates with SQLite as a custom VFS layer. It is a layer "below" SQLite, and all of SQLite's features are available. Time travel: Checkout the snapshot of your database at any point of time in the past. Lock-free, scalable reads and writes: Optimistic fine-grained concurrency with BEGIN CONCURRENT-like semantics. mvSQLite inherits FoundationDB's lock-free

                                                                            GitHub - losfair/mvsqlite: Distributed, MVCC SQLite that runs on FoundationDB.
                                                                          • NALSD フラッシュカードを使用した 分散システムの設計 | Google Cloud 公式ブログ

                                                                            ※この投稿は米国時間 2020 年 5 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 分散システムには数多くの設計方法が存在しますが、その一つにシステムの自然な拡張を考慮した設計があります。この方法では、システムがより多くのリクエストを処理していくにつれて、コンポーネントの書き換えや再設計を行います。また、概念実証から始める手法もあります。システムによってビジネスに付加価値がもたらされたら、次のバージョンがゼロから設計されます。 Google では、Non-Abstract Large System Design(NALSD)と呼ばれる手法を使用しています。NALSD は、分散コンピューティング向けの Borg クラスタ管理や Google の分散ファイル システムなど、分散システムの設計、検証、評価を行うための反復プロセスについて記述しています。最初から

                                                                              NALSD フラッシュカードを使用した 分散システムの設計 | Google Cloud 公式ブログ
                                                                            • パフォーマンスに影響!Redshiftのテーブル設計時に最低限意識すべきポイント3選

                                                                              Introduction AWSが提供するDWHサービス、Amazon Redshift。 全世界での採用企業は数万社を超えており、弊社も国内において多くのお客様に導入のご支援をさせて頂きました。 RedshiftはAWSエコシステムとの親和性が高く、AWSを既にご利用のお客様は導入の敷居が低いDWHサービスとなっております。 しかし、適切なテーブル設計を行わなければパフォーマンスを全く発揮できません。 不適切なテーブル設計をしてしまったが故、「バッチ処理が当初想定していた時間で終わらない」等、弊社にご相談頂いたお客様も数多くいらっしゃいます。 では、Redshiftを扱うにあたってどのようなテーブル設計を行えば良いのか。 本記事では、パフォーマンスの向上に繋がるテーブル設計のポイントを3つ、ご紹介致します。 1. ソートキー(SortKey) ソートキー(SortKey)は、テーブルのデ

                                                                                パフォーマンスに影響!Redshiftのテーブル設計時に最低限意識すべきポイント3選
                                                                              • 収入源の〝分散〟 - 行政書書士の空き家対策Blog

                                                                                おはようございます☀😃 不動産系サラリーマンをしながら行政書士登録も受けた仕事人間の近藤です! 本日は、〝収入源の分散〟について、書かせて頂こうと思います。 いつも書かせて頂いている様に、僕は、サラリーマンをしながら行政書士としても開業しています。 (とはいえ、行政書士の仕事をする上での営業活動をしていませんので、行政書士としての収入は、ほぼありません。) よく、投資の格言として、『卵を一つのカゴに盛ってはならない』という事が言われます。 (卵を資産に見立てていると思いますが。) カゴを落とした時にすべての卵(資産)が割れてしまう(資産を失ってしまう)という意味で、リスク分散の重要性を示したものです。 僕は、現在、それほど大きな投資は行っていません。 ただ、最近は、上記の格言と同じく、自分自身の収入源(仕事や収益を生む物)をいくつか持てば、例えどれかがダメになっても、他の事で収入をカバー

                                                                                  収入源の〝分散〟 - 行政書書士の空き家対策Blog
                                                                                • サクッと始めるデータベース構築【SQL / NoSQL / newSQL】

                                                                                  この本では、データベース構築経験が初心者・入門者の方々に向けて、データベース構築に必要な知識(SQLを中心)を1時間ほどでサクッと理解できるようにまとめました。※短時間での走り切りをゴールとしているため、細かい説明は省略されています。 【概要】 ・内容:データベース基本知識 / 用語、SQLとは、NoSQLとは、NewSQlとは、データモデル(概念モデル / 論理モデル / 物理モデル)、SQL命令言語(DML / DDL / TCL / DCL)、SQLの環境構築、SQLの基本文法、SQLによる絞り込み、SQLによるデータ加工、SQLによるテーブル処理・分析、SQLによる複数テーブルの処理、SQLによるトランザクション処理 ・所要時間:約1時間 ・必須条件:パソコン操作 ・推奨OS:なし ・レベル:★★☆☆☆

                                                                                    サクッと始めるデータベース構築【SQL / NoSQL / newSQL】

                                                                                  新着記事