※本文読まなくてもいいので、ぜひ図だけでも見ていってください笑 ※このあたりお詳しい人がいたらコメント、補足など大歓迎 目次 目次 0. はじめに 1. 更新版ビジョン 2. 代表的なクラスタリング 2.1非階層型（K-means法）[1,2] 2.2 階層型（樹形図：デンドログラム）[2,3,4] 2.4 その他 3. 群知能クラスタリング[5] 3.1 Ant Colony Clustering Model (ACCM) 3.1.1 概要 3.1.2 クラスタリング挙動の可視化 3.2 Boids（Bird-oid:仮想的な鳥）、あるいはFlock Algorithm 3.2.1 概要 3.2.2 クラスタリング挙動の可視化 3.2.3 入れ子構造のクラスタリング 3.2.4 補足 4. おわりに 5. 参考 0. はじめに 私のやりたい構想をまとめたブログ（超個体型データセンターにお
GitHub - maxpert/marmot: A distributed SQLite replicator built on top of NATS
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
CSE 138: Distributed Systems
From the beginning of this year, I started to take lecture courses of undergrad distributed systems course at UC Santa Cruz (CSE 138) by Lindsey Kuper. It consists of 23 lectures (you can see the schedule of topics from here) and recently I’ve finished all of them. I’m not a student at UCSC but due to the COVID-19 situation, all these lectures were delivered online and are available on YouTube. So
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
0 0 5 0 Dropbox の同期エンジンのコードを完全に書き換えるのは、困難な道のりでした（その目標と決断までの詳細については、以前の投稿をご覧ください）。コードの書き換えとは、運用中に膨大な数のユーザーのマシンで稼働している Dropbox を支えるエンジンを入れ替えることです。正しくコードを書き換えるには、テストの自動化に本腰を入れる必要がありました。私たちが策定したテスト戦略のおかげで、コードを書き換えている間、いつでも正しい方向に向かっていると確信が持てました。このおかげで現在も、短いリリース周期で新機能の開発と出荷を続けることができます。 ここでは、最初に新しい同期エンジン「Nucleus」の設計に反映したテスタビリティの検討事項と、テストしやすいアーキテクチャ上に構築したランダム化テスト システムの一部について説明していきます。 目次 テスタビリティ 1-1. プロトコル
きっかけは、たつぞうさんからのタレコミでしたW このツリー、また怪傑さんがブログにまとめてくれるはず。|дﾟ)ﾁﾗｯ いつも思うけど、ここまでの議論が、パッと、アドリブで丁々発止でできること自体がスゴいことなのよ。 多分、どこのコンサルでもここまで深い理解は出来てないのでは クリプト界隈の意義のあるプロレスを記事にまとめることに存在意義を見出した私としては早速まとめにとりかかりました！ 今回の対談テーマは「ブロックチェーンにコンソーシアムは是か？否か？」 以下 ２名の対談となります。 ひよこさん と極度信玄（してます）さん "集中化されたブロックチェーンはトランザクションを簡単に検閲でき、通常の分散データベースよりも使用するのがはるかに非効率的であるため、分散化なしではブロックチェーンを使用する意味はあまりありません。" ↑これに対して、ブロックチェイナーの反論を聞きたい。。 基本的には同
Keeping Google Meet ahead of usage demand during COVID-19 | Google Workspace Blog
As COVID-19 turned our world into a more physically distant one, many people began looking to online video conferencing to maintain social, educational, and workplace contact. As shown in the graph below, this shift has driven huge numbers of additional users to Google Meet. In this post, I’ll share how we ensured that Meet’s available service capacity was ahead of its 30x COVID-19 usage growth, a
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ etcdとは？OSSの分散KVSです。単純なkey-Value形式のデータを保存することができます。アーキテクチャーも単純で、構築もそれほど難しくはありません。詳細は以下のURLを御覧ください。 https://et
Over the past few weeks, the Bitbucket Engineering team has been sharing our ongoing efforts and wins in our journey to achieving world-class reliability. In our previous post, Development Manager Dan Tao took you through our PIR process. In this next post, we’ll talk about database scalability. Bitbucket’s usage is growing Two services at the core of Bitbucket are the ones serving the Bitbucket w
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. EndpointSlices are an exciting new API that provides a scalable and extensible alternative to the Endpoints API. EndpointSlices track IP addresses, ports, readiness, and topology information for Pods backing a Service. In Kubern
地方自治体のCDN導入率は僅か7%。災害発生時の公共機関による情報提供に課題。（大元隆志） - エキスパート - Yahoo!ニュース
台風19号は関東を中心に、大きな被害をもたらし、今なお多くの人々が不安な日々を送っている。こういった状況の人々にとって、最も不安なことは、正確な情報が入手出来ないことでは無いだろうか? 何処に避難すれば良いのか?何時復旧作業が行われるのか?何時まで避難所に避難していれば良いのか?こういった情報を求めて、自分が住む地域の地方自治体のWebサイトを頼るのは自然な行動だ。 しかし、台風19号発生時、多くの地方自治体のWebサイトにて、コンテンツが表示されない、あるいはコンテンツの表示速度が非常に低下するといった事象が発生した。こういった状況が発生した原因の一つに、アクセス集中時にWebサイトを安定的に表示させるCDNという技術が導入されていないことがわかった。 ■地方自治体のCDN導入率は僅か7% 動画配信サービスを提供する、J-Streamが地方自治体のCDN利用率をTwitterに投稿した。
GitHub - ServiceWeaver/weaver: Programming framework for writing and deploying cloud applications.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Microsoftは、分散型、スケーラブル、リアルタイムのコラボレーションWebアプリ向けのFluid Frameworkをオープンソース化
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Percolator vs Spanner. Implementing Distributed Transactions the Google Way
Our post 6 Signs You Might be Misunderstanding ACID Transactions in Distributed Databases describes the key challenges involved in building high performance distributed transactions. Multiple open source ACID-compliant distributed databases have started building such transactions by taking inspiration from research papers published by Google. In this post, we dive deeper into Percolator and Spanne
GitHub - aws/clock-bound: Used to generate and compare bounded timestamps.
ClockBound allows you to generate and compare bounded timestamps that include accumulated error as reported from the local chronyd process. On every request, ClockBound uses two pieces of information: the current time and the associated absolute error range, which is also known as the clock error bound. This means that the “true” time of a ClockBound timestamp is within a set range. Using ClockBou
Today, AWS announces Amazon Aurora Limitless Database, which enables you to scale your Amazon Aurora clusters to millions of write transactions per second and manage petabytes of data. With this new capability, you can scale your relational database workloads on Aurora beyond the limits of a single Aurora writer instance without needing to create custom application logic or manage multiple databas
Distributed transaction patterns for microservices compared | Red Hat Developer
As a consulting architect at Red Hat, I've had the privilege of working on legions of customer projects. Every customer brings their own challenges but I've found some commonalities. One thing most customers want to know is how to coordinate writes to more than one system of record. Answering this question typically involves a long explanation of dual writes, distributed transactions, modern alter
How my distributed team communicates so no context is left behind
How my distributed team communicates so no context is left behind My team at CircleCI is made up of seven engineers, a product manager, a designer, and an engineering manager, and we are distributed all across the world: in the US from West Coast to East Coast, then to Serbia, Thailand, and finally Japan. Usually, we’re based in places like San Francisco, Chandler, Tempe, Boulder, Knoxville, Novi
負荷分散とは、複数のコンピューティング リソース間でのワークロードの分散を指します。 負荷分散は、リソースの使用を最適化し、スループットを最大化し、応答時間を最小化し、1 つのリソースの過負荷を回避することを目的としています。 また、冗長なコンピューティング リソース間でワークロードを共有することで、可用性を向上させることもできます。 Azure には、ワークロードを複数のコンピューティング リソースに分散するために使用できるさまざまな負荷分散サービスが用意されています。 これらのリソースには、Azure Application Gateway、Azure Front Door、Azure Load Balancer、Azure Traffic Manager などがあります。 この記事では、Azure portal の [Load balancing](負荷分散) ページを使用して、ビジ
No more DSLs: Implement and deploy a distributed system with a single program
No more DSLs: Implement and deploy a distributed system with a single program If you want to write a distributed system, then instead of writing a thousand different programs and configuration files in many different DSLs, you can use an approach I call "single-program systems", and write just one program. In this article, I describe how we do this at $DAYJOB, and I show some example programs. The
Yoshimasa Niwa on Twitter: "圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE"
圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE
Polkadot: Web3 Interoperability | Decentralized Blockchain
Polkadot enables cross-blockchain transfers of any type of data or asset, not just tokens. Connecting to Polkadot gives you the ability to interoperate with a wide variety of blockchains in the Polkadot network. Polkadot provides unprecedented economic scalability by enabling a common set of validators to secure multiple blockchains. Polkadot provides transactional scalability by spreading transac
The etcd key-value store is a distributed database based on the Raft consensus algorithm. In our 2014 analysis, we found that etcd 0.4.1 exhibited stale reads by default. We returned to etcd, now at version 3.4.3, to investigate its safety properties in detail. We found that key-value operations appear to be strict serializable, and that watches deliver every change to a key in order. However, etc
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
GitHub - bigscience-workshop/petals: 🌸 Run 100B+ language models at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading
🌸 Run 100B+ language models at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading
Amazon ECS increases applications resiliency to unpredictable load spikes
Today, Amazon Elastic Container Service (Amazon ECS) enhanced tasks scheduling to make customers’ applications even more resilient to unpredictable load spikes. Now, Amazon ECS will first start a healthy replacement for each unhealthy task, that failed to pass a container or load balancer health check, before terminating it. This enhancement increases the resilience of customers’ applications with
12-3章では確率変数の期待値について、12-5章では確率変数の分散について学びました。この章では、2つの確率変数の和、差、共分散、相関係数について学びます。 ■2つの確率変数の期待値 2つの確率変数とYの和、差の期待値は、次に示すように、それぞれの期待値、の和、差に等しくなります。
社内でアジャイル開発を議論するSlackチャンネル #tech_agile に見かけた良記事のまとめです。 ノウハウ・知見 フィーチャーファクトリーにならないように注意 有名なMVP図の解説 デュアルトラックアジャイルの実践 フィーチャーフラグの分類 ユニコーン企業の秘密をベースとしたスケーリングの考え方 落合博満に学ぶ 技術負債に立ち向かう前の話 TDDの考察 スクラムチームを生産的にするパターンランゲージ プロダクトバックログの整理の秘訣 30分で分かった気になるチームトポロジー 他社事例 メルカリCAMPシステム LIFULL GitLabで学んだ最高の働き方 atama+ LeSS事例 Regional Scrum Gathering Tokyo 2022 スライドまとめ 後日公開された動画 いい感じのチームを作る考え方 ChatworkのScrum@Scale事例 永和システムで
GitHub - richardartoul/tsdb-layer: Time Series and FoundationDB. Millions of writes/s and 10x compression in under 2,000 lines of Go.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - ballista-compute/ballista: Distributed compute platform implemented in Rust, and powered by Apache Arrow.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWS Lambda functions now scale 12 times faster when handling high-volume requests | Amazon Web Services
AWS News Blog AWS Lambda functions now scale 12 times faster when handling high-volume requests Now AWS Lambda scales up to 12 times faster. Each synchronously invoked Lambda function now scales by 1,000 concurrent executions every 10 seconds until the aggregate concurrency across all functions reaches the account’s concurrency limit. In addition, each function within an account now scales indepen
ABCI上でpytorch distributed data parallelによるマルチノード学習 - Qiita
なんの記事? pytorchのDistributedDataParallelについての日本語記事があまりにもなかったため，素人がまとめました． 並列処理がわからない人による，わからない人のための，とりあえず使えればいいや的なDDPの解説です． 基本的にABCIでの実行を前提に書かれていますが，それ以外の環境の人たちにも参考になれば幸いです． はじめに おなじみの機械学習フレームワークであるpytorch．気軽にDataParallelで並列処理の学習もできます． ですがfacebookなどの一流の機械学習エンジニアたちはDistributedDataParallelなるものを使った実装がちらほらみられます． そこでpytorchの解説記事を読むわけですが，これがびっくりするほどわからない． というわけで，ABCI上でのDistributedDataParallel(以下DDP)の使い方を自
Example: Time-based Auto Scaling on Amazon ECS + AWS Fargate
Time-based-auto-scaling-on-fargate.md Set parameters $ export ECS_CLUSTER_NAME={YOUR_ECS_CLUSTER_NAME} $ export ECS_SERVICE_NAME={YOUR_ECS_SERVICE_NAME} RegisterScalableTarget $ aws application-autoscaling register-scalable-target --service-namespace ecs \ --scalable-dimension ecs:service:DesiredCount \ --resource-id service/${ECS_CLUSTER_NAME}/${ECS_SERVICE_NAME} \ --min-capacity 1 \ --max-capaci
コラム - グーグルのクラウドを支えるテクノロジー | 第64回 サーチエンジンのロードバランシング・アルゴリズム（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第64回 サーチエンジンのロードバランシング・アルゴリズム（パート1） (中井悦司) 2019年8月 はじめに 今回からは、2019年に公開された論文「Cache-aware load balancing of data center applications」を元にして、サーチエンジンのロードバランシングに関するアルゴリズムを紹介します。検索対象の単語ごとに担当するサーバーを分けて、サーバー内部のキャッシュのヒット率を高めるというシンプルなアイデアですが、複数の単語を含む検索文に適用するには、すこしばかり数学的な考え方が必要になります。今回は、具体的なアルゴリズムを説明する準備として、システム全体のアーキテクチャーを整理しておきます。 サーチ
GitHub - jointwt/twtxt: 📕 twtxt is a Self-Hosted, Twitter™-like Decentralised microBlogging platform. No ads, no tracking, your content, your data!
📕 twtxt is a Self-Hosted, Twitter™-like Decentralised micro-Blogging platform. No ads, no tracking, your content, your data! Technically twtxt is a multi-user twtxt client in the form of a web app and api. It supports multiple users and also hosts user feeds directly and provides a familiar "social" experience with minimal user profiles. It also supports "rich" text by utilising Markdown as well
Connect thousands of apps and integrations for all your Atlassian products
こんにちは。コンサル部のYui(@MayForBlue)です。 今回は、EC2のAuto Scaling グループを作成する方法をご紹介します。 Auto Scaling とは Amazon EC2 Auto Scaling によって、アプリケーションの負荷を処理するために適切な数の Amazon EC2 インスタンスを利用できるように準備することができます。Auto Scaling グループと呼ばれる EC2 インスタンスの集合を作成します。各 Auto Scaling グループ内のインスタンスの最小数を指定することができ、Amazon EC2 Auto Scaling のグループはこのサイズよりも小さくなることはありません。各 Auto Scaling グループ内のインスタンスの最大数を指定することができ、Amazon EC2 Auto Scaling のグループはこのサイズよりも大き
![[初心者向け]EC2 Auto Scaling グループを作成する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/bede2890e86b4906b777253ed659fb2dc79aeed0/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2-auto-scaling.png)
Remote Work Statistics
Remote Work Statistics Statistics about remote work from 2498 companies working remotely in 3200 cities across 131 countries. Most countries Meet the TOP 10 distributed companies with employees coming from most countries.
mvSQLite is the open-source, SQLite-compatible distributed database. We decoupled SQLite's storage layer onto FoundationDB to offer massive yet "bottomless" scalability, point-in-time reads, and the strictest level of consistency. On the surfaceThere are already so many nice "multi-machine" SQLite flavors: rqlite, dqlite, and Litestream. However I believe what mvSQLite offers is unique: it is not
Slides from a talk given at Nutanix on Mar 21, 2018Read less
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自律分散協調システム的妄想と群知能クラスタリング - クマガリウムぶろぐ
A Distributed Systems Reading List
Dropbox での同期のテスト 確信を持って同期の中核コードを書き換えるまで
ブロックチェーンにコンソーシアムは是か？否か？ - 快傑Ｚの仮想通貨を投資以外で消耗してます！
分散KVS「etcd」の環境を世界最速で構築！！ | SIOS Tech. Lab
Scaling Bitbucket's Database - Bitbucket
Scaling Kubernetes Networking With EndpointSlices
Announcing Amazon Aurora Limitless Database
負荷分散のオプション - Azure Architecture Center
Jepsen: etcd 3.4.3
Grafanaが分散トレースシステムGrafana Tempoを発表
15-6. 2変数の期待値と分散 | 統計学の時間 | 統計WEB
2022年1〜3月に社内で共有したアジャイル開発関連の記事 - tuneの日記
Compass | Developer Experience Platform
[初心者向け]EC2 Auto Scaling グループを作成する | DevelopersIO
Turning SQLite into a distributed database
Cloud arch patterns
jglobal.jst.go.jp
dailyportalz.jp
dl.ndl.go.jp
news.yahoo.co.jp
note.com/hattori0819
fudemaka57.exblog.jp