1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
Tumblr、マストドンと接続へ。分散型SNS標準プロトコルを採用し、Twitterからの脱出受け入れ強化（CloseBox） | テクノエッジ TechnoEdge
ブログサービスのTumblrが、分散型SNSサービスの標準プロトコルであるActivityPubを採用すると明らかにしました。 ▲Tumblr ActivityPubは、Twitter代替を目指すマストドン（Mastodon）、Pleroma、GNU social、PeerTube、Misskeyなどの分散型SNSのサーバ同士が投稿やユーザー情報をやり取りするための標準で、2018年1月にW3C推奨となっています。 関連記事：Twitter代替目指す分散型SNS「マストドン」、翻訳機能など追加。ブラウザメーカーのVivaldiも参入表明 TumblrはTwitterのリツイートに似たリブログという伝播性の高い仕組みが特徴で、かつては著作権的・性的に問題のある画像が次々と掲載されていることを問題視する声があったことでも知られています。 Twitterと並び立つテキスト・画像投稿サービスとして
東京都の人口が先月1日現在の推計で、初めて1400万人を超えました。新型コロナウイルスの感染が拡大していた4月も就職や進学などの転入があり、人口の東京一極集中が続いています。 合わせると、前の月よりおよそ2万人増えて1400万2973人となり、初めて1400万人を超えました。 新型コロナウイルスの感染が拡大していた4月に、就職や進学などで他の道府県から転入した人が転出した人よりも上回るなどしたためです。 前の年の同じ時期と比べても8万人余り増加していて、人口の東京一極集中が続いています。 東京都の人口は、昭和37年に1000万人の大台を超え、昭和42年に1100万人に達して以降、およそ30年間は横ばいで推移していました。 その後、バブル経済崩壊後の平成9年から再び増加に転じ、平成12年に1200万人を突破し、その後20年かけて1400万人に達したことになります。 都の担当者は「バブル経済の
はじめに @dora_e_m さんのエントリがあまりに素敵だったので、僕も感化された "割り込みタスク × マネージャー" のネタを書くことにしました。 note.com このエントリでは、エンジニアとデザイナーのマネージャーをしている筆者が、メンバーから「割り込みタスクが多くて困っているんですがどうしたらよいでしょう」と相談されたときにするアドバイスをまとめました。ちなみに全て実際に体験したことです。 ※必ずしもこれら2職種でしか適用できない内容ではないですが、発想・解決のしかたが開発に依るところが大きいです。 なお、アドバイスの内容は個人でできるライトなものからタスクの依頼主に働きかけが必要なヘビーなものまであり、実際にアドバイスする順に並べるとこのようになります。 [個人] 割り込みタスクの優先度を過剰に高くしすぎていませんか [個人] 割り込みタスクにかけている時間はどれくらいです
排他制御の基礎の基礎
はじめに システムに存在するリソースには同時にアクセスしてはいけないものが多々あります。身近な例を挙げると、Ubuntuのパッケージ管理システムのデータベースがあります。aptコマンドの動作によってこのデータベースは更新されるのですが、同時に2つ以上のaptが動作できたとすると、データベースが破壊されてシステムが危機的状況に陥ります。 このような問題を避けるために、あるリソースに同時に1つの処理しかアクセスできなくする排他制御というしくみがあります。排他制御はOSが提供する重要な機能の一つです。 排他制御が必要なケース 排他制御は直感的ではなく非常に理解が難しいのですが、ここでは比較的理解が簡単なファイルロックというしくみを使って説明します。説明には、あるファイルの中身を読みだして、その中に書いてある数字に1を加えて終了するincというという単純なプログラムを使います。
W3C、中央集権的な管理を不要にする「Decentralized Identifiers (DIDs)」（分散型識別子）の仕様が勧告に到達
W3C、中央集権的な管理を不要にする「Decentralized Identifiers (DIDs)」（分散型識別子）の仕様が勧告に到達 World Wide Web Consortium (W3C)は、「Decentralized Identifiers (DIDs) 」（分散型識別子）バージョン1.0（以下、W3C DID）の仕様が勧告に到達したと発表しました。 W3C press release: "Decentralized Identifiers (DIDs) v1.0 becomes a W3C Recommendation" "This new type of verifiable identifier... will enable both individuals and organizations to take greater control of their onl
自作RDBMSやろうぜ!（Zenn出張版）
Disclamer 本記事は自作DBMSやろうぜ！ のページの 22/05/27 JST 22:38 の時点での内容をZenn記事向けに修正して作成したものです 元コンテンツのライセンスについては以下をご参照ください LICENCE 元コンテンツの方は更新が継続されていますので、よろしければそちらもご覧ください この記事の目的 RDBMS（いわゆるリレーショナルデータベース）というものはプログラミング言語の処理系や、OSなどと同様に、世の中で広く使われているソフトウェアであるにも関わらず、いざ自作してみようと思うと日本語で記述されている必要な情報・情報源がまとまったサイトやブログ記事がないことに気づきました そこで、叩き台として、筆者および数名のコミッタで開発している自作RDBMSである SamehadaDB が軌道に乗るまでの経験をベースに、自作RDBMSに関する情報をある程度整理して書
本連載は分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っていきます。第1回はMisskey、ひいては分散型SNSの簡単な紹介とその内部実装の概略を説明します。 はじめまして！ はじめまして、Misskey（みすきー）のプロジェクトリーダーをしている、しゅいろ（@syuilo）です！ この度連載の機会をいただきましたので、ちょっと仰々しい気もしますが「Misskey & Webテクノロジー最前線」と題して、今後Misskeyやそれに関わる最新のWeb技術について解説をしていく予定です。 今回はMisskey、ひいては分散型SNSの簡単な紹介とその内部実装の概略を説明します。 対象読者は、後半の実装解説の部分においてはある程度のWeb開発の知識がある人を想定しています。 Misskeyとは、そして分散型とは Misskeyは、オープン
このたびエックスサーバー株式会社は、 分散型SNSのオープンソースソフトウェア(OSS) 「Misskey」の開発を支援することとなりました。 開発環境の提供や開発資金の援助を通じて、「Misskey」の開発・運営をサポートし、 弊社運営のVPSサービス『Xserver VPS』のインフラサービスとしての、利便性の向上へも取り組んでまいります。 ---------------------------------------------------------------------- ■開発支援の目的 エックスサーバー株式会社は、日本のインターネットの未来を支えることを理念に掲げ、 国内シェアNo.1（※1）のレンタルサーバーサービス『エックスサーバー』をはじめとした、 インターネットサービスを展開してまいりました。 「Misskey」は、「X（旧Twitter）」に替わるSNSとして昨今
理解して拡げる分散システムの基礎知識
20200725の #JTF2020 セッションスライド。 （資料内で説明した資料へのリンク） ・昨年のJTF発表資料 https://speakerdeck.com/tzkoba/cloud-nativekai-fa-zhe-falsetamefalsedatabase-with-kuber…
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
秒間 10,000 リクエストを "簡単に"いなすゲームサーバーを Laravel で作る設計
1秒間に PHP が受信する HTTP リクエストが最大 10,000 回以上——— そんな世界が存在します。その一つが 「ソーシャルゲーム」 です。メンテナンスが明けた瞬間、イベントが始まった・終わる瞬間、様々なタイミングでゲームサーバーは瞬間的に高負荷になります。もちろん、サービスをリリースし P…
モノリスの分解において、マイクロサービスは必然ではない - QCon LondonにおけるSam Newman氏の講演より
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
ネットワークに基づく分散型+中央集権SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...) - Qiita
ネットワークに基づく分散型+中央集権SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...)mastodonmisskeythreadsnostrBluesky はじめに Twitterの動乱に巻き込まれ、移住先に選ばれつつある Threads が5日で1億人を突破した今日このごろ、皆様いかがお過ごしでしょうか。 Alt Twitterとしての各種サービスに注目が集まりつつありますが、それらに関しての解説記事も乱立しており、一方で、その正確性や内容には必ずしも正確ではないものもあります。 プロトコルとアプリとサービスの区別がついていなかったり、相互接続できないものが接続できると宣伝されていたり、その逆もあります。 本記事では、特にネットワークに基づいて、各種SNSを分類して説
お久しぶりです、かとじゅん(@j5ik2o)です。テックブログを書くのは何年ぶりか…。 サービスが停止したり応答性が低下すると、お叱りや逆に励ましをいただきますが、エンジニアとして設計レベルからそういった問題に対処するにはどうするか、日々精進しているところですmm。この記事はそういう論点で注目されている「リアクティブ原則」についてまとめてみたいと思います。 それなりのボリュームになってしまったので、時間があるときに読んでいただければと思います。 さて、Linux Foundation内の新たなトップレベルプロジェクトであるReactive Foundationが主催する、Reactive Summit 2020が11月10日にオンラインで開催されたので参加しました。 www.reactivesummit.org 参加されていたスピーカーはLightbendをはじめ、Netflix, Fac
RDBの限界とNoSQLの登場
事実世界のインターネット人口が増えたのは1990年代からだ。 [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h10/html/98wp2-3-1f.html [引用] http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc144210.html __NoSQL__の登場 1990年に入るとインターネットの利用人口が急激に増加することになる。 この頃からトランザクションに最適化されて設計されたDBでは性能劣化が始まり、システムはデータベースに対しスケール性能を必要とし始める。 多くの開発者は、単一の強力なサーバーでリレーショナル・データベースを実行するのではなく、リレーショナル・データベース管理システム (RDBMS) のパーティショニング (シャー
日本はキャッシュレス化が遅いと言われるが、地震があるたびに『そら中々ならんよ…』となる→キャッシュレス化が進んでいる国にも事情が
ミィミル @Fontaine_XVIII @STEALBER @okmtsn115 銀行があると強盗に襲われるから警備のコストも考えて銀行は必要最低限にしてるとか、通貨流通させるには安全に通行できる道路の整備が必要だけどそんなお金無いから僻地は問答無用でキャッシュレス、とかもありますね… 2021-02-14 12:58:46 酔いどれずんだもんの経済談義 @Raptority そりゃ電子マネーやキャッシュレスは物理的に停電やネット回線が駄目になったりしたら使えないってデメリットがあるからな。 キャッシュレスが進んだ国というのも偽札があまりにも出回りすぎて現金が信用できないって事情があったりもするから現金とどっちが優れてるかは状況次第だわな。 twitter.com/okmtsn115/stat… 2021-02-14 18:07:41
CockroachDB はどのくらい「しぶとい」のか？ / How tough is CockroachDB?
CockroachDB はどのくらい「しぶとい」のか？ / How tough is CockroachDB?
Nostr. Nostrという新しい分散型のソーシャルプロトコルを試してみています。 | by Fumi | Feb, 2023 | Medium
Nostrという新しい分散型のソーシャルプロトコルを試してみています。 私の公開鍵 はこちらです。 npub1zkquutx5q7c3f8pv5ad2wgszrwxkmnmj9769dxf7r3uvnf92mn0sas5dnh NostrとはNotes and Other Stuff Transmitted by Relays、略してNOSTR。 こちらがGitHub。 The simplest open protocol that is able to create a censorship-resistant global “social” network once and for all. It doesn’t rely on any trusted central server, hence it is resilient; it is based on cryptographic
Kubernetesの主要なリソースの一つにServiceリソースがあります。ServiceリソースとはKubernetes上のPodへクラスタの外からアクセスするために使うもの、という理解をしている人が多いかもしれません。確かにそのような役割を担っているのですが、実際にはクラスタ内部に閉じた通信にも利用されていますし、実はもっといろいろな機能を持っています。 端的に説明すれば、Serviceとは「ロードバランサとDNSサーバを設定するためのリソース」です。意外に聞こえますか？ もし意外に思えたなら、ぜひこのまま読み進めてみてください。 インターナルなロードバランサを制御する Kubernetesにはクラスタ内部に閉じた通信を制御するロードバランサが内蔵されています。Kubernetesを利用するということは、ほぼ例外なくこのロードバランサを利用しているのですが、あまり意識せずに利用されて
2021/6/11 #InfraStudy 2nd Season
［速報］「Amazon Aurora DSQL」プレビュー公開、事実上無限にスケールする高性能なPostgreSQL互換の大規模分散データベース
Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高いスケーラビリティ、複数のリージョンによる冗長構成による高可用性の両方を実現するだけでなく、分散データベースにおいてトランザクション処理による強い一貫性を実現する際の弱点とされていたレイテンシの大きさを克服し、小さなレイテンシによる高速性も兼ね備えたPostgreSQL互換のデータベースだと説明されています。 分散データベースの弱点はレイテンシの増大 一般に分散データベースは、複数のデータベースのノードが分散してリ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Nostrという、SNSのようなものはご存知でしょうか？ ご存知でなければ、ぜひまず一度触ってみることをお勧めします。 割と普通にSNSっぽく使えます。 分散系SNSっぽいシステム Nostrは、分散系のSNSっぽいネットワークです。 図で表すとこんな感じ。普通に想像するWebサービスとは随分形が違うと思います。 各所のリレーサーバーに、ユーザーは投稿をばらまき、ユーザーがそれを見る形です。 分散の責任がユーザー(クライアント)側にあって、リレーサーバーが落ちたり消えたりしても影響が起きにくい仕組みです。 より詳しい説明は上記
分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要
分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要 WebAssemblyランタイム「Wasmer」の開発元であるWasmer社は、エッジロケーション上のデータセンターにWebAssemblyランタイムを展開し、分散モノリスなアーキテクチャを用いたサーバレス型の新しいアプリケーションプラットフォーム「Wasmer Edge」を発表しました。 The Cloud is dead, long live the Cloud! Announcing Wasmer Edgehttps://t.co/VjGsbMwopy pic.twitter.com/5mTtKBBjsZ — Wasmer (@wasmerio) June 15, 2023 上記のツイートに示されているように、Wasmer E
複数のプログラムを順番に処理していく同期処理システムでは、どこかひとつの処理に時間がかかると後続の処理がまるごと遅れてしまいます。そんな同期処理に対し、ある処理の完了を待たずに次の処理を実行できるのが非同期処理。重たい処理によるボトルネックを回避できるため、ウェブサイトの応答速度改善などに役立てられています。クラウドストレージサービスのDropboxで開発が進められていた大規模な非同期処理フレームワークについて、同社のエンジニアであるArun Sai Krishnan氏が解説を行っています。 How we designed Dropbox’s ATF - an async task framework - Dropbox https://dropbox.tech/infrastructure/asynchronous-task-scheduling-at-dropbox これまでDropb
Scale-Out Delivery Platform→Complexity is inevitable. Tame it and gain your competitive advantage.
ここがつらいよ分散SQLデータベース Yoshitaka Koitabashi Sr. Solution Architect PingCAP株式会社 ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_e 自己紹介 ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_e Yoshitaka KOITABASHI PingCAP株式会社 Sr. Solution Architect 💙 Database / Serverless / Container ● PingCAPとは？ ● 分散型SQLデータベース ● TiDBの裏側 (アーキテクチャ/MVCC/分散トランザクション/Raft/ etc...) ● 実際の運用現場で直面する課題 ハッシュタグ：#jawsdays2025 #jawsug #jawsdays2025_
JJUG ナイトセミナー 2025/1 発表資料」
6/30のOffice365勉強会のEntra Verified ID特集の資料です。 分散型ID、Entra Verified IDの解説をしています。Read less
マイクロソフト、オープンソースの分散アプリケーションランタイム「Dapr 1.0」リリース。Kubernetes対応、サービス間メッセージング、ステート管理など提供
マイクロソフト、オープンソースの分散アプリケーションランタイム「Dapr 1.0」リリース。Kubernetes対応、サービス間メッセージング、ステート管理など提供 マイクロソフトは、オープンソースの分散アプリケーションランタイム「Dapr 1.0」のリリースを発表しました。 We are excited to announce the release of Dapr v1.0! Yes, production ready Dapr is finally here! Get all the details @ https://t.co/hPk8i38iHi This wouldn't have been possible without the amazing Dapr community. Thank you for all the hard work!pic.twitter.com/6
今日から分散トレーシングに対応しないといけなくなった人のための opentelemetry-go 入門 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。SRE/データストアチーム の飯塚です。 私たちのチームではデータベースを代理で操作したり情報を取得したりするサービスをいくつか作り、それをプロダクトチームが利用できるように gRPC 経由で提供しています。ところで、ある日突然「分散トレーシングを活用していくことになったので、あなたのチームのサービスも対応させてください」とお願いされたらどうすればよいでしょうか？私はこれまでにいろいろなカンファレンスで分散トレーシングや OpenTelemetry についての講演を聞いていたので、理念は理解した、便利そうだ、導入してみたい、と思ったことは何度かありました。しかし実際に導入しようとして SDK のドキュメントを開いてみると、理解しなければいけない（ように見える）概念や、使い方をマスターしないといけない（ように見える）API の数に圧倒されてしまい、後回しにしてしまっていました。
高性能分散SQLエンジン「Trino」最速ガイド - NTT Communications Engineers' Blog
こんにちは。なんの因果かNTTコミュニケーションズのエバンジェリストをやっている西塚です。 この記事は、NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープンソースソフトウェア)の1つです。 SQL-on-Anything: Hadoopだけでなく従来のRDBMS(リレーショナルデータベース)やNoSQLまで、標準SQL(ANSI SQL)に準拠したアクセスをワンストップに提供 並列処理でビッグデータに対して容易にスケールアップ しかも高速(hiveの数十倍) Netflix, LinkedIn, Salesforce, Shopif
By reading this, you are a participant of the web. It's amazing that we can write this blog and have it appear to you without operating a server or writing a line of code. In general, the web of today empowers us to participate more than we could at any point in the past. Last year, we mentioned the next phase of the Internet would be always on, always secure, always private. Today, we dig into a
［速報］分散PostgreSQLをAzure Cosmos DBが提供開始、オープンソースの分散DBエンジン「Citus」を採用。Ignite 2022
［速報］分散PostgreSQLをAzure Cosmos DBが提供開始、オープンソースの分散DBエンジン「Citus」を採用。Ignite 2022 マイクロソフトは現在開催中のイベント「Microsoft Ignite 2022」で、グローバル規模の分散NoSQLデータベース「Azure Cosmos DB」でPostgreSQLをサポートする「Azure Cosmos DB for PostgreSQL」を発表しました。 Cosmos DBはデータを自動的にユーザーの近くのリージョンにレプリケーションすることで、どのユーザーに対しても高速なデータベースアクセスを実現し、かつグローバルな規模で稼働する大規模分散NoSQLデータベースです。 最大で数ペタバイトのデータ容量と秒間数百万トランザクションまでスケールする性能をカバーできる点を特徴としています。 Azure Cosmos DB
分散システムにおける一貫した時刻の取り扱いの課題と解決策 - Spanner TiDB CockroachDBに学ぶ - hacomono TECH BLOG
この記事は hacomono advent calendar 2024 の18日目の記事です 今年9月にhacomonoにJOINし、基盤本部というところで今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。分散システムが好きです。 hacomonoも昨今のWebサービスの例にもれず、分散システム化しています。 そしてより高い可用性と低い運用コストを目指して新たなアーキテクチャの検討をしています。 今回はその取り組みのなかで、分散システムに関わる難しさというテーマで一貫した時刻の取り扱いの話で記事を書きます。 はじめに 昨今のWebをはじめとしたサービスは一つのサーバーで完結することが少なくなりました。 一つのアプリケーションを複数のサーバーやコンテナで、そして異なるサービスのシステムを組み合わせて「分散システム」として構築されています。 それは可用性や負荷分
TL;DR 正しく設計するとキャパシティは常にカツカツになる これはpyspaアドベントカレンダーの8日目の記事です。前日はShibukawaさんです。 世はクラウド時代、ソフトウェアはひとたび作られたら何億回実行されても摩耗するものではないので、どんな間抜けなロジックであろうと動く以上は別のどこかで瑕疵が出てくるまで使い倒されるのは日常茶飯事である。 サービスを負荷の前提の上に定義する クラウドより前の時代においてサービスを支えるマシンは「ロードアベレージが1.0を超えてなければとりあえずOK、超えたらマシンを増やして負荷を分散する」というノリのベストプラクティスがよく言われていたがそれはサーバ資源の確保にそれなりに時間がかかる時代の常識であって、クラウド時代でサーバは分単位で確保できるようになった。 クラウドの利点としてその即時的なスケーラビリティが常套句として使われて久しいが、これは
Amazon Entertainment
We create and provide access to world-class entertainment through Amazon Originals, Prime Video, Audible, Amazon Games, Twitch, Amazon Music, Prime Gaming, and more. Amazon’s digital entertainment products enable customers to access the latest apps and games, stream or download movies, TV shows, and music, and gives customers the ability to access their own files anywhere in the world.
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
東京の人口 初めて1400万人超える コロナ禍でも一極集中続く | NHKニュース
「割り込みタスクが多くて困ってます」と相談を受けたらマネージャーはどうするか - るさんちまん
分散型金融システムのトラストチェーンにおける 技術リスクに関する研究 研究結果報告書
無料の分散型フォルダー同期ツール「Syncthing」v1.15.0が公開／不正なリレープロトコルメッセージを送るとクラッシュする脆弱性を修正
分散型SNS「Misskey」、それを支える技術スタック | gihyo.jp
分散型SNS「Misskey」への開発支援に関するお知らせ
リアクティブは難しいが役に立つ - kubell Creator's Note
あなたの知らないKubernetesのServiceの仕組み | IIJ Engineers Blog
Cloud Native時代のデータベース
ハッカーのおもちゃとしてのNostrのススメ - Qiita
Dropboxが新開発した「非同期処理フレームワーク」はどのように構築されているのか？
Goodbye to sequential integers, hello UUIDv7!
ここがつらいよ分散型SQLデータベース.pptx
分散型アーキテクチャとドメイン駆動設計
今なら間に合う分散型IDとEntra Verified ID
Web3 — A vision for a decentralized web
正しいクラウドはある意味で遅い - Software Transactional Memo
大規模モデルを支える分散並列学習のしくみ Part1
www.bloghalt.com
jinacoin.ne.jp
cactus567.hatenablog.com
kakuyomu.jp
www.google.com
anond.hatelabo.jp