グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる
大規模データストアでのメタデータ管理方式による違い・問題点 - syuu1228's blog
http://www.starpos.org/~hoshino/PukiWiki/index.php?plugin=attach&refer=Resources%2F2009&openfile=20090508-largescale-datastore-talk%40IIJ.pptxより Google: マスタサーバに集約 → bottleneck問題 Amazon: 全ノードに分散 → routing問題 一長一短だが，GFS/Bigtableが~10000ノードいけるのに対し， Dynamoはzero-hop-DHTだとせいぜい~1000ノードで，それ以上は階層化が必要Zerohopで~1000ノードなのはルーティングテーブルのメンテナンスコストの問題なのかな？
kikumotoのメモ帳
本記事は Qiita Dify Advent Calendar 2024 の 15日目の記事です。 前置き 会社で Dify Communitiy版（セルフホスト環境）を AWS で動かしています。 構成は Dify on AWS with CDK に限りなく近いですが Terraform で構築 ElastiCache Valkey を利用（Redis から移行しました） が大きな違いでしょうか。 あとは、社員限定アクセスとするため ALB で Google 認証いれてます。 と、こんな感じの環境で社内で活発に利用され始めました。 みなさんにどんどんアプリを作ってもらいたいので基本的に エディター 権限を付与しています。 そうすると、一部の部署から（若干）機密性のある資料をナレッジにいれて利用したいという要望がありました。 Dify上で、ナレッジへのアクセスはナレッジ単位で制御できる設定
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
