S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
先月発表されたgolang製オブジェクトストレージサーバー「minio」を簡単に使ってみる。 - Qiita
LinuxOS用 $ wget https://dl.minio.io:9000/updates/2015/Jun/linux-amd64/minio $ chmod +x minio $ ./minio mode memory limit 12GB expire 2h と、たったこれだけで9000番ポートでオブジェクトストレージが立ち上がります。 オブジェクトの保存方法として memory (メモリー保存) fs (ファイル保存) donut (分からないです、検索してもミニドーナッツ記事しか・・・) の三種類があります。 各動作モードについて mode memory 必須パラメータとして limit [memory量]を指定しましょう。 オプションとしてexpireもあるようです。 mode fs 必須パラメータとしてmode fsの後にファイルを保存するディレクトリを指定しましょう。
MinIO | S3 & Kubernetes Native Object Storage for AI
The Object Store for AI Data Infrastructure MinIO is a high-performance, S3 compatible object store. It is built for large scale AI/ML, data lake and database workloads. It is software-defined and runs on any cloud or on-premises infrastructure. MinIO is dual-licensed under open source GNU AGPL v3 and a commercial enterprise license.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
