タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
今回はGoで書かれたオブジェクトストレージサーバーであるMinIOを使用する方法を紹介します。 オブジェクトストレージサービスとMinIO オブジェクトストレージという名称を聞くようになって久しいですが、あまり身近でないというケースも多いでしょう。一方オブジェクトストレージを提供するサービスは確実に増加していて、最近ではWasabiが国内でもサービス開始しています。非常に安価なのが特徴で、1TBまでであれば月834円というのはなかなかに魅力的です。また「さくらのクラウド」でもオブジェクトストレージの提供を再開するとのことです。 オブジェクトストレージは従来のストレージとは考え方が違うので、手元に検証環境を作りたい、あわよくばそのまま本運用をしたいと考えるかもしれません。そのような場合には、まずMinIOを使用してみるといいでしょう。 MinIOはオープンソースでマルチプラットフォームなオブ
今回は第655回で紹介したオブジェクトストレージサーバー、MinIOのクライアントとして使用できるソフトウェアを3つ紹介します。 MinIOのクライアント 第655回で述べたとおり、MinIOはオブジェクトストレージサーバーで、Amazon S3互換APIを採用しています。ということは、さまざまなS3互換APIに対応したソフトウェアが使用できるということです。もちろん世の中に数多あるS3互換API対応ソフトウェアをすべて紹介することはできないので、今回は3つだけ紹介します。 そのうちの一つはもちろんMinIOクライアントです。ローカルにある指定したフォルダーの中身をMinIOに同期する用途とします。 また、MinIOのバケットを直接マウントするためにs3fs-fuseを取り上げます。その名のとおりFUSEを使用していますが、GVfsでは対応しないため、別途インストールが必要です。 最後はD
Try the Erasure Code Calculator to configure your usable capacity Try Now MinIO is the creator of MinIO Object Storage, an open source object storage platform. We strongly believe in keeping our software open source - the best quality software is made with community collaboration, so people are free to innovate and improve. Open source licenses are essential to ensuring people know where their sof
概要 ローカルでS3が使えるように環境を作る。 アプリなどから画像をS3に登録してサイト側で閲覧できるようにしたい。 お知らせ minIOのバージョンがアップされています。 この記事のminIOは１つ前のもの (RELEASE.2021-06-17T00-10-46Z) です。 ※ 最新のminIOの場合、異なる部分があると思うのでご注意ください ├ docker │ └ minio │ ├ config ... minio設定 (git管理対象外) │ ├ data ... minioデータ (git管理対象外) │ ├ export │ │ └ static ... 起動時に取り込むファイル │ │ ├ 150x150.png │ │ └ 640x480.png │ └ policies │ └ buckets │ └ static │ └ policy.json ... static
MinIO情報 MinIOとは 主な特徴 類似プロダクト 動作環境 MinIOのライセンス 製品ダウンロード 参考情報 オープンソース年間サポートサービス MinIOとは MinIOは、Go言語で実装されたAmazon S3クラウド・ストレージ・サービスと互換性のあるオブジェクト・ストレージ・サーバーです。Anand Babu Periasamy氏、Garima Kapoor氏、Harshavardhana氏により2014年に設立されたMinIO, Inc.によって、主な開発が行われています。 MinIOは、写真や動画、ログファイル、バックアップ、コンテナ、VMイメージなどの非構造化データを格納するのに最適です。1つのオブジェクトサイズとしては、数KBのものから最大5TBまで対応します。MinIOサーバーは非常に軽量なので、Node.jsやRedis、MySQLなどと同様にアプリケーション
はじめに minioはs3互換のオブジェクトストレージサーバです。 GitHub - minio/minio: MinIO is an open source object storage server compatible with Amazon S3 APIs 開発環境等でs3の代替として導入されている現場もあるのではないでしょうか。 localstackを使うパターンもあるかと思いますが、シンプルにs3の機能が欲しいだけの時はminioのほうが軽くて必要十分な場合が多いかなと思います。 今回はdocker-composeで起動する開発環境にminioを組み込もうとした際に少し悩んだことがあったので、自分なりの対処方法を書いてみます。 課題 Dockerネットワーク内で取得した署名付きURLに、Dockerネットワーク外から接続できない。 環境の説明 こんな感じで署名付きURLを利用す
概要 ローカルの開発環境でS3と同じような環境を用意する方法をご紹介します。 (2022-10-12 更新版) 成果物 GitHub 環境 maxOS Monterey 12.6 Docker version 20.10.17 Docker Compose version v2.10.2 構成 . ├── docker │ └── minio │ └── data │ └── develop │ └── .gitignore ├── .gitignore └── docker-compose.yml 手順 1. docker-compose.yml作成 シンプルにminioコンテナのみ用意しています。 MinIOは頻繁にバージョン更新され、場合によっては正常に動作しなくなるのでバージョンを投稿時の最新版に固定しています。 version: '3.9' services: m
[MinIO]boto3で操作可能なS3互換ストレージをローカル上にDocker Composeで立てる方法 | DevelopersIO
t_o_dと申します。 AWSを利用しているとS3に格納しているデータをPython(boto3)で読み取り処理を行うケースは多いです。 非常に便利な反面、お金や権限の問題で開発時の気軽な実行は躊躇ってしまいます。 今回はboto3で操作可能なS3互換ストレージであるMinIOをローカル上にDocker Composeで立てる方法を記録いたします。 はじめに 本記事では以下を行います。 MinIO環境の構築 MinIOクライアント(mc)環境の構築 boto3での動作確認 なおMinIOやMinIOクライアントの詳細な操作方法等は割愛いたします。 環境 mac OS Monterey 12.6 Docker 20.10.14 Docker Compose 2.4.1 Python 3.10.8 手順 MinIO環境の構築 まずファイル群を入れるためのディレクトリを任意で作成します。 mkd
![[MinIO]boto3で操作可能なS3互換ストレージをローカル上にDocker Composeで立てる方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ffeec3819e865215ed9b2517d2bd179374a79716/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F07%2Fdocker_2.png)
おことわり 本記事では MinIO の概要については触れないこととします。 筆者の環境 Windows 10 (WSL2) Docker: 20.10.7, build f0df350 Minio: RELEASE.2021-07-08T01-15-01Z （バージョンアップ前の MinIO のバージョンを控えておくべきでしたが失念してました・・・） コンソールへのエンドポイントが別に用意されるようになった 昨年 Docker Compose で MinIO を使い始めたが、先日 PC を買い替えて新規に環境構築した際、コンソールにアクセスできなくなっていた。ログを見ると、下記のようなメッセージが出ていた。 minio_1 | API: http://172.18.0.2:9000 http://127.0.0.1:9000 minio_1 | minio_1 | Console: htt
公開日 2021.10.17更新日 2021.11.10カテゴリ：Laravelタグ：Laravel,Flysystem,MinIO
Docker Composeで立てたMinIOにmc/AWS CLI/Boto3で接続してみる - Qiita
MinIOとは Amazon S3と互換性のあるOSSのオブジェクトストレージ 2014年に設立されたMinIO, Inc.によって開発されている Amazon S3と互換性があるため、AWS CLIやAWS SDKからアクセス可能 ただしAmazon S3が提供している全てのインタフェースをMinIOが提供しているわけではないため注意 GitHubリポジトリ: https://github.com/minio/minio Docker Composeの設定 services: minio: # イメージは現時点で最新のものを指定している image: quay.io/minio/minio:RELEASE.2023-01-12T02-06-16Z container_name: minio ports: - 9000:9000 - 9001:9001 # ユーザ名/パスワードの設定 #
Docker ComposeでminIO + expressで簡易画像表示APIを作成する - Qiita
やること アップロードした画像をS3に保存し、CloudFrontで画像を配信するシステムをローカル環境で再現します。 背景 minIOの画像をパブリックアクセスで表示しようとすると、認証処理が煩雑?というかできなさそう？だったので、いっそのことその処理は軽量なwebサーバのexpressに任せてしまおうというお話です。 ハマった点 minIOのS3エンドポイントを指定するときに、パス形式にしないとアクセスエラーとなってしまいます。 ただし、amazon S3自体はパス形式URLの非推奨となる予定なので、注意が必要です。 仮想ホスティング形式
MinIO は Amazon S3 互換のオブジェクトストレージを提供する OSS のひとつ。 たとえばオンプレ環境でオブジェクトストレージを構築したいときや、手元で S3 を扱うアプリケーションの動作確認をするときなんかに使える。 今回はそんな MinIO を AWS CLI と Python クライアントの boto3 から使ってみる。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.4 BuildVersion: 20F71 $ minio -v minio version RELEASE.2021-05-26T00-22-46Z $ python -V Python 3.9.5 $ aws --version aws-cli/2.2.6 Python/3.9.5 Darwin/20.5.0 source/x8
GitHub - minio/simdjson-go: Golang port of simdjson: parsing gigabytes of JSON per second
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
I have 15 years of consulting & hands-on build experience with clients in the UK, USA, Sweden, Ireland & Germany. Past clients include Bank of America Merrill Lynch, Blackberry, Bloomberg, British Telecom, Ford, Google, ITV, LeoVegas, News UK, Pizza Hut, Royal Mail, T-Mobile, Williams Formula 1, Wise & UBS. I hold both a Canadian and a British passport. My CV, Twitter & LinkedIn. In 2006, AWS laun
TL; DR URLは http://{miniohost}:9000/{bucketname}/{key} のような形式 BucketPolicyで読み取り権限を与える 手順 URLフォーマット URLは http://{miniohost}:9000/{bucketname}/{key} のような形式。minioのUI画面のURLとは異なる。 以下に記載があった。 https://github.com/minio/minio/issues/5180 読み取り権限 S3 バケットのオブジェクトにパブリック読み取りアクセス許可を付与する https://aws.amazon.com/jp/premiumsupport/knowledge-center/read-access-objects-s3-bucket/ AWS公式ドキュメントに記載があるようにS3だと4つの方式がある Amazon
本番環境のファイルストレージにS3を利用しているプロジェクトで、ローカルでの開発環境としてS3互換のファイルストレージであるminioを利用しています。 今回の記事では、minioのデフォルトの設定を変更しvirtual-hosted styleで接続する方法を解説します。 背景 前提として、S3オブジェクトのリクエスト方法は path-style と virtual-hosted style の二つがあります。 path-style: https://s3.amazonaws.com/my-bucket/my-file.jpg virtual-hosted style: https://my-bucket.s3.amazonaws.com/my-file.jpg このうちpath-styleはdeprecatedであり、削除予定となっています。詳細についてはこちらをご覧ください。 そして
Glue + Athenaのローカル開発環境をOSSで構築（MinIO + Trino + HIVE） | moritalous blog
この環境をDocker Composeを使い構築します。 環境構築MinIOまずはS3を置き換えるMinIOからです。 ポイントは path-styleではなくvirtual-hosted styleを使用するため、MINIO_DOMAIN環境変数をセット他のコンテナから[バケット名].minioで名前解決できるようにhostnameを指定path-styleとvirtual-hosted styleの違いはこちらを参照ください。 version: '3' services: minio: image: quay.io/minio/minio hostname: bucket001.minio restart: always volumes: - ./minio/data:/data environment: - MINIO_DOMAIN=minio command: ["server
200年〜2005年の間にCalifornia Digital Corporationに在籍し、スーパーコンピューター「Thunder」の開発に携わる。2005年にはペタスケール対応のオープンソースの分散ファイルシステムを提供する Glusterを創業しCTOに。2011年に同社はRed Hatに買収され、2014年にRed Hatを離れた後にMinIOを創業する。自社の事業の傍ら、Treasure DataやHumio、Helpshift、Procurify、Postman、YugaByteなどさまざまなテック企業の投資家・アドバイザーとしても活躍している。 「前職では、分散ファイルシステムに力を入れていました。データの爆発的増加に悩む人たちが多くなっていたのです。オープンソースのおかげで大規模なコンピューターインフラを構築できるようになっていますが、データ領域はそれほどオープンではあり
はじめに プライベートでの共同開発において、「開発環境と本番環境の差異をできるだけ少なくしたい」という思いからローカルで動かせるS3互換ストレージを調べていました。業務でfake-s3というサービスを使用したことがありますが、MinIOというサービスも現場で使われている例を発見したのでそちらを導入してみました。 MinIOについて MinIOとはAWS S3互換のオブジェクトストレージのことです。 特徴 ローカルに仮想的な S3 環境を構築できる ローカルの仮想環境なので不用意にAPIを叩いてもお金も掛からない シナリオ 簡単なアプリを作成した後、MinIOを導入し、投稿した画像がMinIOに格納されるかを確認してみます。 1. アプリの土台を作成する 以下の機能をもつ簡易的なブログアプリを作成する。 記事一覧機能 記事詳細機能 記事投稿機能 動作確認 MinIOを用いない状態で画像を投稿
networks: project-network: name: project-network // 中略 services: minio: image: quay.io/minio/minio container_name: minio ports: - 9000:9001 # php-fmpで9000ポートを使用している場合、9000番以外を指定 - 9001:9002 networks: - project-network environment: - MINIO_ROOT_USER=minio - MINIO_ROOT_PASSWORD=minio1234 entrypoint: sh command: -c "/opt/bin/minio server /export --address :9001 --console-address :9002" volumes: - ./d
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![【Security Hub修復手順】[Macie.2]Macie自動機密データ検出を有効にする必要があります | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad9624ef3c3eec726d644036ee7ce06f3a9792ac/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-e71a738589e583b65670923628e8b6f4%2F45568b9fd457506bd2f3d6fd304d4b6a%2Faws-security-hub)
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
第655回 オブジェクトストレージ、MinIOを使用する | gihyo.jp
第657回 オブジェクトストレージ、MinIOを使用する［クライアント編］ | gihyo.jp
Nutanix Objects Violates MinIO’s Open Source License
ローカルS3環境(minio)を構築する - Qiita
MinIO 最新情報 | OSSサポートのOpenStandia™【NRI】
Dockerネットワーク内のminioで署名付きURLを使う時のTIPS
docker-composeでMinIO(S3互換)環境簡単構築 - Qiita
MinIO のバージョンアップに伴い変更点があった - Qiita
MinIO を使ってローカルでの開発環境の外部ストレージを Amazon S3 からローカルのコンテナへ置き換える
S3 互換オブジェクトストレージの OSS - MinIO を試す - CUBE SUGAR CONTAINER
MinIO: A Bare Metal Drop-In for AWS S3
minioでobjectをpublic readする - Qiita
docker-composeで立ち上げているminioをvirtual-hosted styleで接続する
Amazon S3互換ストレージをあらゆる環境に展開可能 人気のオープンソースMinIO その哲学とは
【MinIO】RailsアプリケーションにS3互換ストレージ MinIO を導入してみる - Qiita
Laravel+Docker+minioでS3の実行環境をローカル環境に構築する - Qiita
burrn.online
caddi.tech
gigazine.net
www.j-cast.com
anond.hatelabo.jp
gigazine.net