[アップデート] Mountpoint for Amazon S3 が GA されました。 | DevelopersIO
αリリースとなっていた高スループットが求められる環境向けの AWS 製 S3 マウントツール「Mountpoint for Amazon S3」が一般公開されました。 こんにちは、AWS事業本部の平木です！ 少し前より、αリリースとして公開されていた Mountpoint for Amazon S3 が GA (一般公開)されたため執筆しました。 αリリース分のブログは下記をご覧ください。 Mountpoint for Amazon S3 とは Mountpoint for Amazon S3 は、Linux アプリケーションが直接 Amazon S3 バケットへのファイルベースでの接続を可能にするオープンソースのファイルクライアントです。 これにより、大規模な読み込み負荷のあるアプリケーション(例えばデータレイク、機械学習トレーニング、画像レンダリング、自動運転車シミュレーション、ETL
![[アップデート] Mountpoint for Amazon S3 が GA されました。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/26ddcbeeebba3c0b350413c7b63ddf812112d927/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-s3.png)
Docker Desktop 4.16登場 AWSをローカルエミュレーションする「LocalStack」など拡張機能が正式版に
この記事は新野淳一氏のブログ「Publickey」に掲載された「Docker Desktop 4.16登場。AWSをローカルエミュレーションするLocalStackなど拡張機能が正式版。AppleシリコンMacでx86/amd64版Linuxバイナリの実行がβ版に」（2023年1月16日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 WindowsやMac、Linuxなどのマシンに対して手軽にDockerコンテナ環境を導入し、GUIで統合管理できるDocker Desktopの最新版「Docker Desktop 4.16」が正式リリースされました。 拡張機能が登場、AWSをローカルエミュレーションするLocalStackなど Docker Desktop 4.16では、サードパーティーがDocker Desktopの機能拡張を行える「Docker Extensi
[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るか - Qiita
[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るかPythonPySimpleGUIChatGPT 目論見 エンジニアにとってAWSの知識はあればあるだけ良い。しかし既存の退屈な勉強法に興味が持てない。 なので、モチベーションが上がる仕組みを用意してみようと考えた。 ChatGPTとGUIを使用したら面倒くさい学習を簡単にゲーム化出来て、「やべえ、楽しい！」ってなりながら自動的に学べるんじゃないか という仮説が出てきたので、これを検証していくことにした。 アプリ画像(暫定版) 使用するライブラリ PySimpleGUI … 簡単にGUIを作成できる、tkinterのラッパー。 polars … データの前処理。pandasはもう古くなりそう。 pip install polars 問題の作成方法 ChatGPT4に作成させる。 ネ
![[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るか - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/16535f13418d3cc300f203d0745a7207f535ac12/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JUFFJTlGJUU5JUE4JTkzJTVEJTIwQ2hhdEdQVDQlRTMlODElQThQeVNpbXBsZUdVSSVFMyU4MSVBNyVFNSVBRCVBNiVFNyVCRiU5MiVFMyU4MSVBRSVFMyU4MiVCMiVFMyU4MyVCQyVFMyU4MyVBMCVFNSU4QyU5NiVFMyU4MiU5MiVFMyU4MSU5NyVFMyU4MSU5RiVFMyU4MiU4OSVFMyU4MCU4MUFXUyVFMyU4MSVBRSVFNyU5RiVBNSVFOCVBRCU5OCVFMyU4MiU5MiVFMyU4MSVBOSVFMyU4MSU5MyVFMyU4MSVCRSVFMyU4MSVBNyVFNyVCRiU5MiVFNSVCRSU5NyVFNSU4NyVCQSVFNiU5RCVBNSVFMyU4MiU4QiVFMyU4MSU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NTI2OWU3N2ZkMzg5ZTQ0MjY5NTM1NWY3ZTA1NWIxM2M%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrYWthcmk4ODg4JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03YjRmMzc1YmExM2RiNGQzNTY4ZDI4MjIwMzdmMjJkNQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D8f3fe8c5f2bf0949d3ae7324bce151c5)
AWS上でOpenShiftのマネージドサービス提供、「Red Hat OpenShift Service on AWS」正式リリース
AWS上でOpenShiftのマネージドサービス提供、「Red Hat OpenShift Service on AWS」正式リリース AWSとRed Hatは、AWS上でRed Hat OpenShiftをマネージドサービスとして提供する「Red Hat OpenShift Service on AWS」（ROSA）を正式リリースしたと発表しました。 #RedHat and @awscloud announce the general availability of Red Hat @OpenShift Service on AWS. Get the details on ROSA: https://t.co/oetQJANDhe. pic.twitter.com/p7ROkh0ZnI — Red Hat, Inc. (@RedHat) March 24, 2021 Red Hat Op
【導入の経緯】個人のパソコンに保存されている約1TBのデータ（写真や音楽、書類等）をクラウドでバックアップしたかった 【Backblazeの概要】 ・パソコン向けのデータのバックアップサービス ・定額（年3,210円～）で容量無制限 ・削除されて30日たったデータはバックアップからも削除される （※別料金で延長可能） ・オフラインの状態が長く続くとメールでお知らせが届く ・バックアップの対象はパソコン本体及び直接接続されているストレージ （ネットワーク接続のNASなどは対象外） ・システムファイル、一時ファイルなどはバックアップされない ・日本語対応（ただし、少し怪しい） ・バックアップされている内容はWEBで確認可能 ・復元する際、ネットワーク経由ではなくHDDで配達してもらうことが可能 ・Backblazeは大手IT企業ではないがHDDレポートなどで有名 【こんな人向け】 ・大量のデー
こんにちは。UZOUのプロダクト開発をしているエンジニアの@kanga333です。 UZOUでは広告データの集計の一部にAmazon Athenaを採用しています。 この記事ではUZOUにおけるAthenaを使ったデータ処理基盤の設計について紹介したいと思います。 全体構成 データ処理基盤の全体構成は次のようになっています。 以後はそれぞれのコンポーネントについて順次紹介していきます。 FleuntdによるS3への集約 UZOUでは特にFluentdアグリゲータのような中継サーバは設けていません。広告配信サーバに常駐するFluentdがログを直接S3にプットしています。 以下はFluentdのS3 output部分の設定の一部抜粋です。 <buffer time> @type file timekey 60m </buffer> path example_table/dt=%Y%m%d/h
AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 データアナリティクス – 専門知識(AWS Certified Data Analytics – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 データアナリティクス – 専門知識」と
クラウドネイティブアーキテクチャへの道のりシリーズ #6: コスト可視性の向上とコスト最適化のための再設計 | Amazon Web Services
Amazon Web Services ブログ クラウドネイティブアーキテクチャへの道のりシリーズ #6: コスト可視性の向上とコスト最適化のための再設計 このブログシリーズは、eコマース企業を例に、クラウドネイティブなアーキテクチャへの道のりにおいて課題となる点の解決について説明しています。第1回目から5回目までのブログでは、パフォーマンスや可用性、セキュリティ体制の改善に触れており、第6回目となるこのブログでは、その後にECプラットフォームのユーザー数が10倍以上に増加し、収益に対して運用コストが釣り合わなくなった状況を考えることとします。 これに対処するため、AWS の利用料をよりよく把握し、コスト削減を見極めるための計画を立てます。具体的には、コストの可視性を向上させ、コスト最適化のための再設計を行い、コスト管理対策を適用することで、イノベーションを促進しながら投資収益率を向上させ
Amazon S3 Glacier is the Best Place to Archive Your Data – Introducing the S3 Glacier Instant Retrieval Storage Class | Amazon Web Services
AWS News Blog Amazon S3 Glacier is the Best Place to Archive Your Data – Introducing the S3 Glacier Instant Retrieval Storage Class Today we are announcing the Amazon S3 Glacier Instant Retrieval storage class. This new archive storage class delivers the lowest cost storage for long-lived data that is rarely accessed and requires millisecond retrieval. We are also excited to announce that S3 Intel
AWS 認定 セキュリティ – 専門知識(AWS Certified Security – Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 セキュリティ – 専門知識(AWS Certified Security – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 セキュリティ – 専門知識」とは 「AWS 認定 セキュリ
AWS 認定 SysOps アドミニストレーター – アソシエイト(AWS Certified SysOps Administrator – Associate)の学習方法(新試験SOA-C02対策追記) - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SysOps アドミニストレーター – アソシエイト(AWS Certified SysOps Administrator – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 SysO
AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリューションアー
Amazon Web Services（AWS）で最もよく使うストレージといえば、オブジェクトストレージの「Amazon S3」（以下、S3）である。同サービスを利用して、AWS上にデータレイクを構築している企業も多い。今回はS3のコスト削減について取り上げる。 適切なストレージクラスを選択する S3には8つのストレージクラスがあり、格納したオブジェクト（ファイルとメタデータのセット）に対するアクセス頻度や格納するオブジェクトのサイズ、オブジェクトの取り出しにかかる時間、オブジェクトの保存期間などを考慮して、適切なストレージクラスを選択することでコストを下げられる。 例えばアクセス頻度が高いデータは、容量単価が高いがオブジェクトへのアクセス料金が安いストレージクラス「S3 Standard」に格納する。一方、保存が主目的でありほとんどアクセスがないデータは、容量単価が低いストレージクラス「
A Second Conversation with Werner Vogels – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up When I joined Amazon in 1998, the company had a single U.S.-based website selling only books and running a monolithic C application on five servers, a handful of Berkeley DBs for key/va
AWS S3 の料金をざっくり10GB単位で見る
保管料金 S3 にデータを保管した場合の料金です。 データバックアップなど、あまりアクセスせず容量の大きいデータの場合は、この料金が大きくなってきます。 ストレージクラスによって料金が変わってきますので、ストレージクラス毎に料金を紹介します。 ※以下の２つのストレージクラスは対象外にしています 「S3 Intelligent - Tiering」２つの階層を自動で行き来するもので、計算しにくいため。（運用では有効な場面はありますが、料金は出しにくい） 「S3 1 ゾーン - 低頻度アクセス」１アベイラビリティーゾーンのみに保管され、耐久性の観点であまり使うことがなさそうなため。 S3 標準 一番標準的なストレージクラス。 あらゆる用途に使えるが、最も料金が高い。 東京: 25円(10GBあたり) バージニア: 23円(10GBあたり) S3 標準 - 低頻度アクセス アクセス頻度は低いが、
Former2
Dashboard Search Setup Introduction Credentials Parameters Settings Outputs CloudFormation Terraform Troposphere CDK (V1) CDK (V2) CDK (Terraform) Pulumi Diagram Raw Output (Debug) Compute EC2 Lightsail Lambda Batch Elastic Beanstalk EC2 Image Builder App Runner Containers ECR ECS EKS Storage S3 EFS FSx Glacier Storage Gateway Backup Database RDS DynamoDB ElastiCache Neptune Redshift QLDB Document
1000コアを搭載、RISC-VベースのAIアクセラレーター：EsperantoがHot Chips 33で発表（1/2 ページ） 新興企業Esperantoは、これまで開発の詳細を明らかにしてこなかったが、2021年8月22～24日にオンラインで開催された「Hot Chips 33」において、業界最高性能を実現する商用RISC-Vチップとして、ハイパースケールデータセンター向けの1000コア搭載AI（人工知能）アクセラレーター「ET-SoC-1」を発表した。 「RISC-V」でハイエンドを 新興企業Esperantoは、これまで開発の詳細を明らかにしてこなかったが、2021年8月22～24日にオンラインで開催された「Hot Chips 33」において、業界最高性能を実現する商用RISC-Vチップとして、ハイパースケールデータセンター向けの1000コア搭載AI（人工知能）アクセラレーター「
こんにちは。CSIRT の吉山です。 私は2020年の4月にセキュリティエンジニアとして新卒入社し、現在は主にログ基盤（SIEM）の構築・運用やインシデント対応などの業務に取り組んでいます。 今回はそのログ基盤構築や運用、その他検証で得た知見などについて紹介します。 まず初めにログ基盤の技術的な概要についてここで簡単に触れておきます。 ちなみに基盤構築の背景などについては、以前に同じく CSIRTの松田が記事にしているのでこちらもぜひ一読いただければと思います！ buildersbox.corp-sansan.com 構成 ログの集め方 ログの取り込みスクリプト（es-loader） について ユーザーの管理と権限設定 アラーティング コスト 基盤の負荷 検証について 課題 最後に 構成 基盤は AWS 上で構築しており、Amazon OpenSearch Service (以下、Open
Celebrate 15 Years of Amazon S3 with ‘Pi Week’ Livestream Events | Amazon Web Services
AWS News Blog Celebrate 15 Years of Amazon S3 with ‘Pi Week’ Livestream Events I wrote the blog post that announced Amazon Simple Storage Service (Amazon S3) fifteen years ago today. In that post, I made it clear that the service was accessed via APIs and that it was targeted at developers, outlined a few key features, and shared pricing information. Developers found that post, started to write co
これまで数々のiPhoneカメラをレビューしてきたプロ写真家のオースティン・マンさんが、2020年10月23日に発売されたばかりの「iPhone 12 Pro」のカメラ性能をレビューしています。 iPhone 12 Pro Camera Review: Glacier — Austin Mann http://austinmann.com/trek/iphone-12-pro-camera-review-glacier マンさんはアメリカ・モンタナ州にあるグレイシャー国立公園で、明るく晴れた状態や、暗く雪に覆われた状態まで、さまざまな環境下でiPhone 12 Proのカメラテストを実施しています。 マンさんは、「iPhone 12 Proのアップグレードの多くはソフトウェアに依存していますが、iPhone 12 Pro Maxはソフトウェアとハードウェア両方のアップグレードがあります。今
エンジニアを生業にしている、くわブロ です。 麦茶や寝袋の話ばっかりしているので、本業のエンジニア関連の話も投稿したいなと思い、AWSクラウドの話をしてみます。 同じ記事を はてなブログ でも書いています。 AWSクラウドのサービス AWSクラウドで提供されるサービスは100個以上あります。 「このサービスってどんなサービスだっけ？」とパッと出てこないことや、 「〇〇サービスは、こうこうこういうサービスです。」と設計書でサービスの前提を説明したくなることもあるかと。 以下の記事を見て「なるほどなるほど」と思ったのですが、 Gigazine : AWSの膨大で複雑なサービス群をすべて「たった1行」で説明していくとこうなる でもやっぱり設計書や提案書に書くなら、公式サイトから引用したい。 そんな時に便利な機能を発見しました、それはマネジメントコンソールでサービス名を検索すると表示される「一言メ
グリーンランド南東部の氷河。航空宇宙局（NASA）アース・オブザバトリー提供（2016年9月2日撮影、2016年9月22日提供、資料写真）。(c)AFP PHOTO / JEREMY HARBECK/NASA GODDARD 【11月18日 AFP】グリーンランドの3大氷河は、これまでの海水温上昇予測の最悪の筋書きより速いペースで融解する恐れがあるとの研究論文が17日、英科学誌ネイチャー・コミュニケーションズ（Nature Communications）に発表された。これらの氷河は、海面を約1.3メートル上昇させるのに十分な量の氷水を有する。 2000年までの海面上昇の主な要因には、氷河の融解の他、海水温の上昇による海水の膨張があった。だが過去20年ではグリーンランドと南極（Antarctica）を覆う氷床が海面上昇の最大かつ単独の要因となった。 論文によると、デンマークと英国の研究チーム
こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、
S3 ストレージクラスの選択に迷った時みるチャートを作ってみた（2023年度版） | DevelopersIO
コーヒーが好きな emi です。 クラスメソッドメンバーズをご利用の方向けに AWS 初級ハンズオンセミナーを実施することになりました。 限られた時間で S3 のすべてのストレージクラスについてお話するのは難しいため、今回は 6つのS3ストレージクラスの選択に迷った時みるチャートをつくってみた ブログの 2023 年度版として、S3 ストレージクラスの比較表と S3 ストレージクラス選択チャートを作成しました。 re:Invent 2021 で発表された S3 Glacier Instant Retrieval、S3 Glacier から名称が変更された S3 Glacier Flexible Retrieval も含めた新しい比較表・チャートになっております。 S3 ストレージクラス比較表 基本的に以下の傾向があります。 アクセス頻度が高いストレージクラスになればなるほどストレージ料金が
マッターホルンの見える町 ツェルマットをあとにして… すまりんたちは スイスの最大の都市「チューリッヒ」へと向かいました🚈 これまでのお話⤵ その前に 駅の近くの可愛いパン屋さんに寄って お昼のパンを買いました Bäckerei Bistro Fuchs ベッケライ ビストロ フクス ユニークな人形に釘付けになりました👀 どれにしようかな… 美味しそうなのがいっぱいです 角っこに写っているのは 店頭のお人形のお顔ですね↗ ケーキも たくさん… 写真がないのですがピラミッド型のマッターホルンチョコが一押しのようでしたので お土産に購入しました さて 駅へとまいります 掲示板には あこがれの氷河急行 Glacier-Express グレイシャーエクスプレス の表示が… ※グレイシャーエクスプレスは「ツェルマット駅」から南東部の保養地「サンモリッツ駅」を結ぶ観光列車です✨ ぜんぜん方向が違
関連キーワード Amazon Web Services | Amazon S3 | ストレージ | クラウドサービス | 導入・運用のコスト感 Amazon Web Services（AWS）はストレージサービス「Amazon S3」の内容に変更を加えた。2021年12月、Amazon S3の「S3 Standard-Infrequent Access」「S3 One Zone-Infrequent Access」「Amazon S3 Glacier Flexible Retrieval」という3つのストレージクラス（メニュー）で、ストレージ料金を最大31％値下げ。データアーカイブサービスの「Amazon S3 Glacier」と、産業機器向けのデータサービス「AWS IoT SiteWise」には新しいストレージクラスを用意した。 ミリ秒単位でデータを取得 「Amazon S3 Glac
ストレージクラスの選択 基本的には「S3 スタンダード」で使用を開始します。 オブジェクトサイズ、オブジェクト数、リクエスト数を実測し、データコンプライアンスとコストに最も合致するクラスへ変更していきます。 例えば、Glacier は保存データあたりの料金はスタンダートに比べて安価ですが、リクエスト料金は高くなります。 ライフサイクル設定によって◯◯日後に Glacier へ移行を考えている場合は、Glacier リクエスト料金を払って移行したほうが、スタンダードを使い続けるより安くなることを計算することが大切です。 バージョニング バージョニングを使用すると、1 つのバケットで複数バージョンのオブジェクトを維持できます。 バージョニングを使用することで、意図しない上書きや削除からデータを保護します。 バージョンニングはデフォルト無効です。必要な場合は明示的に有効にします。 バージョニング
![[AWS Workshop] これから学ぶS3基礎 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e5ee85a70b0b6893eeca79750f0d06a94b8595/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
Amazon Web Services ブログ 研究現場で役立つAWSの無料トレーニングリソース AWSは多くのセルフラーニングのための教材やトレーニングを無料で提供しています。特に学生・教員向けにはAWS Educateとう学習プログラムがあるのですが、研究にも従事されている学生・教員の中には研究にすぐに役に立つスキルを効率よく学びたいというニーズがあるかと思います。 AWSは、費用対効果が高く、スケーラブルで安全なコンピューティングリソース、ストレージやデータベース機能などを提供することにより、研究者が複雑なワークロードを処理するのを支援し、科学者が成果に到達するまでの時間を短縮します。 例えば、複数の大規模を同時にすばやく分析し、ペタバイト規模のデータを保存し、その結果を世界中の共同研究者と共有することができます。 AWSのリサーチチームが、研究者がクラウドコンピューティングについて
Mountpoint for Amazon S3 – 一般公開されており、本番環境のワークロードにも対応可能 | Amazon Web Services
Amazon Web Services ブログ Mountpoint for Amazon S3 – 一般公開されており、本番環境のワークロードにも対応可能 Mountpoint for Amazon S3 は、ファイル対応の Linux アプリケーションが Amazon Simple Storage Service (Amazon S3) バケットに簡単に直接接続できるようにするオープンソースのファイルクライアントです。2023年初めにアルファリリースとして発表されましたが、現在一般公開されており、データレイク、機械学習トレーニング、画像レンダリング、自動運転車シミュレーション、ETL など、読み取り負荷の多い大規模なアプリケーションで本番環境で使用できるようになりました。シーケンシャル読み取りとランダム読み取り、シーケンシャル (追加のみ) 書き込みを実行するファイルベースのワークロー
ドローンで撮影した表面湖の画像。排水前（左）と排水後（右）。5時間で約500万リットルの水が消失した。トム・チャドリー氏提供（2019年12月2日入手）。(c)AFP PHOTO /TOM CHUDLEY/HANDOUT 【12月3日 AFP】デンマーク領グリーンランド（Greenland）の氷床上の急速なひび割れと表面湖の排水をドローン（無人機）を用いて観察した研究結果が2日、発表された。こうした現象は、気候変動の影響で発生頻度が上昇する可能性があるという。 一般的に約1キロの厚みがある氷床は夏の間、表面の一部が融解して多数の湖が形成されるのが通常だ。 表面湖の多くはほんの数時間以内に水が抜け、氷の底部に広大な割れ目ができる。その深さは最大で1キロに達する。氷床の表面を流れる融解水は、融解シーズンの残りの間中この割れ目に流れ落ち続け、世界最大級の滝を形成する。 この過程を直接観察するのは
[レポート]デザインパターンと顧客事例で見るモダンアプリケーション開発 ~AWSでのモダンアプリケーション開発~ #AWSSummitOnlineKorea | DevelopersIO
5月 13日 AWS Summit Onlineが開催されました。 コロナの影響でオンラインとして行われて残念でした… 今回のカンファレンスで特に興味ができたセッションを整理し共有もするためにブログを書きました！ 確かにアーキテクチャやデザインパターンに対する内容で難しい用語が多かったので、一緒に見れあれるようにまとめました。 すべての写真の出所はAWS Summit Online Koreaです セッション概要 べ・ヨンブ(배영부) アプリケーション アーキテクト, AWS カン・ソンイル(강성일) アプリケーション アーキテクト, AWS ほぼ全ての産業分野の企業は、かつてない変化を経験しており、小さくて早い企業が数ヶ月で市場をリードしたこともあります。しかし、伝統的なモノリチックアプリケーション環境では市場の変化に素早く対応したり、実験を試みることは困難でした。コンテナとサーバレス技
![[レポート]デザインパターンと顧客事例で見るモダンアプリケーション開発 ~AWSでのモダンアプリケーション開発~ #AWSSummitOnlineKorea | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9bf73dcd99a130a6d4ee5a2c3815ea9bc38eacdc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2Faws-summit-online-korea-1.png)
[レポート] 安定したゲームリリースのためのWell Architectedと負荷テスト #AmazonGameTech #AmznGameTechJP | DevelopersIO
安定したゲームリリースのためのWell Architectedと負荷テスト 2019年11月20日（水）にアマゾン目黒オフィスでアマゾンウェブサービス社の自社イベント「Amazon Game Developers Conference」が開催されました。 Amazon Game Developers Conference 本記事は、セッション「安定したゲームリリースのためのWell Architectedと負荷テスト」をレポートします。 スピーカー アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 三上 卓也様 セッション概要 AWSではプレイヤーの需要に応じて柔軟にスケールを変更できる、グローバルなゲームインフラ環境を提供しています。ゲームリリース時には想定を超えるリクエストがあり、設計の不備や試験不十分により、システムが不安定となるケースがあります。 本セッショ
![[レポート] 安定したゲームリリースのためのWell Architectedと負荷テスト #AmazonGameTech #AmznGameTechJP | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3abd18c1510f93170e471a202936aa7de1225cfc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2F5faee5ae4b279bf5ab73a218090a1f69.png)
ロシア南東部のバイカル湖で冬に発生する「氷の台座の上に石が乗っているかのような現象」は、日本の庭園にちなんで「Zen stone(バイカル禅)」と呼ばれます。バイカル禅がなぜ発生するのかは科学的に不明であったところ、研究者がラボの中でバイカル禅を再現することに成功し、その原理を公開しました。 Zen stones naturally placed atop pedestals of ice: a phenomenon finally understood | CNRS http://www.cnrs.fr/en/zen-stones-naturally-placed-atop-pedestals-ice-phenomenon-finally-understood Physicists may have cracked the case of “Zen” stones balanced on
Amazonは米国時間11月9日、同社が開催する年次イベント「Storage Day」（今回が2回目）で、Amazon Web Services（AWS）の「Simple Storage Service」（S3）やその他のストレージサービスにいくつかの新機能を発表した。この中には、S3に保存されたデータが長期間にわたって使用されない場合、コスト効率の高い保存形態に自動的に移動する機能が含まれている。 今回新機能が発表されたサービスは、S3やハイパフォーマンスコンピューティングで使用されることが多い「FSx for Lustre」のほか、「FSx for Windows File Server」「Elastic Block Storage」、「Elastic File System」「AWS Snow」「DataSync」など多岐に渡る。 Amazon S3には「Intelligent-Ti
AWS認定は少しずつ移り変わってきました。小さいものでは試験内容の改訂から大きなものでは認定の追加や削除まで色々ありました。しかしここにきてAWS認定は別次元の進化を遂げようとしています。なんと試験問題にAWSの実技試験を織り交ぜてきたのです。 「試験ラボ」 と呼ばれるこの試みはAWS認定の試験対策に根本的な変更を求めるものであり、また認定の意義の見直しを迫るものでもあります。本記事では2021/7/27に新しく試験ラボが導入されたAWS認定「SysOpsアドミニストレーター - アソシエイト(SOA-C02)」の体験談になります。試験ラボの試し方から試験対策まで書ける範囲で書いていきます。 はじめに 最初にお断りしておきますが、AWS認定プログラムアグリーメントの規約により、認定試験を含む試験関連資料の内容については他言してはいけないことになっているので、その辺はAWSが公開している情報
S3ストレージクラスの選択に迷った時に見るフローチャートを作ってみた(2022年8月版) | DevelopersIO
大半のユースケースでは、高い可用性が提供されるS3 Standard - IAを選択することになると思いますが、可用性よりもコストを優先したい場合にS3 One Zone - IAを選択しましょう。 S3オブジェクトの取り出しに許容できる時間 つづいて、「オブジェクトの取り出しに許容できる時間は？」の分岐箇所に関するチェックポイントです。 基本的にユーザーはS3オブジェクトに対しミリ秒単位でアクセスできますが、ストレージクラスによってはオブジェクトにアクセスする前に「オブジェクトの復元（取り出し）」を行う必要がありミリ秒単位でのアクセスが提供されていない場合があります。 アクセス時に「オブジェクトの復元（取り出し）」が必要なストレージクラスが以下の2つのストレージクラスです。 S3 Glacier Flexible Retrieval S3 Glacier Deep Archive ミリ秒
【Part 4】2015年、アイスランド旅行記事！～Toward the Glacier～ - Circulation - Camera
こんにちは、Circulation - Cameraです。 現在アイスランド旅行記連載中です。 tatsumo77.hatenablog.com 前回の記事はゴールデンサークルを 巡った日を1つの記事に凝縮したので ボリューミーになってしまったのですが、 今回はこじんまりとした記事です (￣▽￣) 個人的にこのアイスラン旅行で 一番楽しみにしていたのが「氷河」でした💡 この2年後に訪れたカナダ旅行でも、 氷河に出会うことができましたが、 アイスランドに行くまでは一度も見たことがなくて💦 tatsumo77.hatenablog.com 今回はそんな氷河湖に行く道中を まとめてみましたので、 よろしかったら見て行ってやって下さいませ ^^ ちなみに全旅程で言うとこの辺です↓ ～朝活＠レイキャヴィク～ この日もちょっと (？) 早起きをして、 宿泊している首都レイキャビクを散策♪ D610
こんにちは、臼田です。 みなさん、セキュリティの情報収集してますか？(挨拶 今回は絶賛ラスベガスで開催中のre:Invent 2022に関連したセキュリティ系のアップデートやセッションレポートなどのブログをまとめます。 順次更新していきますので、完成は気長にお待ち下さい。 新機能 [アップデート]AWS BackupにRedshiftがサポートされました #reinvent メモ: バックアップポリシーの適用や、AWS Backup Vault Lockを使用できるようになった [アップデート]Amazon CloudWatch Logsでログデータに含まれた機密情報を保護出来るようになりました #reinvent メモ: Macieでやっていたところがいろんな範囲に展開できてよき [アップデート] Amazon CloudWatchが複数のAWSアカウントにわたるクロスアカウントのオブザ
AWS LambdaのPythonでS3のファイルを取得する機会があったので、その手順をまとめました。 AWS LambdaのPythonでS3のファイルを取得する機会があったので、その手順をまとめました。 はじめてLambdaを使ってみようと思うんだけど、どうやってLambdaを構築したらいいのかわからない！ S3からのファイル取得のプログラムをどうやって書いたらいいのかわからない！ と、いった方向けに、まず動かすことができるサンプルになると思います。 S3のファイルアップロード ファイル取得先のS3バケットをあらかじめ構築しておきます。 今回は「python-get-object-XXXX」という名前で構築しています。 アップロードボタンを押してファイルをアップロードします。 次のような hello.json ファイルを作っておき、ファイルをドラッグしてS3へアップロードします。 he
アルプスで氷河マラソン「グレイシャー3000ラン」
【8月9日 AFP】スイス・アルプス（Swiss Alps）で6日、恒例のマラソン大会「グレイシャー3000ラン（Glacier 3000 Run）」が開催され、約700人が参加した。 山岳氷河が連なる雪原「グレイシャー3000（Glacier 3000）」を目指すコースは、全長約26キロ。スタート地点とゴールの標高差は約2000メートルある。ランナーたちは、グシュタード（Gstaad）中心部を出発し、終盤にはツァンフルロン氷河（Tsanfleuron Glacier）のそばを走り抜けた。 スイスでは気候変動が原因とされる熱波が続き、アルプスの氷河の融解が急激に進んでいる。大会当日もコース周辺でその様子が確認できた。(c)AFP
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Backblazeを４年間使ってみた感想（2016～2020年）｜小村大樹
Athenaを使ったデータ処理基盤の設計 - Speee DEVELOPER BLOG
AWSのストレージコスト9割カットに成功、目を付けたのはあの課金要素
1000コアを搭載、RISC-VベースのAIアクセラレーター
全社統合ログ基盤を構築して得た知見 - Sansan Tech Blog
プロカメラマンが「iPhone 12 Pro」のカメラを使い倒しレビュー、進化したソフトとハードの両方を体感
AWS全サービスの一言メモを、マネジメントコンソールから抽出してみた - Qiita
グリーンランド3大氷河、最悪の筋書きよりも速いペースで融解する恐れ 研究
【2023年】AWS全サービスまとめ | DevelopersIO
スイス旅行記③ ～ゴールデンパスラインを行く～ - すまりんの てくてく ふたり旅
「Amazon S3 Glacier」に加わった“ミリ秒でデータが取れるアーカイブ”とは？
[AWS Workshop] これから学ぶS3基礎 | DevelopersIO
研究現場で役立つAWSの無料トレーニングリソース | Amazon Web Services
グリーンランド氷床の表面湖、瞬く間に排水 ドローンでリアルタイム観察に成功
氷の台座に石が鎮座する日本庭園っぽい自然現象「バイカル禅」の原理が解明へ
「AWS S3 Intelligent-Tiering」に新アクセス階層が追加、さらなるコスト削減が可能に
AWS認定に追加された実技試験「試験ラボ」をくぐり抜けて合格した話(SOA-C02)
re:Invent 2022セキュリティ系ブログまとめ #reinvent | DevelopersIO
AWS LambdaのPythonでS3のファイルを取得する | DevelopersIO