並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 156件

新着順 人気順

s3 files lambdaの検索結果1 - 40 件 / 156件

  • 本番環境で採用すべき26のAWSセキュリティベストプラクティス

    本文の内容は、2024年11月25日に Alejandro Villanueva が投稿したブログ(https://sysdig.com/blog/26-aws-security-best-practices/)を元に日本語に翻訳・再構成した内容となっております。 セキュリティは、 AWS Foundational セキュリティベストプラクティスの基本的な柱です。セキュリティリスクを最小限に抑え、環境を保護するには、サービス別にまとめられた AWS セキュリティベストプラクティスに従うことが不可欠です。この構造化されたアプローチは、潜在的な脆弱性に積極的に対処し、堅牢で安全なクラウドアーキテクチャーを維持するのに役立ちます。 AWS IAM(1) IAMポリシーでは、フルの ” * ” 管理者権限を許可すべきではない (2) IAMユーザーにはIAMポリシーを添付してはならない (3) I

      本番環境で採用すべき26のAWSセキュリティベストプラクティス
    • アーキテクチャ図、コードで書こう - C4モデル入門

      後編はこちら!: 「アーキテクチャ図はもう要らない」は本当か? ── LLM時代のC4モデル再考 「アーキテクチャ図」の曖昧さ 「アーキテクチャ図」を作成するとき、どのような図を描くかはチームや個人によって異なることがあります。 例えば、「ユーザーが画面から帳票をPDF出力でき、出力の結果をメール通知する」ようなシステムの場合、以下のような図が描かれることがあります。 例1 - スライド 例2 - draw.io どちらも「アーキテクチャ図」として正しいです。しかし、このような図を継続的にメンテナンスしていこうとすると、以下のような課題に直面します。 フォーマットがバラバラ PowerPoint、Googleスライド、draw.io、.. 人によって使うツールが異なり、編集できる人が限られる 粒度がバラバラ ある人は例1のようなシンプルな図を描き、別の人は例2のような詳細な図を描く 「どこ

        アーキテクチャ図、コードで書こう - C4モデル入門
      • AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)の学習方法 - NRIネットコムBlog

        小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS 認定 ソリューションアーキテクト – プロフェッショナル」とは 「AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified

          AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)の学習方法 - NRIネットコムBlog
        • Amazon S3の脆弱な利用によるセキュリティリスクと対策 - GMO Flatt Security Blog

          はじめに こんにちは、株式会社Flatt Security セキュリティエンジニアの森岡(@scgajge12)です。 本稿では、Amazon S3 の脆弱な使い方によるセキュリティリスクと対策を解説し、実際の設定不備などに関する事例についても紹介します。 Flatt Security は専門家の視点でセキュリティリスクを調査するセキュリティ診断を提供しています。クラウドとアプリケーションの総合的な診断の事例として SmartHR 様の診断事例がございますので、是非インタビュー記事をご覧ください。GCP の事例ですが、もちろん今回取り上げる AWS でも同様の診断が可能です。 はじめに Amazon S3 とは バケット・オブジェクト バケット オブジェクト アクセスポリシー バケットポリシー アクセスコントロールリスト(ACL) IAM ポリシー 署名付き URL Amazon S3 に

            Amazon S3の脆弱な利用によるセキュリティリスクと対策 - GMO Flatt Security Blog
          • AWSが「Amazon S3 Files」を発表、S3バケットをファイルシステムとして利用可能に

            AWSは4月7日(現地時間)、「Amazon S3 Files」の提供を開始した。 Amazon S3 Filesは、Amazon Simple Storage Service(S3)上のバケットをフル機能のファイルシステムとして扱える新サービスだ。従来はオブジェクトストレージとファイルシステムの違いを意識してワークロードを分けていたが、同機能により、S3バケットを直接ファイルとして編集・共有できるようになった。 S3 Filesを使用することで、Amazon EC2インスタンスやAmazon ECS、Amazon EKS、AWS Lambdaなどの各種コンピュートサービスから、S3バケットをネイティブなファイルシステムとして利用できる。Network File System(NFS)v4.1以降の標準操作に対応し、ファイルやディレクトリの作成・更新・削除が可能となる。また、低レイテンシな

              AWSが「Amazon S3 Files」を発表、S3バケットをファイルシステムとして利用可能に
            • AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 | Amazon Web Services

              Amazon Web Services ブログ AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 はじめに 昨今のテクノロジーの進化は、これまで以上に、私たちがどのように働き、どのように生活するかを再定義しています。この進化の中心には、クラウドコンピューティングが存在しており、AWS はこれまで、クラウドコンピューティングのパイオニアとして、様々な機能を提供し続け、業界をリードしてきました。その機能群を支えるエコシステムの一部であるサーバーレスアーキテクチャは、スケーラブルで信頼性が高く、メンテナンスの作業負担が低いアプリケーションの開発を可能にし、ユーザーのビジネスやプロジェクトが円滑に進行するようサポートします。 AWS のサーバーレスの代表的なサービ

                AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 | Amazon Web Services
              • AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services

                Amazon Web Services ブログ AWSサーバーレスバッチ処理アーキテクチャの構築 この投稿は、AWSソリューションアーキテクトであるReagan RosarioとWWPSソリューションアーキテクトであるMark Curtisによって書かれました。バッチ処理は多くの組織にとって基礎となるもので、大量の情報を効率的に自動化した形で処理することができます。ユースケースとしては、ファイル取り込み処理、キューベースの処理、トランザクションジョブ、さらに重いデータ処理のジョブなど、多岐にわたります。 この記事では、ファイル取り込み処理を実装するためのバッチ処理を、サーバーレスに実現するための方法を説明していきます。今回の例では、オーケストレーションにAWS Step Functions、オンデマンドのコンピューティングにAWS Lambda、データストアにAmazon S3、メールの送

                  AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services
                • アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog

                  こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv

                    アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
                  • S3 Filesで消えるアーキテクチャ層、生まれるアーキテクチャ

                    2026年4月7日、AWSがAmazon S3 Filesを一般提供(GA)しました。S3バケットをNFS v4.1/v4.2のファイルシステムとしてマウントできる機能です。EC2、EKS、ECS、Lambdaのいずれからでも利用できます。 発表直後から多くのセットアップ記事や速報が出ていますので、この記事では「何が設定できるか」ではなく「何が不要になり、何が可能になるか」を整理します。 対象読者は、S3を日常的に使っていて「すごそうだけど、自分たちのアーキテクチャにどう影響するのか」を知りたいエンジニアです。 S3 Filesが解こうとしている問題 まず出発点の認識を合わせておきます。 たとえば、MLチームが学習データの前処理をするとしましょう。元データはS3に置いてあります。pandasで読み込んで加工したい。しかし pd.read_csv("s3://my-bucket/data.c

                      S3 Filesで消えるアーキテクチャ層、生まれるアーキテクチャ
                    • 【性能比較】日本語対応したBard(バード)とGPT-4の出力を比較してみた - Qiita

                      import os import boto3 from datetime import datetime, timedelta, timezone import requests BUCKET_NAME = os.environ['BUCKET_NAME'] SLACK_WEBHOOK_URL = os.environ['SLACK_WEBHOOK_URL'] s3 = boto3.client('s3') def lambda_handler(event, context): # 前日の0:00と23:59を取得 today = datetime.now(timezone.utc).date() start_time = datetime(today.year, today.month, today.day, tzinfo=timezone.utc) - timedelta(days=1

                        【性能比較】日本語対応したBard(バード)とGPT-4の出力を比較してみた - Qiita
                      • TrivyでAWSアカウントのセキュリティスキャンができるようになりました | DevelopersIO

                        中山です trivyのv0.31.0でAWSアカウントのセキュリティスキャンができるようになりました。 feat: Add AWS Cloud scanning (#2493) Releases / v0.31.0 なお、v0.31.0でスキャンを実行するとクラッシュするバグがあり、すぐにv0.31.2がリリースされました。 Releases / v0.31.2 どんな感じか気になったので、軽く触っておこうと思います。 ドキュメントを確認 まずはドキュメントを確認します。 Amazon Web Services ポイントになると思った点をまとめます。 CIS AWS Foundations Benchmark standardに準拠したチェックが可能 認証方法はAWS CLIと同じ すべてのAWSリソースに対する参照権限が必要 (ReadOnlyAccess) サービス・リージョン・リソー

                          TrivyでAWSアカウントのセキュリティスキャンができるようになりました | DevelopersIO
                        • RemixでAWSサーバレス構成を手軽に作成できるGrunge Stackを試してみた | DevelopersIO

                          はじめに こんにちは、CX事業本部MAD事業部の森茂です。 先日リリースされたRemix Stacks、Remixチームが公開しているAWSを利用したサーバレス構成のGrunge Stackテンプレートがどのような構成になっているのかを調べるために早速デプロイまでの流れを試してみました。 Grunge Stack Grunge StackはAWSを利用したサーバレス構成のアプリケーションテンプレートです。サーバレスフレームワークとしてはArchitectを利用しています。データベースにはDynamoDBを利用し、アプリケーションはCloudFormationを利用してLambdaへデプロイされAPI Gatewayを介して公開されます。また開発用にローカル環境のサンドボックス環境も用意されているのでAWS環境へデプロイせずに動作を確認することが可能です。(サンドボックス環境のDynamoD

                            RemixでAWSサーバレス構成を手軽に作成できるGrunge Stackを試してみた | DevelopersIO
                          • Behind AWS S3’s Massive Scale

                            This is a guest article by Stanislav Kozlovski, an Apache Kafka Committer. If you would like to connect with Stanislav, you can do so on Twitter and LinkedIn.AWS S3 is a service every engineer is familiar with. It’s the service that popularized the notion of cold-storage to the world of cloud. In essence - a scalable multi-tenant storage service which provides interfaces to store and retrieve obje

                              Behind AWS S3’s Massive Scale
                            • 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 | Amazon Web Services

                              Amazon Web Services ブログ 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 このブログは 2022 年 3 月 24 日に Anderson Hiraoka (Solutions Architect) と、Rafael Koike (Principal Solutions Architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業では、ファイルや画像などのデジタル資産をリポジトリに保存することが求められることが多くあります。多くの場合、これらのファイルのソースは、社内システムに接続されていないパートナーまたは個人であり、ファイルをアップロードするためには、企業の認証が必要となります。お客様は従来、ファイルのアップロードを処理するためにサーバーを使用していましたが、大量のネットワー

                                外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 | Amazon Web Services
                              • GitHub - modelcontextprotocol/servers: Model Context Protocol Servers

                                Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. 2slides - An MCP server that provides tools to convert content into slides/PPT/presentation or generate slides/PPT/presentation with user intention. ActionKit by Paragon - Connect to 130+ SaaS inte

                                  GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
                                • Amazon S3 Files が GA — S3 バケットをファイルシステムとしてマウント、EFS と比較してみた | DevelopersIO

                                  Amazon S3 Files が GA — S3 バケットをファイルシステムとしてマウント、EFS と比較してみた 2026年4月提供開始のAmazon S3 Filesは、S3バケットをNFS v4.2でマウント可能にする新サービス。EC2/Lambda/EKS/ECSから利用でき、既存レガシーアプリケーションのコード変更なしでS3を活用できます。 2026/4/7、Amazon S3 Files の一般提供(GA)が発表されました。 S3 バケットをファイルシステムとしてマウントできる新機能です。S3 バケットの作成、IAM ロールの準備、S3 Files ファイルシステムの構築までを AWS CLI で行い、Amazon Linux 2023 上にマウント。 マウント後はファイル操作やロックの動作を検証するとともに、EFS との I/O 性能や同期ラグなどを測定しましたので、その結

                                    Amazon S3 Files が GA — S3 バケットをファイルシステムとしてマウント、EFS と比較してみた | DevelopersIO
                                  • Laravel 11をAWS Lambdaで動くようにして簡単なAPIを作ってみる

                                    Laravel 11をAWS Lambdaで動くようにして簡単なAPIを作ってみます。 ちなみに私は割とPHP初心者です。 初心者ですが、これからAPI作成するならPHPが良いと思っています。 PHPが良い理由は、実装できる人が多いと思っていて、いざとなれば他の人(他の会社)に協力を仰ぎやすそうだからです。インターネット上に情報もいっぱいあるというアドバンテージもあると思います。 フレームワークは、PHPの中で一番ポピュラーという理由からLaravel!と考えています。 まずは、作成する環境について記載していきます。 作成する環境の構成 以下の構成で動かしてみます。 プログラム Laravel AWSリソース API Gateway Lambda 実際に、Laravel 11をAWS Lambdaで動かしてみます!! Laravel 11をAWS Lambdaで動かしてみる まずはLara

                                      Laravel 11をAWS Lambdaで動くようにして簡単なAPIを作ってみる
                                    • APMを支えるデータ構造とアルゴリズム - Mackerel ブログ #mackerelio

                                      本記事では、オブザーバビリティプラットフォームであるMackerel、特にそのAPM部分について、大規模データに対応するためにどのような工夫を行っているかを紹介します。 オブザーバビリティプラットフォームは多くのデータを処理します。 たとえば、株式会社AbemaTVではサンプリングがない場合毎秒165万スパン作成されることを先日のObservability Conference Tokyo 2025で発表しています。 また、Googleの時系列データベースであるMonarchでは毎秒数テラバイト、PinterestのGokuでは毎日4.5兆のデータポイントを取り込んでいると報告しています。 このように、オブザーバビリティ関連のデータは大規模になるものです。 私たちMackerelはSaaS型のオブザーバビリティプラットフォームを提供しており、多数の企業からオブザーバビリティ関連のデータを受

                                        APMを支えるデータ構造とアルゴリズム - Mackerel ブログ #mackerelio
                                      • Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services

                                        AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea

                                          Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
                                        • 解剖!Terraform monorepo - LayerX エンジニアブログ

                                          バクラク事業部 Platform Engineering部 SREの id:itkq です。バクラク事業部では2022年にアプリケーションのmonorepo化を始め、現在では対応するインフラもmonorepoで運用しています。今回は、そのうちTerraformについて紹介します。 monorepoに至るまで 2022年、アプリケーションをmonorepo化していくプロジェクトが始まりました (通称layerone。リポジトリ名もlayerone)。これについての詳細は次のスライドを参照してください。 これに合わせて、対応するインフラを記述するTerraformも同じlayeroneリポジトリに集約しました。そのほうが特に自動生成の都合が良かったためです。この大枠は当時 @civitaspo がほぼ一人で作り上げました。その後、様々な事情 (例えばGitHub APIのRate-limitな

                                            解剖!Terraform monorepo - LayerX エンジニアブログ
                                          • AWS Certified Cloud Practitioner(CLF)/AWS認定クラウドプラクティショナーの学習方法 - NRIネットコムBlog

                                            小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Cloud Practitioner」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Cloud Practitioner(CLF)」とは 「AWS Certified Cloud Practitioner(CLF)」は、AWSクラウドに関する総合的な理解を持ち、クラウドの基本概念、主要なサービス、セキュリティ、アーキテクチ

                                              AWS Certified Cloud Practitioner(CLF)/AWS認定クラウドプラクティショナーの学習方法 - NRIネットコムBlog
                                            • AWS Lambda Under the Hood

                                              Transcript Danilov: We'll talk about AWS Lambda, how it's built, how it works, and why it's so cool. My name is Mike Danilov. I'm a Senior Principal Engineer at AWS Serverless. A decade ago, I joined EC2 networking team, and it was a fantastic ride. Then, five years back, I heard about Lambda. I really liked the simplicity of the idea. We run your code in the cloud, no servers needed, so I joined

                                                AWS Lambda Under the Hood
                                              • Pull Request ごとに S3 + CloudFront へ SPA のプレビュー環境をデプロイする - Classi開発者ブログ

                                                Classi でソフトウェアエンジニアをやっている koki です。 S3 + CloudFront でホスティングしている SPA (Single Page Application) で Pull Request ごとにプレビュー環境をデプロイする仕組みを作ってみたところ、かなり体験が良かったので紹介します。 前提 Classi で提供している学習トレーニング機能には、それを裏で支えるコンテンツ管理システム ( 以下、内部 CMS ) が存在しています。 この内部 CMS については以下の記事でも簡単に紹介されているので、こちらをご参照ください。 tech.classi.jp 内部 CMS のフロントエンドは Angular を使用した SPA になっており、 Amazon S3 と Amazon Cloudfront を使用してホスティングされています。 抱えていた課題 / つくったも

                                                  Pull Request ごとに S3 + CloudFront へ SPA のプレビュー環境をデプロイする - Classi開発者ブログ
                                                • AWS Certified Machine Learning Engineer - Associate(MLA)の学習方法 - NRIネットコムBlog

                                                  小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Machine Learning Engineer - Associate(MLA)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Machine Learning Engineer - Associate(MLA)」とは 「AWS Certified Machine Learning Engineer - Associa

                                                    AWS Certified Machine Learning Engineer - Associate(MLA)の学習方法 - NRIネットコムBlog
                                                  • AIエージェントを使ってRDSに関するCloudWatchの費用を50%削減した✨

                                                    株式会社tacomsのSREのMorixです! 今回はtacomsのCloudWatchの費用を50%削減した話をしたいと思います。 新しい仕組みの導入をAIエージェントを使って実現したので、仕組みの詳細やAIエージェントのためのプロンプトなどをご紹介できればと思います! コスト削減効果!! tacomsのAWSコストの悩み tacomsはAWSを使用しており、データベースはAWS RDS(Aurora MySQL)を使用しています。 セキュリティや障害・パフォーマンス分析の観点からAuditログの出力を有効化していました。 AuditログはCloudWatch Logsへ出力されますが、それがまぁ高い! さまざまなAWSのサービスを使用していますが、CloudWatchの費用はその中でもトップレベルに高かったです。 その中でもRDSのログがCloudWatchの費用に占める割合は相当なも

                                                      AIエージェントを使ってRDSに関するCloudWatchの費用を50%削減した✨
                                                    • AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO

                                                      ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ

                                                        AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
                                                      • Aurora MySQLログの収集と分析基盤の紹介 - LayerX エンジニアブログ

                                                        こんにちは!バクラク事業部 Platform Engineering部 SREグループの taddy(id:sadayoshi_tada)です。 みなさんはデータベースサーバのログの分析が必要になった時どのように対処されていますか?バクラクではAmazon Aurora MySQL互換(以降Auroraと呼称します)を使用していて、Aurora内部に保持しているログを収集し、分析する基盤を運用しているためこの記事でその紹介をします。 Aurora内部に保持しているログの出力 Auroraのログダウンロードのための手段検討 AuroraのログダウンロードとS3アップロードの概要 実行基盤の選定 S3に格納したログの分析 S3に保管しているログのパス概観 Audit logの分析例 SOC1監査での利用 まとめ 終わりに Aurora内部に保持しているログの出力 Aurora内部に保持している

                                                          Aurora MySQLログの収集と分析基盤の紹介 - LayerX エンジニアブログ
                                                        • Notionで下書きした記事をはてなブログに自動転写するシステムを開発した話 - hacomono TECH BLOG

                                                          こんにちは!hacomonoの開発基盤グループでインターンとして活動しているゆーたです。 2024年7月にhacomonoにジョインしました。これまで約2年間、主にアプリケーション開発を担当するインターンやバイトをしていましたが、hacomonoでは開発基盤チームに所属していることもあり、インフラも含めて広く触れる機会をいただいています。 先日、初めてのタスクを完遂したので、今回はその内容を振り返りたいと思います。 TL;DR Notionで管理しているテックブログ記事を、はてなブログへ自動転写するアプリケーションを開発 記事の手動転写による30分〜1時間のリードタイムを、数分に短縮することに成功 背景 hacomonoでは、記事の管理をNotionで行い、投稿先にははてなブログを利用しています。 これまで、Notionで執筆した記事を手動でコピーし、はてなブログに貼り付けていました。しか

                                                            Notionで下書きした記事をはてなブログに自動転写するシステムを開発した話 - hacomono TECH BLOG
                                                          • Terraformでローカルファイルを操作する方法  ~よくある使い方3選~ - NRIネットコムBlog

                                                            こんにちは、後藤です。 Terraform開発を進める中で「こんなことできるのか」と思った機能があったので、備忘録も兼ねて紹介します。 それはローカルのファイルを操作できる、という機能です。 TerraformではAWSやAzure、GCPなどのパブリッククラウドプロバイダを扱えますが、localやarchiveといったHashiCorp社によるプロバイダがあります。 このプロバイダを使えば、Terraformを実行するローカル環境のファイル操作が可能になります。 当記事では、よく使われるであろう方法を3つ紹介していきます。 ※Terraformバージョン1.5.6で検証しております。 1つ目:local_file local_fileリソースを記述すればローカル環境にファイルを作成できます。resourceブロックによってファイルを作成し、dataブロックによってファイルを読み込むことが

                                                              Terraformでローカルファイルを操作する方法  ~よくある使い方3選~ - NRIネットコムBlog
                                                            • S3 Files 性能評価

                                                              はじめに Zenn 読者のみなさん、こんにちは。e-dash VPoE の伊藤です。 2026年4月、AWS から S3 Files がリリースされました。 S3 バケットをファイルシステムとしてマウントして使える、という非常にインパクトのある機能で、ユースケース次第では大幅なストレージコスト削減やアーキテクチャ簡素化が期待できそうです。一方で、「実際どの程度の性能が出るの?」「EBS や EFS の代替としてどの程度使えるの?」という疑問もあります。 そこで今回は、S3 Files の性能を実機で評価し、他のストレージ構成(エフェメラルストレージ・EBS・EFS)と比較してみたので、その結果を共有します。 なお、当初は比較対象に Mountpoint for S3 も含める予定でした。しかし実機で検証した結果、fio による汎用ベンチマークが構造的に成立しないことがわかったため、今回は比

                                                                S3 Files 性能評価
                                                              • AWS Certified Data Engineer - Associate(DEA)の学習方法 - NRIネットコムBlog

                                                                小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Data Engineer - Associate」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Data Engineer - Associate(DEA)」とは 「AWS Certified Data Engineer - Associate(DEA)」は、AWSクラウド環境下でデータパイプラインの設計、構築、運用、モ

                                                                  AWS Certified Data Engineer - Associate(DEA)の学習方法 - NRIネットコムBlog
                                                                • Launching S3 Files, making S3 buckets accessible as file systems | Amazon Web Services

                                                                  AWS News Blog Launching S3 Files, making S3 buckets accessible as file systems I’m excited to announce Amazon S3 Files, a new file system that seamlessly connects any AWS compute resource with Amazon Simple Storage Service (Amazon S3). More than a decade ago, as an AWS trainer, I spent countless hours explaining the fundamental differences between object storage and file systems. My favorite analo

                                                                  • AWS Lambda turns 10: A rare look at the doc that started it

                                                                    AWS Lambda turns 10: A rare look at the doc that started itNovember 14, 2024 • 5460 words One of our strengths at AWS has always been our ability to get primitives into the hands of our customers and observe what they do. In nearly every instance, someone uses these building blocks in interesting ways that we didn’t expect. Sometimes it’s domain-specific innovation, but other times it’s customers

                                                                      AWS Lambda turns 10: A rare look at the doc that started it
                                                                    • Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services

                                                                      AWS News Blog Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing I am excited to announce the availability of a distributed map for AWS Step Functions. This flow extends support for orchestrating large-scale parallel workloads such as the on-demand processing of semi-structured data. Step Function’s map state executes the same processing steps for multi

                                                                        Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services
                                                                      • S3 Files and the changing face of S3

                                                                        S3 Files and the changing face of S3April 07, 2026 • 6004 words Almost everyone at some point in their career has dealt with the deeply frustrating process of moving large amounts of data from one place to another, and if you haven’t, you probably just haven’t worked with large enough datasets yet. For Andy Warfield, one of those formative experiences was at UBC, working alongside genomics researc

                                                                          S3 Files and the changing face of S3
                                                                        • S3 on LocalStackをGoとFUSEを使ってMountする(WSL2) | フューチャー技術ブログ

                                                                          はじめにTIG DXユニットの真野です。夏休み自由研究連載の5本目です。 ずっと気になっていた、go-fuseを用いて、LocalStack でローカル環境にエミュレートされるS3バケットをマウントするツールを開発しました。普段はWebのAPIサーバを中心に開発しているので、FUSEとはいえファイルシステムの知識が無く、トライ&エラーの連続ですごく楽しい自由研究(工作)でした。 モチベーションは以下です。 業務でよくS3にアクセスするコードを書き、ローカル開発ではLocalStack上のS3を用いてテストしている LocalStack上のS3に事前データを置いたり、事後データの検証にいちいちアクセスコードを書くのが面倒 実装ミスで予期しない階層にファイルを出力してしまったりするときに、容易に視認できるようにしたい aws cliコマンドを叩けば良いけど、コマンドを覚えられないし手間がある

                                                                            S3 on LocalStackをGoとFUSEを使ってMountする(WSL2) | フューチャー技術ブログ
                                                                          • AWS Lambda standardizes billing for INIT Phase | Amazon Web Services

                                                                            AWS Compute Blog AWS Lambda standardizes billing for INIT Phase Effective August 1, 2025, AWS will standardize billing for the initialization (INIT) phase across all AWS Lambda function configurations. This change specifically affects on-demand invocations of Lambda functions packaged as ZIP files that use managed runtimes, for which the INIT phase duration was previously unbilled. This update sta

                                                                              AWS Lambda standardizes billing for INIT Phase | Amazon Web Services
                                                                            • AWS Lambda Now Supports Up to 10 GB Ephemeral Storage | Amazon Web Services

                                                                              AWS News Blog AWS Lambda Now Supports Up to 10 GB Ephemeral Storage Update July 12, 2022 – The Available Now section below has been edited for clarity to ensure the best experience for our readers. Serverless applications are event-driven, using ephemeral compute functions ranging from web APIs, mobile backends, and streaming analytics to data processing stages in machine learning (ML) and high-pe

                                                                                AWS Lambda Now Supports Up to 10 GB Ephemeral Storage | Amazon Web Services
                                                                              • AWS previews Mountpoint, a specialized open source Rust client to mount S3 storage into the file system • DEVCLASS

                                                                                Interview AWS has introduced Mountpoint, an open source client for Linux that connects to S3 (Simple Storage Service) using file APIs, enabling applications to traverse S3 files as if they are in the file system. It is a specialized client aimed at data analytics, and not designed for general-purpose use. According to advance information from AWS, “with Mountpoint, file operations map to GET and P

                                                                                  AWS previews Mountpoint, a specialized open source Rust client to mount S3 storage into the file system • DEVCLASS
                                                                                • (新機能)S3 Filesリリース - Qiita

                                                                                  Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに S3 Filesがリリースされました。 これは、S3 バケットをファイルシステムとしてアクセス可能にするというものです。 どのような構成か 構成図の一例は以下のとおりです。 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 仕組みについて(簡単に) 仕組みについて簡単に言うと、 ・S3 filesystemを起動させる ・VPC内にS3 Filesマウントターゲットを作成する ・VPC内のS3 FilesマウントターゲットとS3

                                                                                    (新機能)S3 Filesリリース - Qiita