社内システムのセキュリティ向上のため、Lambda + CloudFront + S3でインフラ基盤を再構築した話 - Uzabase for Engineers
はじめに ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は、AWSサービスである「Lambda」「CloudFront」「S3」を用いて、弊社で使用している社内向けシステムの基盤を再構築し、開発者体験の向上やセキュリティ対策を行なったお話です。 お話の内容 弊社で使用している社内向けシステムの一つに「Watson」というシステムがあります。「Watson」とは簡単にいうと「NewsPicks」のユーザーIDをもとにユーザーごとの情報を検索・閲覧できるシステムで、お客様からの問い合わせ対応等に活用される重要なシステムです。「Watson」は構築されたのが８年前と歴史が古く、歴史が古い故に数々の問題を抱えていました。今回のお話では、歴史の古い社内システムのインフラとバックエンドを更改し抱えていた問題を解決したぜ！というお話となっています。 抱えていた課
AWS Step Functionsで、音声ファイルがS3バケットに保存される度にAmazon Transcribeで文字起こしし、内容をメール送信してみた | DevelopersIO
はじめに AWS Step Functionsを利用し、音声ファイルがS3バケットに保存されるたびにAmazon Transcribeで文字起こしを行い、文字起こし内容をメール送信する方法を紹介します。 今回構築する構成は以下の通りです。 処理の流れは以下の通りです。 音声ファイル（WAV）をS3バケットにアップロードする アップロードをトリガーにEventBridgeからStep Functionsステートマシンを起動する 音声ファイルからAmazon Transcribeで文字起こしし、文字起こした内容をAmazon SNSでメール送信する この構成を構築するきっかけは、以前執筆した「Amazon Connectでエージェントの介在がない場合でも電話中の発話を録音する」記事の構成に、録音ファイルに対して文字起こしとメール通知機能を追加する必要が生じたためです。 執筆した記事の構成図は以
S3のフォルダ構造とプレフィックスの話 - NRIネットコムBlog
本記事は AWSアワード記念！夏のアドベントカレンダー 2日目の記事です。 🎆🏆 1日目 ▶▶ 本記事 ▶▶ 3日目 🏆🎆 こんにちは、佐々木です。 いろいろ思うところがあって、AWS Ambassadorに復帰することになりました。今年からTier制になって、最上位のPrincipal Ambassadorというのができるようです。まだクライテリアは発表されていませんが、せっかくなのでPrincipal目指して頑張っていきます。ということで、NRIネットコムのブログイベント「AWSアワード記念！夏のアドベントカレンダー」の2日目です。 今回は基本に立ち返って、S3のフォルダ構造とプレフィックスの話です。 S3のフォルダの不思議な挙動！？ S3のフォルダ配下のファイルを削除したら、フォルダごと無くなってしまったという経験ないでしょうか？ 軽く実験をしてみます。手順としては、次のとお
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
私がやった Amazon S3 コストカット全ステップ | CyberAgent Developers Blog
本記事は CyberAgent Advent Calendar 2022 23日目の記事です。 「節約は固定費から。」 こんにちは、しゅん（@MxShun）です。 今年11月に中途入社、AI事業本部オペレーションテクノロジーに仲間入りしました。 今回は、年間にして 1,200 万円削減 した Amazon S3 のコストカット全ステップ を紹介します。 目次 オペレーションテクノロジー AWSコストの見直し S3コスト対象 S3コスト分析 1. ストレージ容量の削減 2. ストレージクラスの見直し まとめ オペレーションテクノロジー 私がジョインしたオペレーションテクノロジーは、 サイバーエージェント 連結売上高の53%（2022年通期決算時点）を占めるインターネット広告事業売上を最大化する システム開発 大規模インターネット広告運用を可能にする 社内システム開発 の役割を担っています。
安全安心の開発体験のために Visual Regression Testing はじめました。 - Uzabase for Engineers
NewsPicks Web Experience Unit でフロントエンドエンジニアをしているじゆんきち(@junkisai)です。 弊チームでは、ここ1年間くらいWeb 版のNewsPicksを新しい基盤に置き換えつつ、見ためも刷新するプロジェクト（以下リニューアルプロジェクト）を進めています。 今回は、弊プロダクトで Visual Regression Testing をはじめて、3ヶ月ほど運用してきたので、今回はその導入や運用にあたっての話をしたいと思います。 導入に至った背景と目的 使用したツールと構成 ツール 構成 導入の流れ ライブラリのインストール storycap の設定 reg-suit の準備 Amazon S3 の準備 Github Actions の設定 運用して出てきた課題と解消 日本語で表示されるはずの部分が□で表示されてしまっている 画像など外部リソースから
hirose31/s3surfer でさくらのクラウド オブジェクトストレージにアクセスする - Hateburo: kazeburo hatenablog
hirose31さん作のAmazon S3にあるファイルリストの閲覧とファイルのダウンロードにとても便利なツール s3surfer にAPIのエンドポイントURLを切り替えるオプションをつけていただき、さくらのクラウドのオブジェクトストレージにもアクセスできるようになりました。 github.com さくらのクラウドのオブジェクトストレージについてははこちら cloud.sakura.ad.jp こちらのサービスではS3互換のAPIを提供させていただいています。 使い方 Mac/Linuxの場合はGitHubのリリースページからバイナリをダウンロードしてインストールできます。v1.0.3 以降で --endpoint-url オプションが使えます。 さくらのクラウドのオブジェクトストレージのAPI Endpointを指定して起動します。その他のS3互換ストレージでも利用できるかと思います。
S3データレイクをAWSの分析サービスを使って有効活用する #AWS-06 #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画、「AWS-06: 貯めるだけじゃもったいない！AWS 分析サービスを使ったデータレイクの有効活用」のレポート記事です。 「データはとりあえずS3に溜めておけ！」とデータレイクっぽいものは作れたけど上手く使いこなせていない方、それなりにいらっしゃるのではないでしょうか？本セッションでぜひAWSの分析サービスの活用術をおさらいしてみてください。 概要 データの持つ力を活かす方法としてデータレイクがありますが、データレイク上にデータは貯まってきたものの、どう有効活用すればいいか悩んだ経験はないでしょうか？データレイクに存在するデータと分析ツールと組合せ、活用する方法として、“レイクハウスアプローチ”があります。本セッションでは"レイクハウスアプローチ"の考え方を紹介すると共に、どのようなAWSサービスを用いて"レイクハウスアプ
MLflowで実験管理入門 | フューチャー技術ブログ
はじめにこんにちは、Strategic AI Group(SAIG)の山野です。 今回は、機械学習の実験管理をテーマにMLflowについて紹介します。 1. 実験管理の必要性モデル開発では、様々な条件で大量の実験を時には複数人で回していくことがありますが、徐々に管理し切れなくなり、後から（必要に迫られて）もう一度その実験を再現しようと思ってもできなくて困る、ということがあります。 つまり、実験が終わって数ヶ月後に「あの実験てどのような条件で実施してどのような結果出たんだっけ？ +再現できる？」と聞かれても困らない状態を作れれば良いです。PoCが終わってプロダクション化のフェーズで、PoCの実験について確認されるケースが意外とあったりします。 管理すべき情報は、前処理・学習・評価それぞれで以下があります。 前処理 元データ <-> 前処理コード <-> 加工済データ 学習 加工済みデータ（学
S3のAPIと互換性を持ったオブジェクトストレージの運用についてお話します - Pepabo Tech Portal
はじめまして。 技術部プラットフォームグループの@rsym1290です。 弊社ではBayt(ベイト)というプライベートなオブジェクトストレージを運用しています。 本記事では、Baytの紹介と最近の取り組みについて紹介したいと思います。 Baytとは？ Baytとは、S3と互換性のあるAPIを提供しているプライベートなオブジェクトストレージです。 弊社では様々なサービスを提供していますが、各サービスで画像・動画・テキストなどのコンテンツを扱うことが多々あり、 それらを保存できるストレージが必要です。 このストレージを提供しているのがBaytです。 特に利用しているのはカラーミーショップとグーペです。 カラーミーショップで利用する商品画像や、グーペで利用するホームページ用の画像の保存先としてBaytを利用しています。 カラーミーショップについては、昨年12月に「カラーミーショップの商品画像の最
S3のアクセスコントロールまとめ - Qiita
{ "Statement":[ // S3ホームディレクトリでバケット一覧を表示するために必要 { "Effect":"Allow", "Action":[ "s3:ListAllMyBuckets" ], "Resource":"arn:aws:s3:::*" }, // バケットに対する操作を許可 { "Effect":"Allow", "Action":[ "s3:ListBucket", "s3:GetBucketLocation" ], "Resource":"arn:aws:s3:::bucket" }, // オブジェクトに対する操作を許可 { "Effect":"Allow", "Action":[ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource":"arn:aws:s3:::bucket/*"
アクセス制御を厳格に行っている環境からのs3利用 | BLOG - DeNA Engineering
こんにちは、IT基盤部第一グループの生井です。 DeNAが提供するヘルスケア系サービスのインフラを担当しています。 ヘルスケア領域ではセンシティブ情報を扱いますので、日々高レベルなセキュリティ設計・運用を行う必要があります。 今回はその一例として、アクセス制御を厳格に行っている環境からS3を利用する際に行った対応を紹介したいと思います。 はじめに あるプロジェクトで、センシティブ情報を扱う環境から、S3の特定バケットにのみ、awscliでのデータdownload/uploadを許可したいという要件がありました。 補足：特定バケットに限定するのは出口対策のためです。任意のS3バケットへのアクセスを許可してしまうと、内部犯行によるデータの持ち出しや、マルウェア感染によるデータ漏洩のリスクが高まります。 対応として、この環境で実績のある、FWでのFQDNベースでのアクセス制御を行うことにしました
DockerとMinioでAWS SDK for C++の開発環境を構築する - Qiita
AWS SDK for C++を利用した開発を行うのにDockerとMinioを利用して開発環境を用意してみました。 環境構築 GitHubに設定と実装をアップしていますので、よければご参考ください。 https://github.com/kai-kou/aws-sdk-cpp-on-docker Dockerfile でAWS SDK for C++がインストールされたイメージをビルドできるようにします。 ベースとなるイメージにubuntu 指定していますが、他に変えてもおｋです。お好みで。 SDKのビルド時に-DBUILD_ONLY を指定しないとSDK全体がビルドされることになり、おそらく数時間かかりますので、ご注意ください。 FROM ubuntu:18.04 RUN apt-get update && \ apt-get install -y git build-essentia
FluentdでS3にログを収集してみる | DevelopersIO
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket
GitHub上のAnsiblePlaybookをSystems Managerで実行する | DevelopersIO
はじめに 中山（順）です 以前、弊社の大栗より、「EC2の管理を行えるSystems ManagerでgithubやS3に配置したファイルをローカルにダウンロードして実行することが可能になりました。」という内容をご紹介しました。 Systems Managerのスクリプト実行でgithubとS3をサポートしました 今回、これを応用してGitHub上のAnsiblePlaybookをEC2インスタンス上で実行させてみました。 おさらい "AWS-RunRemoteScript"でやっていることは、以下の2つです。 コンテンツ（スクリプトなど）のダウンロード https://docs.aws.amazon.com/systems-manager/latest/userguide/ssm-plugins.html#aws-downloadContent コマンドの実行 (Windows) htt
AWS Code シリーズを使って git push と連動して静的コンテンツを自動リリースする環境の作り方 - log4ketancho
この記事は、 OpsJAWS Advent Calendar 2017 - Qiita の1日目分として書かせていただきます。（既に12/9ですが、空いていたので埋めさせていただきました！） S3の静的ホスティング機能が便利でたまりません。フロントはS3、バックエンドは API GW + Lambda + DynamoDB で、安い・はやい・うまい三拍子揃ったWebサービスを提供していきたいです。 ただし、この「安い」とか「はやい」ですが、一番ネックになるのは人手がかかる部分だと思っています。コア機能を開発するのに時間をかけるのはいいとして、それ以外の部分の無駄を極力減らしていくことが重要だと思います。AWSには運用を支援するサービスがたくさんありますので、少しずつ使い方をまとめていきたいと思います。まずは入門編ということで、下記の流れを自動化します。 S3上で静的コンテンツをWebホステ
阿部寛のサイトを高速化する - Qiita
ちまたで阿部寛のサイトが早いと話題になってます。 dev.toと阿部寛のホームページどっちが速いですか？ dev.toと阿部寛のホームページについてちゃんと計測させてくれ 阿部寛のサイトはベストを尽くしてるのか？ それを調べるために、阿部寛のサイトを高速化させてみたいと思います。 目指すべきスピード 最速はローカルのファイルへのアクセスだと思うのでこれを目指したいと思います。 file:///C:/abe_hiroshi/index.html ChromeのDeveloper Toolでレンダリング完了が「173ms」でした。 まぁここまでは無理だな… 阿部寛のサイトはどんなもん？ 速度はwebpagetest.orgで測ってみます。 レンダリング完了時間は「359ms」です。はえーな S3でホスティングしてみる サーバーを立てるほどでもないので、S3でWebホスティングしてそこにhtml
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Snakemake with s3 and custom profile
Resumable file upload with S3
GitHub - replicate/keepsake: Version control for machine learning
