並び順

ブックマーク数

期間指定

  • から
  • まで

441 - 480 件 / 6264件

新着順 人気順

iamの検索結果441 - 480 件 / 6264件

  • 歴史・年表でみるAWSサービス(AWS Systems Manager編) -機能一覧・概要・アップデートのまとめ・SSM入門- - NRIネットコムBlog

    小西秀和です。 前回は「歴史・年表でみるAWSサービス(Amazon S3編) -単なるストレージではない機能・役割と料金の変遷-」の記事でAmazon S3の歴史や料金の変遷などを紹介しました。 今回は数年の間に名称変更や様々な機能が統合されてきたAWS Systems Manager(SSM)について歴史年表を作成してみました。 ただ、前回とは異なり、今回は料金の変遷や細かいアップデートは省略してSSMの主要な機能だけに着目しています。 また、本記事執筆時点の「現在のAWS Systems Managerの機能一覧と概要」もまとめました。 今回の記事の内容は次のような構成になっています。 AWS Systems Manager歴史年表の作成経緯と方法 AWS Systems Manager歴史年表(2014年10月29日~2021年12月31日までのアップデート) AWS System

      歴史・年表でみるAWSサービス(AWS Systems Manager編) -機能一覧・概要・アップデートのまとめ・SSM入門- - NRIネットコムBlog
    • MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ

      概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み

        MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ
      • AWS IAMの最小権限追求の旅 - プログラマでありたい

        皆さん、IAM使ってますか〜? 今日は、IAMのベストプラクティスの中に呪縛のように存在する、最小権限をテーマに悩みを語ってみようと思います。 IAMでのセキュリティのベストプラクティス まずは、IAMのベストプラクティスの確認です。2020年7月現在では、17個存在しています。一番最後のビデオで説明するの唐突感以外は、どれも納得感がある内容で実践・遵守すべきです。 docs.aws.amazon.com AWS アカウントのルートユーザー アクセスキーをロックする 個々の IAM ユーザーの作成 IAM ユーザーへのアクセス許可を割り当てるためにグループを使用する 最小権限を付与する AWS 管理ポリシーを使用したアクセス許可の使用開始 インラインポリシーではなくカスタマー管理ポリシーを使用する アクセスレベルを使用して、IAM 権限を確認する ユーザーの強力なパスワードポリシーを設定

          AWS IAMの最小権限追求の旅 - プログラマでありたい
        • 闇の深いEC2を、EBSボリューム経由で、闇の深いDockerコンテナに転換する - Qiita

          みなさんDocker使ってますか。私は闇の深いEC2に阻まれて難しい状況です。闇を抱えたままDockerizeします。 闇が深いとは このくらいを指すものとします。 AMIの出所がわからない EC2インスタンスのAMI IDが、自前AMIになってる Linuxディストリはわかるが、起点にしたバージョンはわからない AMIがどうやってできたのかわからない sudo vi /etc/hoge.conf してるっぽい sudo yum install -y hoge してるっぽい wget https://~~~~/hoge.tar.gz から make install してるっぽい AMI更新手順がわからない 変更したい人々と、変更できる人々が違っている 実施できるのは、本番環境にSSHできる極少人数 簡単なはずのconfの変更も尻込みして進まない Dockerize & k8s移行とか盛り上

            闇の深いEC2を、EBSボリューム経由で、闇の深いDockerコンテナに転換する - Qiita
          • AWS再入門2022 AWS Serverless Application Model (AWS SAM)編 | DevelopersIO

            弊社コンサルティング部による『AWS 再入門ブログリレー 2022』の4日目のエントリでテーマはAWS Serverless Application Model (AWS SAM)です。 こんにちは、リサリサです。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2022』の 4日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう!という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2022年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂け

              AWS再入門2022 AWS Serverless Application Model (AWS SAM)編 | DevelopersIO
            • IAM ロールを 1000 個作って遊んでいたら AWS 利用費が 50 ドルを超えていた話を JAWS-UG 初心者支部で LT しました | DevelopersIO

              コンバンハ、千葉(幸)です。 2021/4/27 に、JAWS-UG 初心者支部 #36 が しくじり LT というテーマで開催されました。 イベントの概要はこちら。 AWS初心者がやってしまいがちな失敗談を募集します。 過去の失敗事例 初心者が落ち入りそうな事例 初心者が不安に感じそうだけど、XXすれば大丈夫だよ。というセーフティネット的な事例 ハンズオンで高額請求きちゃった事例 失敗は成功のもと!! みなさんの失敗例を、活かして頂ける場になれば幸いです!! 次回以降のハンズオン初心者のアドバイスになるネタがあれば嬉しいです!! ホットなしくじりを持つ AWS 初心者のわたしは、ここぞとばかりに申し込み、登壇することにしました。 プロローグ やぁ、僕はどこにでもいる平凡なエンジニア。ある日 急に、IAM ロールを 1000 個作りたいな、って思ったんだ。みんなもきっとそんなこと、あるよね

                IAM ロールを 1000 個作って遊んでいたら AWS 利用費が 50 ドルを超えていた話を JAWS-UG 初心者支部で LT しました | DevelopersIO
              • TerraformではなくCDKを使っている話 | MoT Lab (GO Inc. Engineering Blog)

                (これはMoT Advent Calender 2022の24日目です) データエンジニアの渡部徹太郎です。私の担当しているプロジェクトでは、Infra as CodeにTerraformではなくCDKというツールを使っているので、その話をします。 CDKの概要 CDKとはAWS専用のInfra as Codeツールです。正式名称AWS クラウド開発キット (AWS Cloud Development Kit)です。 CDKの特徴プログラミング言語でAWSのリソースを記述プログラミング言語はTypeScriptがメインだが、他にもJavaScript,Python,Java,C#でも記述できるAWSのリソースを表すクラスをNewすると、AWSのリソースができるイメージ実態はCloudFormationを吐き出してデプロイするツール。デプロイするとAWSのCloudFormationのSta

                  TerraformではなくCDKを使っている話 | MoT Lab (GO Inc. Engineering Blog)
                • CircleCI セキュリティアラート: CircleCI 内に保存されているシークレットのローテーションをお願いいたします[1月13日更新]

                  CircleCI セキュリティアラート: CircleCI 内に保存されているシークレットのローテーションをお願いいたします[1月13日更新] セキュリティアップデート 2023年1月12日 00:30 UTC(日本時間1月12日午前9時30分) 当社はAWSと提携し、このセキュリティインシデントに関連してAWSトークンが影響を受けた可能性のある、すべてのお客様に通知をいたしました。本日AWSは、影響を受けた可能性のあるトークンのリストをメールにてお客様へ配信を開始いたしました。メールの件名は、[Action Required] CircleCI Security Alert to Rotate Access Keys( [要対応] CircleCIセキュリティアラート - アクセスキーをローテーションしてください)です。 AWSと連携したことにより、お客様はより簡単に影響を受けたキーを特

                    CircleCI セキュリティアラート: CircleCI 内に保存されているシークレットのローテーションをお願いいたします[1月13日更新]
                  • 「進化し続けるインフラ」でありたい リクルートのAWS基盤チームによるマルチアカウント管理

                    AWSマルチアカウント事例祭りとは、AWSを活用する複数社が集まりお話しする祭典です。株式会社リクルートの須藤氏からは基盤の権限設定からコスト配賦、リアルタイム監視まで、マルチアカウント管理に必要なことについて共有されました。 クラウドの恩恵をプロダクトに届けることをミッションに 須藤悠氏(以下、須藤):では『「進化し続けるインフラ」のためのマルチアカウント管理』について発表いたします。私、須藤と申しまして、好きなAWSのサービスはFargateとOrganizationsです。ただOrganizationsは使い倒すっていうほど使いこなせてはいない状況です。 HashiCorpのプロダクトが好きでして、TerraformとかTerraform Enterpriseがとても好きです。あと猫とかピザが好きで、猫とピザの、(着ているTシャツを指し)このおもしろTシャツを着てたりします。 所属は

                      「進化し続けるインフラ」でありたい リクルートのAWS基盤チームによるマルチアカウント管理
                    • Amazon ECS で実行するコンテナをローカルでテストする - Qiita

                      概要 Amazon ECS 上で実行するコンテナをローカルでテストする際ってどうしてます? すでにご存知の方はバシバシ使われているかもですが、改めて焼き直しということで本ブログを書いていきます。 紹介するツールは、こちらの amazon-ecs-local-container-endpoints と ecs-cli です。 ちなみに ECS ってなにもの? Amazon ECSとは、AWSのフルマネージドなコンテナオーケストレータサービスです。 また、コンテナが実行される場所(データプレーン)としては、fargate、EC2、Anywhere などがあります。 amazon-ecs-local-container-endpoints まず初めに amazon-ecs-local-container-endpoints についてです。 一言で表すと、ECS 上で実行するコンテナをデプロイする

                        Amazon ECS で実行するコンテナをローカルでテストする - Qiita
                      • Amazon S3 セキュリティベストプラクティスの実践(権限管理のポリシー) – 前編 | Amazon Web Services

                        Amazon Web Services ブログ Amazon S3 セキュリティベストプラクティスの実践(権限管理のポリシー) – 前編 はじめに AWS では、サービス毎にセキュリティのベストプラクティスを公式ドキュメントとして提供しています。本記事では AWS を利用したシステムのセキュリティの検討や実装に関わる皆様を対象に、AWS の代表的なストレージサービスである Amazon Simple Storage Service (S3) を題材にとりあげて、公式ドキュメントで紹介しているベストプラクティスの実装方法をできるだけ具体的に解説したいと思います。 IT セキュリティにおいては、一つの脆弱性や悪意がセキュリティ事故に直結しないようにシステムを多層的に保護する事が重要です。AWS においても、サービスが提供する機能を適所でご利用いただければ多層化されたセキュリティ保護策を、クラウ

                          Amazon S3 セキュリティベストプラクティスの実践(権限管理のポリシー) – 前編 | Amazon Web Services
                        • マネコン起動もできるAWSのスイッチロール用CLIツール「AWSume」の紹介 | DevelopersIO

                          プロファイル指定したマネジメントコンソールの起動までできる、コマンドラインツールです。全AWSユーザーが求めていたのはこれなんじゃないでしょうか。どすこい。 「スイッチロールからの作業、AWSのベストプラクティスだけれどツールの設定がめんどくさいよね」 ハマコー、最近会社のパソコンをIntel MacからM1 Macに切替たことがきっかけで、いろんなツールを再度セットアップしてました。 普段AWS触っている身としてはスイッチロールして作業する環境も必須なので、改めて最新ツールを物色していたところ、弊社技術番長の岩田御大に教えてもらったAWSumeというツールが圧倒的に便利だったので、前のめりに紹介します。 標準公式のconfigとcredentialファイルのみで動作し、別途設定ファイルは不要 コマンドラインから、プロファイル名の自動補完に対応 指定したプロファイルから、マネジメントコンソ

                            マネコン起動もできるAWSのスイッチロール用CLIツール「AWSume」の紹介 | DevelopersIO
                          • AWS Security Reference Architecture: A guide to designing with AWS security services | Amazon Web Services

                            AWS Security Blog AWS Security Reference Architecture: A guide to designing with AWS security services Amazon Web Services (AWS) is happy to announce the publication of the AWS Security Reference Architecture (AWS SRA). This is a comprehensive set of examples, guides, and design considerations that you can use to deploy the full complement of AWS security services in a multi-account environment th

                              AWS Security Reference Architecture: A guide to designing with AWS security services | Amazon Web Services
                            • [発表] Lambda 関数が VPC 環境で改善されます | Amazon Web Services

                              Amazon Web Services ブログ [発表] Lambda 関数が VPC 環境で改善されます 本投稿は AWS サーバーレス アプリケーションのプリンシパルデベロッパーアドボケートであるChris Munnsによる寄稿です。 元の投稿からの更新情報: 2019年11月28日(PST):  次のリージョンに対して、元の投稿に記載されている改善を完全に展開しました:中東(バーレーン)。 2019年11月25日(PST):次のリージョン、米国東部(バージニア北部)、米国西部(オレゴン)、カナダ(中央)、EU(ロンドン)、EU(ストックホルム)、およびアジア太平洋(香港)に対して、これらのリージョンのすべてのAWSアカウントには、元の投稿で概説した改善を展開しました。 2019年11月6日(PST):次のリージョン、米国西部(北カリフォルニア)、EU(アイルランド)、EU(パリ)、ア

                                [発表] Lambda 関数が VPC 環境で改善されます | Amazon Web Services
                              • PCI DSS対応 AWS 上の踏み台サーバーでの操作ログ取得、MFA、アイドルタイムアウトを実現 | DevelopersIO

                                PCI DSS に対応すべく Linux サーバーの操作履歴を S3 へ保存する、ログイン時に MFA を使用する、アイドルタイムアウトを実装する方法を紹介します。 こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 AWS 上の踏み台サーバー (ここでは Amazon Linux 2 を想定しています) での操作履歴を S3 へ保存する、ログイン時に MFA を使用する、アイドルタイムアウトを実装する方法を紹介します。 PCI DSS の関連して以下のような要件があり、これを実現するために考えた方法です。 ssh ログインは Google Authenticator を利用した二要素認証にしたい ssh ログイン後の操作ログ(コマンドログ)を保管したい 踏み台サーバーから更に業務サ

                                  PCI DSS対応 AWS 上の踏み台サーバーでの操作ログ取得、MFA、アイドルタイムアウトを実現 | DevelopersIO
                                • AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店

                                  3行で シンプル/ミニマルな Lambda のデプロイツール lambroll を書いてるよ Lambda API 以外は極力触らないやつです 既存 function の移行も簡単です 開発の経緯 AWS Lambda を管理、デプロイするのに数年来 Apex を使っていましたが、最近更新がないと思っていたら案の定というか、残念ながら No longer maintained となってしまいました。 で、代替を探したのですが… Lambda管理、Apexがお亡くなりになってServerlessかSAMになるんだけど、本当は関数だけdeployできればよくて(IAMとか関連リソースはTerraformでやるんで)、それなら裏でCloudFormationが動くようなのじゃないシンプルなのがいいなあ。作れば作れるけどデプロイツールばっかり書くことになるな…— fujiwara (@fujiwa

                                    AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店
                                  • S3バケットポリシーの具体例で学ぶAWSのPolicyドキュメント | DevelopersIO

                                    AWSのアクセスを管理するPolicyドキュメントは柔軟に可否を設定できてとてもすごい! でも、柔軟がゆえに難しい!評価条件もよくわからない! 具体例があると理解の助けになると考えているので、自分の考えを整理するために具体例を作りました。 具体例を見ながらPolicyドキュメントについて学んでいきましょう。 Policyドキュメントとは? AWSでアクセスを管理するために、基本的にはIAMポリシーとIAMロールを作成し、それをIAMユーザーやAWSリソースにアタッチする必要があります。 ポリシーとアクセス許可 - AWS Identity and Access Management そのときに、IAMポリシーでアクセスする許可と拒否の条件をJSON形式で記述したものがPolicyドキュメントです。 Policyドキュメントの例 { "Version": "2012-10-17", "Sta

                                      S3バケットポリシーの具体例で学ぶAWSのPolicyドキュメント | DevelopersIO
                                    • 一迅プラスのインフラ構成について - BOOK☆WALKER inside

                                      こんにちは。 メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では株式会社一迅社さまの公式漫画連載サイトであり、ブックウォーカーが開発保守運用を担当している一迅プラスのサービスインフラの概要についてご紹介したいと思います。 もしよければ、前記事のニコニコ漫画のインフラ構成についてならびに読書メーターのインフラ構成についてもご覧ください。 一迅プラスについて 一迅プラスは株式会社一迅社さまが運営する公式漫画連載サービスです。 冒頭試し読みから連載まで、2022/06/10現在で150を超える作品が掲載されています。 一迅プラスのトップページ この一迅プラスにおいてブックウォーカーは開発保守運用を担当し

                                        一迅プラスのインフラ構成について - BOOK☆WALKER inside
                                      • 【保存版】Azure/AWS/Google Cloud(GCP)/OCI サービス比較 - NOBTAの気ままにITブログ

                                        ※ 2021年1月 更新 マルチクラウド化が進むにつれて、各種クラウドサービスを比較する機会が増えるのではないかと思います。 今回は、自分の整理も兼ねて、Azure (Microsoft 365)/AWS/Google Cloud (Google Workspace)/OCI のサービス比較表 を作成してみようと思います。 *1*2 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース データベース ID WEB コンピューティング ストレージ セキュリティ 仮想デスクトップ 統合 分析 まとめ 参考情報 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース Azure AWS Google Cloud OCI マーケットプレース Azure Marketplace AWS Marketplace

                                          【保存版】Azure/AWS/Google Cloud(GCP)/OCI サービス比較 - NOBTAの気ままにITブログ
                                        • ナビ交換の受付でお客様が突然「作業は男性スタッフがやるのか?」「男性スタッフと話したい」って言い始めた→「壊れたナビからアレを取り出せないか?」

                                          イ・ケメン🐢🏎️ @iam_1308 いやー今日ナビ交換の受付でお客様が突然「作業は男性スタッフがやるのか?」「男性スタッフと話したい」って言い始めたらしく、飯中だったけどワイ召還されて、お客様に「車で話したい。確認してほしい」と言われて現車確認を一緒に向かったら... 「壊れたナビからAV取り出せないか?」 だと... 2023-12-12 23:40:34

                                            ナビ交換の受付でお客様が突然「作業は男性スタッフがやるのか?」「男性スタッフと話したい」って言い始めた→「壊れたナビからアレを取り出せないか?」
                                          • ECSタスクのコンテナ異常終了を検知する3つの方法 | DevelopersIO

                                            以降、それぞれの検知方法を紹介していきます。 検知方法①:サービスのランニングタスク数をメトリクスから検知 一番代表的な方法です。ECSコンテナエージェントは、タスク内のコンテナの状態をモニタリングしています。構成①と②においては、essential=trueのコンテナのみ含まれているので、コンテナの停止は即ECSタスクの停止となります。 あとは、ECSサービスにおけるDesiredTask Count(期待するタスク数)をしきい値としたランニングタスク数のCloudWatchメトリクスを用意しておき、しきい値を下回った時=タスクが異常終了したときにアラームを発火します。 一点、CloudWatch Alarmはある一定期間のメトリクスの状態からアラームを検知するものなので、検知までいくらかのタイムラグが有ることは注意しておきましょう。 基本的にECSのサービス運用においては、そのDesi

                                              ECSタスクのコンテナ異常終了を検知する3つの方法 | DevelopersIO
                                            • 自動運転を支えるWeb技術 - 信頼性への取り組み (SRE編) - TIER IV Tech Blog

                                              こんにちは、ティアフォーでSREを担当している宇津井です。 2019年9月にSite Reliability Engineering(SRE)として入社して以来行ってきたことをざっと振り返った上で、自動運転の社会実装においてWeb系のエンジニアには何が求められるのかという答えを探っていきたいと思います。スタートアップ企業でどのようにSREの文化を作っていくのかという面でも何かの参考になるのではないかと考え筆を取っています。 と言いつつも重要なことなので最初に書いておきますが、ティアフォーのSREは私が一人目で入社して以来専任としてはずーっと一人でその役割を担ってきました。ようやく一緒に働く方を募集できる状態になりました。そのような背景もあってこのエントリーを書いています。もしご興味がある方は以下のCareersページからご連絡をお待ちしております。 tier4.jp ※SRE編とタイトルに

                                                自動運転を支えるWeb技術 - 信頼性への取り組み (SRE編) - TIER IV Tech Blog
                                              • AWSの多要素認証に1passwordが使えたけど使っちゃダメだと思った話 - Qiita

                                                1passwordのアイテム編集画面で、フィールドタイプを眺めててふと思った。「ワンタイムパスワードってあるけど、これ、AWSで多要素認証するときの『仮想MFAデバイス』に使えるのでは」と。結論から言えば、使えた。快適。でもこれは多分「人をダメにするナントカ」的な快適さだ。やっちゃいけないやつだ。 AWSでは、AWSアカウントの管理者であるrootユーザー(メールアドレスでログインする人)と、利用者であるIAMユーザー(ユーザーIDでログインする人)のどちらでも、多要素認証(MFA:Multi-Factor Authentication)を設定して認証を強化できる。 認証方法はパスワード認証+ワンタイムパスワード(当人が知っていること+当人が持っているもの) ワンタイムパスワードの生成には、専用のデバイスであるU2FセキュリティキーやハードウェアMFAデバイス、スマホアプリである仮想MFA

                                                  AWSの多要素認証に1passwordが使えたけど使っちゃダメだと思った話 - Qiita
                                                • フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ

                                                  はじめに Presigned URL(*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I

                                                    フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ
                                                  • 【11冠達成記念】AWS認定資格の勉強法について(スペシャリティ中心に) - Qiita

                                                    はじめに 2015年からAWSを本格的にさわりはじめ、7年たってようやく11冠達成したのでログとして情報を残しておきます。 マイ認定取得ヒストリー 資格取得のメリット 資格取得のデメリット 資格なんてという人に マイ勉強法 効率のよい取得の順番 スペシャリティ試験のポイント Security 概要 セキュリティに関するサービス全般をおさえたうえで、セキュリティ環境を実現する保護のメカニズム、ソリューション、トラブルシューティングの知識が求められる試験。 試験のポイント 頻出:IAM/S3/KMS/CloudTrail/Inspector/GuardDuty/Trusted Advisor など セキュリティはクラウドならではの非機能要件であること、SAPで求められる知識の範囲と重なっていてSAPでもセキュリティに関する問題はよく出題されることから、SAPより先に取っておく or SAPのす

                                                      【11冠達成記念】AWS認定資格の勉強法について(スペシャリティ中心に) - Qiita
                                                    • Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし

                                                      機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip

                                                        Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
                                                      • GitHub Actions + google-github-actions/auth で GCP keyless CI/CD

                                                        GitHub Actions + google-github-actions/auth で GCP keyless CI/CD 追記 2021/10/08 v0.3.1 にすると aud 周りの設定変更が必要 ソース 追記 2021/10/07 OIDCトークン発行元のURLが変更になったようです ソース 要約: GitHub ActionsでCI/CD的なことやろうとしたとき、SecretsとかにGCPのService AccountのKeyとか置かなくてもデプロイとかできるようになったらしいのでやったらできた。 経緯 AWS federation comes to GitHub Actions という記事が出て。 GitHub ActionsのOIDC id tokenでGCPにアクセスしてみた といってGCPでもやれるか確かめた人が出て。 Use gcloud with creden

                                                          GitHub Actions + google-github-actions/auth で GCP keyless CI/CD
                                                        • AWSの薄い本シリーズ(IAMのマニアックな話など)の読書メモ - 無印吉澤

                                                          年明けから IAM 周りの整理をいろいろしなければいけなくなったので、佐々木拓郎さんの「AWSの薄い本」シリーズ2冊を読みました。今回はその読書メモです。 booth.pm booth.pm AWS は普段から使っているので、IAM の基本的な機能はもちろん知っているのですが、最近追加された機能(特にマルチアカウント管理に関する機能)については全然追えてなかったので勉強になりました。 以下、勉強になった点をまとめたメモです。AWS の情報は日々変わっていってしまうので、発行日も併せて記載しました。 AWSの薄い本 IAMのマニアックな話(発行日:2019年9月22日) 第1章 AWSとIAM AWS Organizations は本書の対象外 ポリシー記述の文法的な部分は本書では扱わない。詳細は公式のIAM JSON ポリシーのリファレンス を参照 第2章 IAMの機能 IAMの機能のうち

                                                            AWSの薄い本シリーズ(IAMのマニアックな話など)の読書メモ - 無印吉澤
                                                          • インフラ初心者がゼロダウンタイムでECS clusterの切り替えに挑戦した話〜式年遷宮〜 - カミナシ エンジニアブログ

                                                            こんにちは。カミナシでソフトウェアエンジニアをしているaomanです。 私のエンジニアとしての経歴はカミナシが2社目で、前職も含めフロントエンドからバックエンドまで一通り開発はしていました。ですが、AWSなどインフラに関しては、アプリケーション開発時必要になったところを少し触ったりするくらいで、ガッツリと本格的に学んだことがありませんでした。 そんな私ですが、今回ECS Clusterの切り替え作業を先輩エンジニア監修の元一緒に行う機会をいただきました。どのようなことをしたのか、簡単にではありますがご紹介させて頂こうと思います! ざっくり概要 カミナシのサービスでは、APIサーバーの運用にAmazon ECS(on Fargate)を利用しています。また、APIサーバーコンテナの他にいくつかのコンテナが起動しています。以下がざっくりとした図になります。1つのTask定義があり、4つのコンテ

                                                              インフラ初心者がゼロダウンタイムでECS clusterの切り替えに挑戦した話〜式年遷宮〜 - カミナシ エンジニアブログ
                                                            • 全人類(とまでは言わないけどAWSエンジニア)はAWS Loftに一度は行くべき #AWSLoft | DevelopersIO

                                                              飛行機に乗るたびに風邪を引くもこ@札幌オフィスです。 初めてAWS Loftに来ていて、とても仕事が捗っている気がするので、AWS Loftはいいぞという主張をしたいと思います。 AWS Loftに行こう。 弊社からも何本かAWS Loftに関するブログが出ていますが、改めて書かせていただきます。 オープンしたてのAWSスタートアップ向け施設「AWS Loft Tokyo」でリモートワークしてみた #awsloft GO 目黒駅から徒歩数分で到着します! 外見はこんな感じ(いかつい) チェックイン 3階のオフィスエントランスで警備員の方に「AWS Loftに来ました!」というと、エレベーターのあるゲートを通してもらえます。 そのままエレベーターで17階まで上がります。 入るとこんな感じで、正面にはAmazon Basicなどのデモ商品がずらりと並んでいます。 Amazonの倉庫ロボットも展

                                                                全人類(とまでは言わないけどAWSエンジニア)はAWS Loftに一度は行くべき #AWSLoft | DevelopersIO
                                                              • セキュリティ主要7分野・脅威の進化と対応 - RAKUS Developers Blog | ラクス エンジニアブログ

                                                                はじめに こんにちは、技術広報の菊池です。 セキュリティの確保は技術的な課題にとどまらず、お客様の満足、さらには企業の存続に直結する重要なトピックスです。 私たちSaaS企業も例外なく、常に変化する脅威にさらされており、日夜対策のアップデートが求められますので、 私も自身の理解を深めるためにキーワードと各分野の歴史をまとめてみました。 本記事で取り上げるセキュリティ主要7分野では、新しい技術の登場と共に、新たな脅威が絶えず発生し、その対策の進歩も伺えました。 今回は、アプリケーション、ネットワーク、エンドポイント、データ、クラウド、アイデンティティとアクセス管理、インシデント対応と復旧のセキュリティについて、 その概要と1980年代〜現代に至るまでの歴史、脅威と対応策の進化を総括しました。全てはカバーしきれませんでしたが、代表的なツールも紹介しています。 それぞれの分野では個別の発展があり

                                                                  セキュリティ主要7分野・脅威の進化と対応 - RAKUS Developers Blog | ラクス エンジニアブログ
                                                                • 【CI/CD for Amazon ECS】ECSへの自動デプロイの流れをまとめてみた - サーバーワークスエンジニアブログ

                                                                  こんにちは。AWS CLIが好きな福島です。 はじめに 今回は、以下のハンズオンを実施したため、ハンズオンの内容を基にCI/CD for Amazon ECSの自動デプロイの流れをまとめてみます。 ◆AWS CI/CD for Amazon ECS ハンズオン https://pages.awscloud.com/rs/112-TZM-766/images/AWS_CICD_ECS_Handson.pdf また、以下のブログを読んだ後に本ブログをお読みいただくと良いかと存じます。 https://blog.serverworks.co.jp/cicd-ecs-build-deploy-files 概要図 流れの説明 ①コードのPush ローカルや開発環境で開発したコードをCodeCommitにPushします。 ②CodeCommitへのPushを検知し、CodePipelineが起動 Co

                                                                    【CI/CD for Amazon ECS】ECSへの自動デプロイの流れをまとめてみた - サーバーワークスエンジニアブログ
                                                                  • 2020年に作ったDevOps内製ツール|Dentsu Digital Tech Blog

                                                                    電通デジタルでSite Reliability Engineer(SRE)をしている齋藤です。 電通デジタルアドベントカレンダー20202日目の記事になります。前回の記事は「Dentsu Digital Tech Advent Calendar 2020開始します!」でした。 本記事では2020年にSREチームで作ったDevOps内製ツールについてご紹介させていただきたいと思います。内部プロダクトのユーティリティーなど細々したものは色々あるのですが、今回は日常的に利用頻度の高い以下2つのツール ・Auth0をIdPにしたAWSマルチアカウントSSOのクレデンシャル取得ツール(auth02aws) ・オンデマンドでBastionホストを起動して使うツール(bastion-session.sh) を紹介させていただきます。 Auth0をIdPにしたAWSマルチアカウントSSOのクレデンシャル取

                                                                      2020年に作ったDevOps内製ツール|Dentsu Digital Tech Blog
                                                                    • これをつけとけ!セキュアなIAMポリシー | DevelopersIO

                                                                      こんちは、テクニカルサポートチームの丸屋 正志です。 ■ご注意ください このポリシーでは「IAMユーザーと同じ名称でMFA設定を行う場合」のみMFA設定の許可が与えられています。 2022/11よりMFA設定時に任意の名称を指定できるようになっており、上記の名称と異なるMFA名を指定した際にエラーになる場合があります。(上述のセキュアポリシー以外でMFA設定の許可が与えられていればエラーは発生しません。) (参考情報) https://aws.amazon.com/jp/about-aws/whats-new/2022/11/aws-identity-access-management-multi-factor-authentication-devices/ 1. AWSアクセスキーセキュリティ意識向上委員会って何? 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵

                                                                        これをつけとけ!セキュアなIAMポリシー | DevelopersIO
                                                                      • AWSアカウントの本番環境でケアレスミスを起こさないために意識していること | DevelopersIO

                                                                        こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。 この記事では私が普段AWS環境を触るときに、ケアレスミスを起こさないために気をつけていることをまとめてみました。 あまり特別なことはしていないのですが、どなたかのご参考になれば幸いです。 普段行っていること ※ この記事ではミスしたくない/ミスできない環境を「本番環境」という表現で統一しています。 スイッチロール時に AWS Extend Switch Roles を使う 作業対象のAWSアカウントにログインする場合、IAMロールによるクロスアカウントアクセス(スイッチロール)という方法を利用しています。 スイッチロールの詳細については下記のブログで紹介しているので、スイッチロールって何?という方はご一読いただければと思います。 入社1年で変化したAWSサービスの使い方 スイッチロールを使う場合はデフォルトのマネ

                                                                          AWSアカウントの本番環境でケアレスミスを起こさないために意識していること | DevelopersIO
                                                                        • Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ

                                                                          はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1: バッチ実行が行われる場所でログを見たかった 理由2: ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった

                                                                            Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
                                                                          • IAMの権限昇格を可視化する「PMapper」 - ペネトレーションしのべくん

                                                                            AWSの権限昇格してますか?(挨拶) PMapperは、指定したAWSアカウントのIAMとOrganizationsを分析して、権限昇格可能なパスを可視化してくれるツールです。NCCグループ社製。 github.com PMapperはIAMポリシー、ユーザー、グループなどをノード、権限昇格する(できる)ノードから、されるノードへのベクトルをエッジとして、有向グラフを生成します。こんな感じ。 権限昇格できるノード--昇格方法-->権限昇格されるノード AdministratorsAccess の他、IAMFullAccess のように、自分自身にポリシーを割り当てられるノードをAdminと位置づけ、AssumeRole や PathRole によってAdminに(直接的か間接的かを問わず)なれる別のノードを探す、という感じみたいです。 実行 CloudShellを使いました。Dockerイ

                                                                              IAMの権限昇格を可視化する「PMapper」 - ペネトレーションしのべくん
                                                                            • 折角だから家で勉強しません? AWS資格ソリューションアーキテクト-アソシエイト(SAA)の受検勉強に役立つブログエントリの紹介 | DevelopersIO

                                                                              ソリューションアーキテクト-アソシエイト(SAA)とは AWSの公式認定資格試験は現在12種類あります。レベルや分野の異なる様々な試験があるわけですが、その中でも代表的、かつ登竜門的な資格がこのソリューションアーキテクト-アソシエイトです。この試験の勉強を通じて、AWSの主要サービスを理解できます。まずソリューションアーキテクト-アソシエイトを取得し、その後は自分のロールに合わせて他の資格を取得する、というのが良くあるAWS認定資格取得のアプローチ方法です。 また、AWSの利用が普及するにつれAWS認定資格の注目度も増しています。 Webサイト「日経 xTECH」2019年8月に実施された「これから取りたいと思うIT資格ランキング」では、SAA含む「AWS認定資格各種」がダントツ 1位を獲得しています。(ソース) アメリカでは、Global Knowledgeが2020年2月に発表した「稼

                                                                                折角だから家で勉強しません? AWS資格ソリューションアーキテクト-アソシエイト(SAA)の受検勉強に役立つブログエントリの紹介 | DevelopersIO
                                                                              • [レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO

                                                                                DynamoDBのデータモデリングって、よくわからなくないですか?正規化してはいけないとか、一つのテーブルで全データを扱うんだとか聞きますが、具体的にどうしたらよいのか… という疑問に正面から答えてくれるセッションにre:Invent中に遭遇しました!具体的なアプリケーション例を挙げて、そこでのデータモデリング方法を詳細に解説してくれます。DynamoDBデータモデリング初心者の方は是非ご一読ください! ※「DynamoDBとは」といった前段の説明が不要な方はここからどうぞ セッションタイトル CMY304 - Data modeling with Amazon DynamoDB セッション概要 DynamoDBであなたのデータをモデリングするには伝統的なRDSでモデリングする場合と異なるアプローチが必要です。 Alex DeBrieはDynamoDBを使ったアプリケーションをいくつか実装

                                                                                  [レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO
                                                                                • 【反省】新卒1年目がAWSの認証キーを流出させてしまった話 - Qiita

                                                                                  はじめに 私は新卒1年目で神戸のSIerに勤めています。 この度AWSキーを流出してしまうという、 初心者であるもののエンジニアとして恥ずべき行為をしてしまったので 2度とこのような失態を踏まないように再発防止の意味を兼ねてここに記そうかと思います。 また今後AWSキーを流出してしまうことを完全に防ぐことは難しいかと思いますが、 今までAWSキーを無意識に扱っていた方の認識を改める記事になればと思います。 何をしたのか ことが起こったのは2020年6月24日。 Github Actionsを利用して、CI機能を実装しようとしていた時のこと。 やろうとしていたことはGithubのリモートリポジトリにpushされたときに、 AWS S3に公開ファイルをデプロイするというものでした。 Actionsにはワークフローとして、AWS認証キーを設定する処理が含まれていたので、 アクセスキーとシークレッ

                                                                                    【反省】新卒1年目がAWSの認証キーを流出させてしまった話 - Qiita