もしもいま、インフラ技術をイチから学ぶならどうしたい？ 現役SRE・Yutaさんが考える学習ロードマップ - Findy Engineer Lab
めまぐるしく変化するテックの世界。技術を身に着けるうえで学ぶべきポイントや学習環境なども年々変わっています。 そこで「もしもいまの環境で、テックのことをイチから学び直すことになったら、自分はどんな風に勉強したいか」というIFストーリーを通じて、技術との向き合い方を考え直してみる企画「テック転生」。 今回は、FinTech企業のSREを務めるYutaさん（@Y0u281）に“自分だったらこう進めたい、インフラ技術の学習ロードマップ”を伺いました。 パブリッククラウドが当たり前になった今、インフラ技術を学ぶスタート地点は？ サーバー構築の次は、ネットワークと資格の勉強を Linuxとネットワークを学んだらいよいよAWSの学習へ 自分が学んだ時より学習コンテンツが豊富 コミュニティを活用すると情報が増えてモチベーションも高まる パブリッククラウドが当たり前になった今、インフラ技術を学ぶスタート地
はじめに この仕事を始めた当初(約20年前)はオンプレミスという言葉がありませんでした。いや厳密には私の周りではパブリッククラウドとオンプレミスを分けて話す人はおらず、インフラ構築といえば今でいうオンプレミスが中心でした(世の中的にはパブリッククラウドがサービスとして存在していました)。オンプレミスみたいに新しい概念が出てきた時にそれまでの概念を説明するためにできる言葉をレトロニムというそうです。 私が本格的にパブリッククラウドの仕事をし始めたのは約3年前でAWSでした。研修ではAzureを先に触れていたのと、この本を読んでいたという知識があった程度です。 ここではずっとオンプレミスのインフラ構築をしていた私がAWSに触れて最初に戸惑ったことを記事したいと思います。また、戸惑いましたということだけ書いても学びがないため対応したことも併せて記載します。AWSに慣れている人からすれば常識ですが
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
対象読者 様々なプロダクトへ AWS アカウントや環境を提供する SRE / CCoE チームを想定しています。 マルチAWSアカウント環境 SRE / CCoE は各プロダクトが安全かつ便利に AWS を利用できるよう、AWS アカウントの設定・払い出しや周辺コンポーネントの提供（踏み台・ID管理・ログ収集 etc...）を行います。 個別プロダクトの基盤設計や構築は行いません。 私の担当案件では 100 以上の AWS アカウントを提供しています。これでも多いとは言えず、例えば NTT ドコモでは 2,000 以上の AWS アカウントを管理[1]しているそうです。 セキュリティ対応方針 セキュリティグループの全開放や S3 バケットのパブリック公開など、AWS リソースの不適切な設定についての対応を考えます。 ゲート型 IAM ポリシーやサービスコントロールポリシー (SCP) で
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
公開日 2024/07/30更新日 2024/07/31機械学習基盤のアーキテクチャ特集 〜8社の設計意図と今後の展望〜 毎回ご好評頂いているアーキテクチャ特集の今回のテーマは、機械学習です。 機械学習に特に力を入れている日本のIT企業8社にご協力頂き、それぞれの技術的な挑戦と今後の展望についてご寄稿頂きました。各社のアプローチと最新の技術動向を通じて、次世代のイノベーションを紐解いていきましょう。 ※ご紹介は企業名のアルファベット順となっております 株式会社ABEJA ABEJA Insight for Retailについて ABEJA Insight for Retailは、お客様の店舗訪問から購入までの行動をデータから分析する、ABEJAが提供するDXツールです。店舗にIoTデバイス（カメラや来客カウンター等）を設置し、取得データを顧客企業に提供することで小売店舗の運営を支援していま
本記事は AWSアワード記念！夏のアドベントカレンダー 18日目の記事です。 🎆🏆 17日目 ▶▶ 本記事 ▶▶ 19日目 🏆🎆 はじめに クラウド事業推進部の望月です。NRIネットコムでクラウドエンジニアをしています。 主にネットワーク領域を得意としています。 この度、2024 Japan AWS Top Engineersと、昨年に続き2024 Japan AWS All Certifications Engineersに選出いただきました。 Top Engineersについては、何が評価されて選ばれたのか全く分かりませんが、応募はしてみるものです。 Network領域で応募したもののService領域での選出だったので、狭き門なのですね。。 再流行しているコロナに見事に罹患しつつも、「AWSアワード記念！夏のアドベントカレンダー」の18日目を担当します。 先に結論 Lambd
コンテナの話（AWSコンテナ系アーキテクチャの選択肢を最適化する）をした時にメンテナンス画面の表示についても軽く触れました。 改めて整理すると他にもいろいろあるということで、上から順に超ザックリと並べていきたいと思います。一応 AWS でを想定していますが、一般的な方法論でもあるので、どこだろうと何かしらの足しにはなるかもです。 条件 どのようなメンテナンス状態にしたいかによりますが、満たすべき条件はおそらくこのようなものがありますよ、ということで整理します。 １回の変更操作で、一括したメンテインを保証すること 管理者はメンテにならず通常アクセスする手段があること メンテ機能の仕込みによって悪影響がないこと 希望するメンテ用レスポンス内容を実現可能であること 静的 or 動的 Status Code 503 Content-Type レスポンス・サイズ 例えば DNS のレコード値を変更し
日本CTO協会主催の新卒合同研修に参加して圧倒的な学びを得た話 - Tabelog Tech Blog
はじめまして。食べログ開発本部ウェブ開発2部 新卒1年目の濱口(machida4)です。 私は2024年の5月末から7月末までの約2ヶ月間、一般社団法人 日本CTO協会が主催する新卒合同研修に参加しました。 本記事では、新卒合同研修の各講義の内容と、そこから自分が学んだことについてご紹介します。 目次 参加の経緯 新卒合同研修について 第1回：キャリア戦略・フォロワーシップとマネジメント（講師： 日本CTO協会/株式会社LayerX） 第3回：BtoB SaaS開発基礎（講師： 株式会社アンチパターン） 第4回：インテリアコーディネートで学ぶアジャイル開発（講師： 株式会社メンバーズ） 第5回：BigQueryで始めるデータ分析入門&生成AIを活用した分析効率化（講師： グーグル・クラウド・ジャパン合同会社） 第6回：AWSの基礎から学ぶWebアプリケーション構築入門（講師： アマゾンウェ
はじめに こんにちは、かつまたです。 この記事では、AWSを使ってパブリックサブネット配置の踏み台サーバーとプライベートサブネット配置のWebサーバーを構築し、最終的にWebページを表示するまでの手順を2章に分けて、画像とともに説明していきます。具体的には以下の構造を構築しました。 1.踏み台サーバ編 1.1 VPC、サブネット作成 まず、VPCを作成します 1.AWSコンソールにログインし、「VPCを作成」をクリックします。 2.VPCの任意の名前（LT-katsumata-vpc）を入力し、IPv4 CIDRブロックを「10.0.0.0/16」に設定します。 3.「VPCを作成」をクリックします。 次にサブネットを作成します。 1.「サブネットを作成」をクリックします。 2.「VPC ID」に先ほど作成したVPCを選択します。 Public Subnet: 名前タグ: LT-katsu
はじめに AidemyのAIアプリ開発コースを受講して早1か月とちょっと。 成果物の作成に取り掛かったところなので、アプリ開発後にスムーズにブログの執筆ができるように、練習がてら自己紹介でも書いてみようと思う。 1.ざっくり私のこと 都内で児童発達支援をしていたゴリゴリの文系保育士。 Excelで精いっぱいのプログラミング超初心者が、仕事は楽しいけどこのまま働き続けるのは私には厳しいぞと一念発起、Aidemyでプログラミングの勉強を開始。プログラマーとして働く道を模索し始めたところ。 2.今やっていること 成果物の作成。 これが終わらないと修了できない。 Aidemyの講座は雇用保険の教育訓練給付金の対象なので、修了すれば一定の金額が返ってくる。修了後にさらにもう一つ条件（端的に言えば職に就いていることだが、細かい要件があるので割愛）を満たすと計７割が返ってくるので、正直めちゃめちゃでかい
公開日 2024/07/29更新日 2024/07/313フェーズに分けて振り返る atama plus データアーキテクチャ変遷 こんにちは、atama plus株式会社でEngineering Managerや、SRE、データ基盤などplatform系チームのオーナーをしております、前田（ @kzk_maeda）と申します。 atama plusでは「教育に、人に、社会に、次の可能性を。」をミッションに、全国の生徒さんに新しい学習体験を届けるため奮闘しています。 その手段として、AIを用いてパーソナライズされた学習体験を提供しております。その実現のためには生徒さんの学習データを如何に活用していくかは非常に重要な要素です。他にも、データに基づいた意思決定、コンテンツ改善のための指標トラッキング、顧客コミュニケーションなど、様々なところでデータを活用する動きがあり、年々その需要と活用幅は広
「詳解 AWS Lambdaコールドスタート」というテーマでClassmethod ODYSSEYに登壇しました #cm_odyssey #devio2024 | DevelopersIO
「詳解 AWS Lambdaコールドスタート」というテーマでClassmethod ODYSSEYに登壇しました #cm_odyssey #devio2024 Classmethod ODYSSEY OnlineとDevelopersIO 2024 OSAKAで「詳解 AWS Lambdaコールドスタート」というテーマで登壇させて頂きました。このブログでは登壇内容を抜粋しながら紹介していきます。 内容 コールドスタート時のLambdaのライフサイクル Lambdaのコールドスタートはざっくり以下のような流れです コールドスタートの過程で以下4つのフェーズが実行されています Create execution environment... Lambda実行環境が構築される Download code... 我々ユーザーがデプロイしたコードがLambda実行環境にダウンロードされる Start
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
EC2ってなんやねん
1. はじめに どもども、東京喰種にどハマり中の井上弥風（いのうえみふう）です 今回は「EC2ってなんやねん」です 1.1 この記事を書こうと思った理由 現在インフラ案件でAWS構築に取り組んでいて、プロジェクト内でELBを利用していることからELBの内部機能を完全に理解したいと思っていました 手始めに「ロードバランサーってなんやねん」という記事を書き、その流れで「ELBってなんやねん」も書いてみたのですが、ELBの背後にあるEC2の冗長化やオートスケーリングの部分がいまいちピンときませんでした そこで、まずはELBの背後にあるEC2についてしっかりと理解することから始めようと思い、この記事を書くことにしました！って感じです 1.2 記事のゴール この記事を通じて、ELBを完全に理解するための基礎として、その背後にあるEC2が何なのか、どのように利用されるのかを明確にすることが当記事のゴー
AWS IAM Identity Center を使わないマルチアカウント環境のユーザー管理 #devio2024 | DevelopersIO
2024 年 7 月 31 日 にクラスメソッドの大阪オフィスで開催された DevelopersIO 2024 OSAKA において「AWS IAM Identity Center を使わないマルチアカウント環境のユーザー管理」というタイトルで話しました。 本ブログで資料を公開します。 登壇資料 次の内容について記載しています。 マルチアカウントのユーザー管理の課題 IAM ユーザーの一元管理の基礎 IAM ユーザーの一元管理のテクニック集 AWS Extend Switch Roles を利用したスイッチロール設定の管理 スイッチロールの条件として MFA 有無と送信元 IP アドレスを指定 スイッチロール先 IAM ロールの信頼ポリシーで複数ユーザーをまとめて許可 アクセスキーの利用 AWS CloudFormation を利用した IAM ロールの設定 外部 ID プロバイダとの連携
AWSのBYOIPがJPNICの割当IPアドレスに対応したので最速(?)でIPアドレスをAWSに持ち込んでみた | CyberAgent Developers Blog
AWSのBYOIPがJPNICの割当IPアドレスに対応したので最速(?)でIPアドレスをAWSに持ち込んでみた CTO統括室の黒崎です。AWSのBYOIP(Bring Your Own IP Address)がJPNICの割当IPアドレスに対応したので、実際にIPアドレスを持ち込んで使ってみました！ 今回は社内ゼミ制度のインターネットゼミの活動の一環として検証しました。 ゼミの環境は商用環境と完全に分離されているため、わざとヘンな設定を入れてみたらどうなるのかも実験しました。 インターネットゼミについては以下をご参照ください。 インターネットゼミ開講のお知らせ ダークファイバーでOPEN.ad.jpと接続してみた #インターネットゼミ AWSのBYOIPとは BYOIP(Bring Your Own IP Address)とは、自社で割り当てを受けているIPアドレスを持ち込めるサービスです
メタップスホールディングスは、2024年8月8日、ITインフラの一元監視サービス「srest（スレスト）」において、AWSサービスのコストをアカウント横断で可視化する「コストインサイト」機能を提供開始した。為替変動などによってクラウドコストの増加リスクが高まる中で、リアルタイムにコスト推移を把握できる。 コストインサイトは、AWSの仮想サーバー「Amazon EC2」やマネージドデータベース「Amazon RDS」といったAWSサービスのコストを、サービス単位あるいはAWS全体で可視化できる機能だ。複数プロダクトを展開する企業における、アカウントを横断しての可視化にも対応しており、企業全体でのクラウドコストの最適化を推進する。 月・日ごとのコスト推移の把握や、先週比・先月比などの細かい比較も可能だ。AWSの提供するコスト分析ツール「Cost Explorer」と比べて、複数プロダクトのコス
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい 初寄稿の @wa6sn です。8/3-4 に開催される SRE NEXT 2024 が楽しみですね。筆者の所属する 株式会社ギフティ も、GOLD スポンサーとしてブースを出しています。ノベルティも配っているので、ぜひお立ち寄りください。 さて本題ですが、今回は AWS IAM Identity Center で付与したアクセス権限の棚卸しについて述べます。SRE をやっていると、こうした AWS アカウントに対するセキュリティ対策に関わる機会も多いのではないでしょうか、ということで書いてみました。なお、筆者の環境では Control Tower を利用して全アカウントで CloudTrail を有効化しつつログを一元保管しているという前提があります。 権限クリープ マルチアカウント運用が広まっている昨今では
Server Actions で経費削減できた話
はじめに 個人開発にて、App Routerのフロントエンドとkotlin / Spring Boot / REST APIのサーバーサイドで構築されるシステムを2022年くらいから運用していました。機能的には問題なく使えていたのですが、如何せんAWS / EC2 上にNginx, Tomcat, RDBを立てているため、初年度無料枠で使用できても2年目からは月々2000~3000円ほど利用料が発生していました。 どうにかいい方法はないかと模索していたら、Server Actionsが使えるのでは？ということで思い切ってサーバーサイドを刷新することにしました。 以下は、この刷新を受けて得られたメリット・デメリットです。 メリット 今回採用した環境ではすべて無料なので、サーバー使用量がまるッと浮いた。（2024/08/13時点） kotlin のお守りがなくなり、TypeScriptのみの改
AWSがCloud9、CodeCommit、他いくつかのサービスで、新規利用受付を終了したと、チーフエヴァンジェリストのJeff BarrがX（旧Twitter）に投稿しました。これらのサービスをすでに利用開始しているAWSアカウントでは現時点で引き続き利用できますが、未利用のAWSアカウントでは新規利用開始ができないようです。 終了されるサービスの代替情報などを（私見ですが）まとめます。 終了すると言及されたサービスは？ 以下です（Jeff Barrの投稿での記載順）。 S3 Select CloudSearch Cloud9 SimpleDB Forecast Data Pipeline CodeCommit いくつかはすでに類似サービスがあり、そちらが主流になっていて、影響が小さいかと思います。ですがCloud9とCodeCommitはいまでも利用者が多く、後継サービスがAWSになく
理化学研究所（理研）は、スーパーコンピュータ「富岳」と同等のソフトウエア環境を、富岳以外のスパコンやクラウドサービス上に再現する「バーチャル富岳」の提供を、8月5日にスタートした。初版として、AWS上で試験利用できる環境を提供する。 バーチャル富岳は、富岳のCPU「A64FX」と互換性があるAWSのCPU「Graviton」向けに提供。富岳向けに整備されたソフトウエア群のうち、利用頻度の高いものを抽出し、それらのバイナリを一体化して配布する。 スパコンやクラウドサービス上にバーチャル富岳を導入することで、“プライベートな富岳”を構築可能。富岳を利用する場合は成果を公開する義務などがあるが、バーチャル富岳なら秘匿性を保って利用できる。 例えば、富岳では研究開発段階のアプリの研究・開発を行い、その後の製品開発はプライベートなAWS環境で行ったり、AWS上の小規模な環境で基本プログラムの開発や動
はじめに 採用管理システム「HRMOS採用」は、企業の採用活動の効率化や採用データの可視化･分析により、採用決定数の向上につなげることができるクラウドサービスです。 この度、HRMOS採用のSREチームでは、技術負債解消のためにログ運用基盤のDatadog Logsへの移行を行いました。その取り組み内容を紹介します。 計画以前のログ基盤構成と課題 サービス開始以降、ログの運用管理はEFKスタック1で構築された基盤を利用していました。サービスが成長にするにつれログ増加などの環境変化も伴い、時間経過とともに様々な課題が生まれてきました。 なお、トラフィックの規模感としては数百万件/日(平日)、数十億件/月ほどログ件数があります。 移行以前のログ基盤の構成イメージを以下に示します。 課題1 インフラの運用負荷が高い OpenSearch の運用負荷 Amazon OpenSearch Servi
本記事は AWSアワード記念！夏のアドベントカレンダー 23日目の記事です。 🎆🏆 22日目 ▶▶ 本記事（最終回） 🏆🎆 はじめに NRIネットコムの重本です。当社ブログ初投稿です。 「AWSアワード記念！夏のアドベントカレンダー」のトリを務めさせていただきます。 簡単に自己紹介をさせていただくと、当社に新人として入社後ほぼインフラを担当してきました。 現在は組織を管理・推進する側を担当しています。 オンプレからサーバー仮想化への流れに乗りながら、次のビッグウェーブであるクラウドにも自然と乗った形となります。 この度、「2024 AWS All Certifications Engineers」に選出となり嬉しく思っております。 気付くと、いつの間にか選出メンバーの中でも最年長となっていました。時の流れは早いですね。 と言うわけで、アラフィフ管理職がAWS全冠を目指した理由につ
本記事は AWSアワード記念！夏のアドベントカレンダー 20日目の記事です。 🎆🏆 19日目 ▶▶ 本記事 ▶▶ 21日目 🏆🎆 こんにちは後藤です。 この度、2024 AWS All Certifications Engineersに選出していただきました。次回も選出されるように日々努力を続けていきます。 私が書いた記事を振り返ってみると、気づけばTerraformの記事ばかりになっていました。 以前に「Terraformはこんなこともできるのか」シリーズを書いたのですが、今回も「Terraformはこんなこともできるのか」系のお話です。 tech.nri-net.com 紹介したいのは「Terraformプロビジョナー」 今回、ご紹介したい機能はTerraformプロビジョナーです。 Terraformプロビジョナーとは、リソースを作成した後に追加のアクションを実行できる機能の
Amazon Web Services ブログ Karpenter 1.0 がローンチされました はじめに 2021 年 11 月、AWS は 新しいオープンソースの Kubernetes クラスターオートスケーリングプロジェクト「Karpenter v0.5」の発表を行いました。当初は Kubernetes の Cluster Autoscaler の柔軟で動的かつ高性能な代替手段として考案されていましたが、その後の約 3 年間で Karpenter は大幅に進化し、完全な機能を備えた Kubernetes ネイティブのノードライフサイクルマネージャーになりました。 このプロジェクトは、業界のリーダー企業によってミッションクリティカルなユースケースに採用されています。自動的に利用率を改善するように設計されたワークロード統合や、ユーザーがクラスター内で Karpenter がノードのライフ
踏み台サーバーをEC2からECSに移行してオンデマンド起動してみた - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、iPad Air(M2)をゲットしたので便利な使い方を模索しています。 みなさんは踏み台サーバをどうやって構築していますか？ 今回、EC2で構築していた踏み台サーバーをECSに移行することでセキュリティ向上 x 運用負荷低減 x コスト削減をおこなうことができたので紹介したいと思います。 背景 弊社ではローカルPCからAurora or ElastiCacheに接続する際の踏み台サーバーをEC2で構築していました。最近、システムのセキュリティ向上の活動をおこなっていく中で踏み台サーバーに対して以下の課題感を持つようになりました。 EC2をパブリックサブネットに配置していたのでプライベートサブネットに配置することでよりセキュアな構成にしたい EC2のOSアップデートなどのEC2に起因する定期運用を削減したい 踏み台サーバは24時
How do I recover AWS resources that were affected by the CrowdStrike Falcon agent? Short description On July 19th 2024 at 04:09 UTC, an update to the CrowdStrike Falcon agent (csagent.sys) caused Windows based devices to experience unplanned stop errors or blue screen. Affected devices include Amazon Elastic Compute Cloud (Amazon EC2) instances and Amazon WorkSpaces Personal virtual desktops. This
AWS Cloud9 から AWS IDE Toolkits または AWS CloudShell に移行する方法 | Amazon Web Services
Amazon Web Services ブログ AWS Cloud9 から AWS IDE Toolkits または AWS CloudShell に移行する方法 本記事は 2024 年 7 月 31 日時点のブログ How to migrate from AWS Cloud9 to AWS IDE Toolkits or AWS Cloudshell を翻訳したものです。 慎重に検討を重ねた結果、 2024 年 7 月 25 日をもちまして、 AWS Cloud9 について、新規のお客様向けのアクセスを閉じることを決定いたしました。 AWS Cloud9 を既にお使いのお客様は、これまで通りサービスをご利用いただくことが可能です。 AWS は AWS Cloud9 のセキュリティ、可用性、パフォーマンスの改善に引き続き投資を行ってまいりますが、新機能の導入は予定しておりません。 AWS
Amazon Bedrock での Meta の Llama 3.1 405B、70B、8B モデルを発表 | Amazon Web Services
Amazon Web Services ブログ Amazon Bedrock での Meta の Llama 3.1 405B、70B、8B モデルを発表 7月23日、Llama 3.1 モデルが Amazon Bedrock で利用可能になったことをお知らせします。Llama 3.1 モデルは、これまでで最も先進的かつ高性能な Meta のモデルです。8B、70B、405B のパラメータサイズモデルのコレクションであり、幅広い業界ベンチマークで最高のパフォーマンスを示し、生成人工知能 (生成 AI) アプリケーションに新機能を提供します。 すべての Llama 3.1 モデルは、Llama 3 モデルの 16 倍の容量を持つ 128K コンテキスト長 (Llama 3 と比較してトークンが 12 万個増加) をサポートします。また、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒ
Webアプリはどんな処理をするのか 処理１：ブラウザからWebアプリに処理をリクエストする 処理２：Webサーバーで処理する 静的コンテンツの要求であれば、処理４のようにWebサーバーからレスポンスデータをブラウザに返す 動的に作らなければならないコンテンツならAPサーバーに処理を依頼する。 処理３：APサーバーで処理する 必要であればデータベースからデータを取得し、レスポンスデータを作成する レスポンスデータをWebサーバーに返す 処理４：Webサーバーからレスポンスデータをブラウザに返す Webアプリはどうやって構築するのか DjangoでWebアプリを作成したときに利用したソフトウェアやサービスです。その機能と役割を一つひとつ見ていきたいと思います。 Python Pythonとは何か Pythonは、シンプルで読みやすいコードが特徴のプログラミング言語です。多くの用途に対応できる汎
本記事は AWSアワード記念！夏のアドベントカレンダー 16日目の記事です。 🎆🏆 15日目 ▶▶ 本記事 ▶▶ 17日目 🏆🎆 こんにちは、坂本です。 今年の 2024 Japan AWS All Certifications Engineer に選ばれましたので AWSアワード記念！夏のアドベントカレンダー を機にブログ初投稿になります。 最近、Amazon Simple Email Service（以下：SES） の承認ポリシーを設定する機会があったので、今回は備忘もかねて書いてみます。 はじめに SES は API エンドポイントまたは SMTP インターフェイス を利用してメール配信を行えるサービスです。SES を利用するためには検証済みIDとしてメールアドレスもしくはドメインを作成します。IDステータスが検証済みになっていれば利用可能です。承認ポリシーは検証済みIDの詳
Amazon’s Exabyte-Scale Migration from Apache Spark to Ray on Amazon EC2 | Amazon Web Services
AWS Open Source Blog Amazon’s Exabyte-Scale Migration from Apache Spark to Ray on Amazon EC2 Large-scale, distributed compute framework migrations are not for the faint of heart. There are backwards-compatibility constraints to maintain, performance expectations to meet, scalability limits to overcome, and the omnipresent risk of introducing breaking changes to production. This all becomes especia
はじめに2024年7月、AWS CodeCommitのサービスが終了するのでは、という情報が流れて、AWSユーザを中心に騒ぎとなりました。その状況を振り返りつつ、標準準拠システムの構成管理のあり方について考えをまとめています。 ただし、自治体標準化に関するステークホルダーは複雑で、事業者といっても立場が全く違います（パッケージ開発ベンダもあれば、運用のみを行うベンダもいますし、それぞれの担当とするスコープも異なります）。システム開発においてはアーキテクチャやミドルウェアの制約に依存してCI/CDなどの施策がやりづらい場合もありますし、各事業者の社内のセキュリティポリシー上、インターネット公開された外部SaaSの利用が禁止されているケース等もあります。新しいツールは学習コストもかかります。構成管理システムの選定にはこれらを考慮して決定していきますので、一概にこの方式が望ましい、と決められるも
サーバーを開発するときって、何が出来たら完成だと思っています？APIが想定通りに動いたら？それはあくまで機能要件を満たしただけ。 仕事であれば、その他に、満たさなければいけないいろんな非機能要件があるわけです。 が、これを知らない人が「出来ました」って納品して、知らない人が検収OKにしてしまって、後で引き継いで大炎上みたいな事例が多々あるので、ちょっと自分がサーバー開発して納品するなら必要だと思っていることをまとめておく。 （非機能要件や技術要件の他に、最低限Gitは使っとけみたいな話やその他常識的な話も含む。） なお、自分の経験の都合上、ソシャゲのサーバー開発の話が発端だが、それ以外の一般的なサーバー開発で必要な話も含めて書いてるつもりなので、そんな感じで。 サーバー開発全般メジャーな言語やフレームワークを選定する開発者数が多いメジャーな言語やフレームワークを使用すること。…これ、何も条
セキュリティグループの変更・追加・削除を Microsoft Teams に通知する仕組みをCloudFormationでテンプレート化してみた | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、セキュリティグループの変更・追加・削除を検知して、Teamsに通知してほしいなぁと思ったことはありますか？私はあります。 通知することで、不正や意図しない変更を迅速に把握し、対応することが可能になります。 今回は通知する仕組みをCloudFormationテンプレートで構築できるようにしたので、紹介します！ このような通知画面となります。 実装方法はこちらのブログを参考にしました。 構成図 今回構築する構成です。 前提として、CloudTrailが既に有効化されている環境で構築します。 セキュリティグループを変更(追加・削除)してから、Teams通知するまでの流れ セキュリティグループの変更(追加・削除)： ユーザーまたはAWSサービスがセキュリティグループに対して変更（追加・削除）を実施 CloudTrailによるログ記録： AWS
Amazon EC2 Fleet and EC2 Auto Scaling groups now supports aliases for Amazon Machine Images (AMIs) - AWS
Amazon EC2 Fleet and EC2 Auto Scaling groups now supports aliases for Amazon Machine Images (AMIs) EC2 Fleet and EC2 Auto Scaling now support using custom identifiers to reference Amazon Machine Images (AMI) in EC2 Fleet launch requests and Auto Scaling groups configured to choose from a diversified list of instance types. You can create these identifiers using AWS Systems Manager Parameter Store
Investigation of a Cross-regional Network Performance Issue
Hechao Li, Roger Cruz Cloud Networking TopologyNetflix operates a highly efficient cloud computing infrastructure that supports a wide array of applications essential for our SVOD (Subscription Video on Demand), live streaming and gaming services. Utilizing Amazon AWS, our infrastructure is hosted across multiple geographic regions worldwide. This global distribution allows our applications to del
本記事は AWSアワード記念！夏のアドベントカレンダー 14日目の記事です。 🎆🏆 13日目 ▶▶ 本記事 ▶▶ 15日目 🏆🎆 カラスに襲われたためしばらくその付近には近づいていません。中村です。 Terraformのライセンス変更があったためこれからどうなるのか心配していましたが、IBMがHashiCorpを買収することが発表されたため落ち着きそうで安心しています。今後も動向を注視していきます。 本記事ではTerraformの組み込み関数templatefileについてご紹介します。 templatefile関数とは 指定されたパスにあるテンプレートファイルを読み取り、その内容をテンプレートとしてレンダリングすることでテキストファイルや設定ファイルを動的に生成することができます。 そのため環境毎に少し異なるファイルを使用する必要がある場合などに非常に便利な関数です。 devel
AWS Security Hub オートメーションルールで特定のコントロールを自動抑制してみた | DevelopersIO
はじめに Security Hub オートメーションルール（Automation Rules）を使用して、特定のコントロールの検出結果のステータスを自動的に抑制する方法を紹介します。 Security Hub オートメーションは、Security Hubの検出結果をほぼリアルタイムで自動的に更新できる機能です。 この機能は、Security Hubの委任管理アカウントのみが利用可能です。 本記事で想定する環境です。 Security Hubの有効化状況 管理アカウント（= Security Hubの委任管理アカウント）：全リージョンで有効 メンバーアカウント：利用リージョン（東京リージョンとバージニアリージョン）のみで有効 中央設定 利用していない Security Hubの通知設定 管理アカウントの集約リージョン（東京リージョン）でEventBridgeルールで通知 上記の環境において、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オンプレエンジニアがAWSを触って思ったのと違うと感じたこと - Qiita
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
マルチAWSアカウント環境のセキュリティって無理ゲーじゃね？
NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
機械学習基盤のアーキテクチャ特集 〜8社の設計意図と今後の展望〜 - Findy Tools
LambdaでWEBアプリケーションをホストしたい - NRIネットコムBlog
メンテナンス画面の表示方法いろいろ | 外道父の匠
踏み台サーバーを利用したプライベートなWebサーバ接続をやってみた | DevelopersIO
写真から自閉症を判定してみたい - Qiita
3フェーズに分けて振り返る atama plus データアーキテクチャ変遷 - Findy Tools
AWSのコストをアカウント横断でまるっと可視化 ― ITインフラ監視「srest」新機能
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい
AWSが2024年7月25日に新規利用終了したサービスと代替 - Qiita
「バーチャル富岳」リリース 富岳と同等のソフト環境、AWSに構築
ログ基盤をEFKスタックからDatadog Logsに安全に移行する工夫と効果
アラフィフ管理職がAWS全冠を目指した理由 - NRIネットコムBlog
Terraformプロビジョナーを使って、さらなる自動化へ - NRIネットコムBlog
Karpenter 1.0 がローンチされました | Amazon Web Services
Recover AWS resources affected by the CrowdStrike Falcon agent
DjangoでWebアプリを作成したあとに振り返って考えてみた「Webアプリとは何か」 - Qiita
AWS SES の承認ポリシーを設定してみた - NRIネットコムBlog
ガバメントクラウドにおけるリポジトリ運用の課題と対策｜共闘プラットフォームマガジン
サーバー開発で機能要件以外に考えること - honeplusのメモ帳
Terraformのtemplatefile関数活用方法 - NRIネットコムBlog