本記事は ブログ書き初めウィーク 2日目の記事です。 📝 1日目 ▶▶ 本記事 ▶▶ 3日目 📅 こんにちは、NTシステム事業二部 基盤課 の玉邑です。 2024年7月にNRIネットコムに入社し、AWS上に構築された大規模システムのインフラチームリーダーを担当しています。お客様のビジネスの変化に迅速に対応するため、DevOpsで開発を行いながら、安定稼働を支えるSREを担当しています。 15年以上にわたりインフラエンジニアやクラウドアーキテクトとしてキャリアを積んできましたが、現在担当しているシステムはこれまでで最も規模が大きいものです。今回の記事では、入社してからどのようにしてその大規模システムを理解し、リーダーとして業務をキャッチアップしていったかについてお話ししたいと思います。 担当したシステムについて 監視を通じて知る大規模システム システムの全体像を知ることができる システム

本記事は 【Advent Calendar 2024】 11日目の記事です。 🌟🎄 10日目 ▶▶ 本記事 ▶▶ 12日目 🎅🎁 こんにちは、越川です。昨今の技術革新により、私たちの生活はますます便利になりました。しかし、こうした技術の進歩に伴い、私たちの仕事が将来奪われてしまうのではないか？という話も良く聞くようになりました。 これはエンジニアである私たちにとっても他人事ではなく、エンジニアの仕事も将来的に生成AIなどに代替されるのではないか？という類のコンテンツは増えてきたかと思います。 そこで今回は、SIerの中でエンジニアとして働く私が、今後、エンジニアに求められるものについてまとめてみようと思います。 なぜ今、生存戦略を練る必要があるのか どのようなエンジニアが求められるのか 重要なマインドセット 1.ラーニングゾーンに身を置く 2.仕組みを作る側に回る 3.問題解決を楽

こんにちは、佐々木です。 生成AIが台頭する中で、エンジニアの付加価値ってどうなるんだろう、ということを考える機会が多くなっています。頭の中で浮かんでいることを、ポエムっぽく吐き出してみます。なお、この文章の中で言及するエンジニアは、ITエンジニアが対象です。表現が冗長になるので、エンジニアと記載とさせて頂きます。 生成AIの台頭とエンジニア 改めて言う必要はないですが、近年の生成AIの進化は目覚ましいものがあります。画像生成、テキスト生成、さらには音声生成と、対応できる領域はどんどん広がっていっています。また、精度もどんどん向上し、分野によっては人間を凌駕する部分も出てきています。もちろん、この対象はエンジニアリングの領域にも及んでいます。プログラムの作成やテストはもとより、要件定義の観点出しや設計書の作成支援などもできるようになりつつあり、今後更に対象とする領域も拡大し精度が上がってく

こんにちは、後藤です。 みなさま、Terraformは使っていますでしょうか。私はようやく慣れてきたところです。 今回はTerraformの中でもterraform planコマンドについて話します。 はじめに Terraformを使ってリソースを構築する際の一般的な流れは、terraform planで実際に設定されるリソースを事前確認し、terraform applyで実際に適用する、になるかと思います。この時、terraform plan > plan.txtのように証跡用や、表示結果を見やすくするためにファイル出力をすることがあると思います。しかし、このコマンドで出力されたファイルは決して見やすいものではありません。例えば、セキュリティグループとそのルールを定義したtfファイルで実行した結果は以下のようになります。 plan.txt Terraform used the selec

こんにちは、西本です。気づけば社会人2年目が終わろうとしていて、衝撃を受けています。 今回のテーマについて 早速ですが、Step Functions内での処理の失敗時、何か通知させたりしていますか？メールを飛ばしたり、Slackに通知させている方が多いのではないでしょうか。今回はChatbotを利用して、Slackに通知させようとした時に気づいたことについて紹介できればと思います。 早速今回の本題となる構成について 構成例 一見シンプルに見えて実現できそうな構成ですが、結論から申し上げますとSlackに通知することができませんでした。ここからは順をもって確認していこうと思います。 SNS Topicの作成とChatbotとの関連付け タイプはスタンダードとして作成します。その他オプションについてはデフォルトのままで検証を実施しました。 SNS Topicの作成後、Chatbotとの関連付け

こんにちは越川です。スキルと言われると、皆さんはどんなイメージをしますか？。最近では、VUCAという言葉をよく耳にするようになりました、このVUCA（ブーカ）とは、Volatility（変動性）、Uncertainty（不確実性）、Complexity（複雑性）、Ambiguity（曖昧性）という4つの単語の頭文字をとった言葉で、変化が激しく今後の予測をすることが難しくなっている状況を指します。今回は変化の激しいVUCAと言われる時代の中で、最近、思うことを書いてみようと思います。 スキルの種類 双方をバランスよく身に着けることの重要性 個人的に重要だと思うソフトスキル５選 1.構造化思考 2.シミュレーション思考 3.天秤思考 4.個別最適化思考 5.優先順位付け おわりに スキルの種類 スキルには様々な定義がありますが、その一つにソフトスキルとハードスキルという考え方があります。簡単に

小西秀和です。 2024年2月1日以降、Gmailでは迷惑メール削減を目的として、Gmailアカウントにメール送信する送信者は送信元アドレスのドメインにDKIM(DomainKeys Identified Mail)、SPF(Sender Policy Framework)の設定が必要となりました。 また、Gmailアカウントに1日あたり5000件以上のメールを送信する場合にはDMARC(Domain-based Message Authentication, Reporting, and Conformance)の設定も必要となっています。 参考：Email sender guidelines - Google Workspace Admin Help このような事情から最近再びDKIM, SPF, DMARCの設定に関する話題が多くなっていたので、今後の新規ドメインによるメール送信も考

本記事は 基盤デザインウィーク 8日目の記事です。 🌈 7日目 ▶▶ 本記事 ▶▶ 9日目 💻 はじめに ecscheduleとは 「スケジュールされたタスク」 Amazon EventBridgeについて 構成図 コード体系 ecschedule.yaml target.json 構築手順 0. 前提 1. 必要リソース構築(dev) 2. ecschedule dump(dev) 3. 設定ファイルの修正 4. ecschedule apply(prod) 検証中にハマったポイント 1. ecschedule dumpコマンドが成功しない 2. 別リージョンからtfstateの読み込みは出来ない 3. サブコマンドからリソース削除が出来ない まとめ はじめに こんにちは、加藤です。 以前ecspressoについての記事を書きました☕️ tech.nri-net.com 今回はecs

こんにちは、佐々木です。re:Inventの基調講演で発表されたAmazon S3 Express One Zoneについて、さっそく調査してみました。 写真は、re:Inventの会場にいたS3のマスコットキャラです。イベント初日は、Express One Zoneの腹巻をしていなかったのですが、サービス発表後はExpress One Zoneという名前で会場内を闊歩していました。 Amazon S3 Express One Zoneとは？ Amazon S3 Express One Zoneは、S3の新しいストレージクラスです。従来も、ひとつのAZのみにデータを配置するOne Zoneもありましたが、これはコスト削減を主眼としたストレージクラスです。今回発表されたExpress One Zoneは、名前に明記している通り、速さに特化したサービスラインナップです。発表では、特に小さなファ

こんにちは、越川です。 皆さんは構成図を描く機会ありますか？ 僕の場合、内部のメンバーやお客様との議論の場で、構成図を描いて図解ベースで説明することが多いです。実際に描いてみると色々と考慮すべき点が多く、今回は自分なりに普段意識している点を言語化してみようと思います。 なぜ構成図を描くのか 構成図を描く際に意識している３つのこと 1. 導線 2. 引き算思考 1. 主役を決める 2. 読者を想定する 3. 高さや大きさを揃える さいごに なぜ構成図を描くのか 構成図のメリットは相手に伝えたいことをシンプルに伝えられる点だと思います。文章で書くと沢山書かなければいけないことが構成図を使うとスムーズに相手に伝わります。例えば、以下の文章を読んでみて下さい。 ユーザーはDNS登録されたFQDNへHTTPSアクセスする CloudFrontはBehaviorに指定されたALBにHTTPSリクエスト

はじめに RAGとは 構成図 作成リソース Lambda 1. PDFから文書抽出&Embedding取得Lambda 2. 回答作成用Lambda AWS SAM テンプレート Streamlit 動作確認 まとめ はじめに こんにちは堤です。 Amazon BedrockがGAとなり、AWS内で完結してLLMアプリケーションを構築できるようになりました。 試しにRAGアプリケーションを作成してみようと思いましたが、現状AWSでRetrievalするデータソースを作成しようとすると、Amazon OpenSearch Serverless やAmazon Kendraを使用するしかありません。これらのサービスを使うのはコストもそれなりにかかり少しハードルが高いなーと思っていたら以下のブログを見つけました。 aws.amazon.com 構成図を見ると分かるように、S3にembedding

こんにちは、後藤です。今回はAWS構成における踏み台についての記事です。 データベースなどのインターネットに繋げたくないリソースに踏み台リソース経由でアクセスさせることは、セキュリティ設計としてよくある構成だと思います。 今回はその踏み台リソースに「ユーザーログイン有無を検知して自動停止する」ロジックを組み込んだ方法を共有します。 また、一般的によく用いられるのはEC2だと思いますが、今回はECS on Fargate(以降はFargateと略)を使います。しかも自動停止ロジックにLambdaを使いません！！コンテナの中で完結させます。 踏み台を設計する時に気になること そもそも踏み台について設計する際に何が気になるのでしょうか。それはOS管理負担と自動停止です。 踏み台にEC2を用いるとOSパッチ適用などの運用コストが発生します。業務系サーバでないのに心労が重なるのはなるべく避けたいとこ

こんにちは。梅原です。 今日はECSのデプロイタイプについて改めて整理します。 ECSのデプロイ方法は3つあります。 ローリングアップデート Blue/Greenデプロイ 外部デプロイ の3つです。 この記事ではローリングアップデートとB/Gデプロイについて流れをおさらいします。 ECSの前段にALBを置いた構成を例にします。 ローリングアップデート ローリングアップデートの流れを見る B/Gデプロイ B/Gデプロイの流れを見る ローリングアップデートとB/Gデプロイの比較 最後に ローリングアップデート ローリングアップデートとは、稼働中のECSタスクをそのまま新しいタスクに置き換える方法です。一番オーソドックスなデプロイ方法なのではないでしょうか。 ECSのみでデプロイすることができ、設定箇所も主に後述する2つだけなので手軽にできます。ですがデプロイ中は新旧のタスクが混ざる状態となるた

不正アクセスによるIDとパスワードの漏洩を受けて、MD5によるハッシュ化について話題になっていました。システムを作る上で、パスワードの管理や認証はどう設計すべきかを考えるために、少し整理をしてみます。もし事実誤認があれば、どしどしご指摘ください。 == 2023/8/21追記 == この記事は、ハッシュの保存の仕方一つとっても、沢山の対策方法が必要であるということをお伝えするために記載しています。そして、これから紹介する手法を取れば安全とお勧めしている訳ではないので、その点をご留意いただければと思います。攻撃手法に応じての対応策の変遷を知っていただくことで、セキュリティ対策は一度行えば安全というものではないことを知って頂くキッカケになれば幸いです。 == 追記終わり == パスワードのハッシュ化 まず最初にパスワードの保存方法です。何も加工しないで平文で保存するのは駄目というのは、だいぶ認

Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテナイメージからLambda関数を作成するようにします。 docs.aws.amazon.com Dockerfile FROM public.ecr.aws/lambda/python:3.10 # Copy requirements.txt COPY requirements.txt ${LAMBDA_TASK_ROOT} # Copy function

こんにちは、佐々木です。年末に書こうと思って、すっかり忘れていた宿題です。 2022年末のre:InventのキーノートでAWSのCEOであるAdam Selipskyが、『A Zero ETL future』という概念が提唱しました。言わんとすることは解るのですが、これは一体どういう文脈で、なんのためなのだろうと疑問に思う方は多いと思います。そこで、自分なりにデータ分析を取り巻く現状と課題、ゼロETLの概念が出てきた理由をまとめてみます。これは私自身の思考なので、全然違う可能性が高いですので、悪しからず。 データ分析とETLの現状と課題 ゼロETLの話をする前に、データ分析とETLの現状の話をしましょう。データ分析をする際には、必ずデータが必要です。では、そのデータはどこからやってくるのか？単一のシステム内で分析する場合もありますが、多くの場合はいろいろなシステムから必要なデータを集めて

本記事は NRIネットコム Advent Calendar 2022 24日目の記事です。 🎁 23日目 ▶▶Happy Christmas Eve! ▶▶ 25日目 🎄 はじめまして、入社7年目の川畑です。 主にPHPを使ったWebアプリの開発・保守・運用を担当しております。 今日はクリスマスイブですね。私は枕元に現ナマが置かれる予定です。夢はないけど嬉しい。 はじめに ローカルに開発環境を構築する際にDockerを利用されている方も多いですよね。 作って壊してが楽、ローカルにプログラミング言語を入れなくても開発環境が構築できるなどメリットにあふれています。そんなDockerを利用して環境を構築！人気エディタVisual Studio Code(以下、VS Code)でいざソースコードを書くぞ！と勇むと、下記のようなメッセージが通知されます。（PHP環境だとお考え下さい） Canno

こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これは、どういうことなのでしょうか？ これがプライベートネットワークの通信と明示された意味は大きい 『Q:2つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか?』https://t.co/uy26KyCZKn— Takuro SASAKI (@dkfj) 2021年4月22日 このことを起点に、インターネットとは何か、AWSのネットワークの現状について考察してみます。難しい事を言っていますが、みんな疑問に

こんにちは、上野です。 AWS Control TowerのLanding Zone 3.0がリリースされました。 変更内容が多いですが、ざっくりまとめると以下のとおりです。 組織レベルのAWS CloudTrail証跡が設定可能になった CloudTrailの設定をControl Towerからオプトアウト可能になった（オプトアウトした場合は独自で設定する必要あり） CloudTrailで各アカウントに出力されていたCloudWatch logsは、マネジメントアカウントに集約される CloudTrailアップデートに伴い、Control Towerが管理するIAMポリシーAWSControlTowerServiceRolePolicyの内容変更 AWS Config のグローバルリソースの記録がホームリージョンのみに変更 リージョン拒否ガードレールの変更（許可対象グローバルサービスの追

こんにちは、上野です。 みなさん、AWSアカウントの初期セットアップはどうやっていますでしょうか。私も以下のような記事を書きましたが、いざすべてのAWSアカウントで毎回やるとなると大変ですよね。 tech.nri-net.com AWS Cloud Development Kit (CDK) を使用してAWSアカウントの初期セットアップができるBaseline Environment on AWS(BLEA) を使ってみたのでその紹介となります。 BLEAとは？ シングルアカウントでセットアップする Chatbotの準備 認証情報の準備 初期設定 デプロイ 作成されたリソースの動作確認 カスタマイズしてみる 通知するConfigルールを増やす エントリポイントの修正 まとめ BLEAとは？ 以下GitHubより Baseline Environment on AWS(BLEA) は 単独の