こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。 7月はエンジニアブログがたくさん出る #ベッテク月間です。今後も記事が出ますので、どんな記事がでるのかこちらのカレンダーからよければチェックしてみてください！7/2にSRE Lounge#17にて開発者が安心して実行可能なSQL実行基盤の取り組みという発表させていただきました。この記事では当該発表で時間の関係で触れきれなかった内容や補足を行っていきます。 従来のデータベースのデータ変更における課題 課題に対する解決策の検討 Bytebaseの利用にかかるコスト Bytebaseの導入及びデータ変更のフロー整備 データ変更のフロー整備 Bytebase導入後の変化 データ変更オペレーション上の課題 まとめ 最後に 従来のデータベースのデータ変更における課
sponsored by Qmonus Value Stream アプリケーション開発に注力するための工夫をシェアしよう！ 導入 何について話すのか 開発環境を改善して、効率化することでアプリケーション開発に注力するため行った（行っている）取り組みについてお話します。 本記事はQmonus Value Streamの投稿キャンペーン記事です。 想定読者 レガシーな環境を改善している（していきたい）人 開発環境改善のアイデアが欲しい人 CI/CDやDevOpsよりな仕事に関わる人 どんな人が書いているか(自己紹介) 3年目のエンジニアでバックエンドを中心に担当（最近インフラも担当するようになりました） メインで扱う技術はPHP・TypeScript・AWS アプリケーション開発とAWSインフラ構築を担当する 受託開発が中心の企業に従事 記事で触れる取り組み（取り組んだ順） Dockerの導入
LLM の埋め込み情報ドリフトを Amazon SageMaker JumpStart から監視する | Amazon Web Services
Amazon Web Services ブログ LLM の埋め込み情報ドリフトを Amazon SageMaker JumpStart から監視する 本記事は 2024年2月2日に公開された ”Monitor embedding drift for LLMs deployed from Amazon SageMaker JumpStart” を翻訳したものです。 生成 AI のワークロードで最も有用なアプリケーションパターンの 1 つが Retrieval Augmented Generation (RAG) パターンです。 RAG パターンでは、入力プロンプトに関連する参照コンテンツを探すために、埋め込みベクトル (テキスト文字列の数値表現) に対して類似検索を実行します。埋め込みはテキストの情報内容を捉え、自然言語処理 (NLP) モデルが言語を数値的に処理できるようにします。埋め込み
Django 開発の最新トレンドを知りたいですか？ PyCharm は Django Foundation と連携して世界中 4,000 人以上の Django 開発者を調査し、その回答を基にフレームワークの使用に関するトレンドを解析しました。 このブログ記事では、次のような主な結果をご紹介します。 Django 開発者の 3 人に 1 人が Flask または FastAPI も使用している。 ほとんどの開発者がフルスタック開発と API 開発の両方に Django を使用している。 Django 開発者の 61% が非同期テクノロジーを使用している。 その他にも多くのインサイトがあります！ これらの結果を詳しく確認し、インフォグラフィックによる図説も利用しながら Django 開発のその他のトレンドを発見しましょう。 バックエンド: Django 開発者 3 人に 1 人が Flask
ECS on Fargateのスケーリングポリシーを動かして理解する - サーバーワークスエンジニアブログ
はじめに 本ブログではAmazon ECS on AWS Fargate（以下、ECS on Fargate）のスケーリングポリシーを実際に動かして理解します はじめに ECS on Fargateのスケーリングポリシーとは 前提 構成 構成図 デプロイ デプロイ手順 ファイル：lib/my_ecs_construct-stack.ts リソース情報 コンテナイメージ（Amazon ECR） タスク定義 各コンポーネントの要素数 クラスター サービス タスク タスクの数を手動で変更してみる 自動でタスク数をスケールさせる スケーリングポリシーを設定する 設定ポリシーを確認する 動作確認 アラーム画面のグラフからアラームステータスを確認 最大タスクを3へ変更する イベントを確認 RequestCountPerTargetの遷移をアラーム画面のグラフで確認 その他 必要なタスク数は自動的に変化
AWS CDK Pipelines と AWS CodeDeploy を使用したブルー/グリーンデプロイ | Amazon Web Services
Amazon Web Services ブログ AWS CDK Pipelines と AWS CodeDeploy を使用したブルー/グリーンデプロイ お客様から Amazon Elastic Container Service (Amazon ECS) に AWS CodeDeploy を使用して ブルー/グリーン デプロイを実装するための支援がしばしば求められます。 お客様のユースケースは通常、クロスリージョンおよびクロスアカウント間でのデプロイシナリオが含まれます。 これらの要件だけでも十分に難しいのですが、さらに CodeDeploy を使用する際には特定の設計上の決定が必要となります。 具体的には CodeDeploy の設定方法、CodeDeploy リソース (アプリケーションやデプロイグループなど) の作成時期と方法、アカウントとリージョンの任意の組み合わせにデプロイでき
ElastiCacheの新UI(2023)を使ってFargateのコンテナからRedisに接続する方法 - Qiita
結論から申し上げると下記のドキュメントがとても参考になりました。 https://aws.amazon.com/jp/blogs/news/amazon-elasticache-serverless-for-redis-and-memcached-now-generally-available/ はじめに ElastiCacheに初めて触るとなると、過去のElastiCacheのハンズオン動画などから見始めて理解を進めていくのが一つの定石だと思いますが、つい半年前にElastiCacheのUIと機能が大々的に変更されたことで、新規でElastiCacheを使おうとする方は逆に導入が大変な時期なのではないかと思います。 たとえば以前ElastiCacheのクラスター作成と呼ばれていたものが、現在だとRedis OSS キャッシュを作成というものに変わっていたり、以前はノード数なるものを設定し
開発環境を改善するためにチームに提案して実践したこと - Qiita
sponsored by Qmonus Value Stream アプリケーション開発に注力するための工夫をシェアしよう！ 導入 何について話すのか 開発環境を改善して、効率化することでアプリケーション開発に注力するため行った（行っている）取り組みについてお話します。 本記事はQmonus Value Streamの投稿キャンペーン記事です。 想定読者 レガシーな環境を改善している（していきたい）人 開発環境改善のアイデアが欲しい人 CI/CDやDevOpsよりな仕事に関わる人 どんな人が書いているか(自己紹介) 3年目のエンジニアでバックエンドを中心に担当（最近インフラも担当するようになりました） メインで扱う技術はPHP・TypeScript・AWS アプリケーション開発とAWSインフラ構築を担当する 受託開発が中心の企業に従事 記事で触れる取り組み（取り組んだ順） Dockerの導入
まだインストールしていない場合は以下のリンクの手順に従ってインストールしてください SSM用のロール ECS Exec は、AWS Systems Manager (SSM) セッションマネージャーを使用して実行中のコンテナとの接続を確立し、AWS Identity and Access Management (IAM) ポリシーを使用して実行中のコンテナで実行中のコマンドへのアクセスを制御します と記載されているとおり、ECSTaskRoleにSSMのポリシーが必要になります { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "ssm:DescribeAssociation", "ssm:GetDeployablePatchSnapshotForInstance", "ssm:GetDoc
エラーログ監視アラート: AWS Fargate + CloudWatch + Lambda + SNS - Qiita
はじめに このドキュメントは、AWS Fargateを使用して実行されるWebサイトのエラーログを監視し、問題が発生した際にメールで通知するためのシステムを構築する手順を説明します。このシステムは、CloudWatch Logsを使用してログを収集し、Lambdaを使用してエラーログを検出し、SNSを使用して通知を送信します。 作成したリポジトリはこちらです。 目的 Webサイトの可用性と信頼性を確保するために、エラーログをリアルタイムで監視し、問題が発生した際に即座に対応することが重要です。このシステムは、以下の目的を達成するために設計されています。 リアルタイム監視: エラーログをリアルタイムで監視し、迅速な対応を可能にする。 自動通知: エラーログが検出された際に、自動的に通知を送信し、担当者に即座に知らせる。 インフラの可視化: AWSサービスを活用して、ログ監視と通知のインフラを
RunTask API を用いた ECS タスク実行時に気をつけたいこと４選 - PLAY DEVELOPERS BLOG
SaaS プロダクト開発部開発第２グループの伊藤です。先日、プライベート用に M2 チップ搭載の MacBook Pro を購入しました。M3 チップ搭載型が登場するという噂があったので我慢していたのですが、M2 で充分速いだろうと購入に踏み切りました。今のところ開発環境の再構築とテックブログを読むのに活用しています(?) 爆速を体感するのはいつになるやら…。 さて、今回は Amazon Elastic Container Serviceについてのお話です。社内でも採用事例が増えていますが、私の担当プロダクトでは一風変わった使い方もしたのでその中で得られた知見についてご紹介します。 Amazon Elastic Container Service・AWS Fargateとは？ RunTask API を用いた ECS タスク実行とは？ RunTask API を用いた ECS タスク実行時
こちらは、ラクスパートナーズ Advent Calendar 2023の5日目の記事です！🎄📅🎁 前日の記事は、「Next.js App RouterとMDXでリッチなスキルシートをサクッと書く」 でした！ 📌 はじめに こんにちは！@Ryo54388667です!☺️ 普段は都内でフロントエンドエンジニアとして業務をしてます！ 主にTypeScriptやNext.jsといった技術を触っています。 Next.js製アプリのホスティング先をリサーチしていた時、このLambda Web Adapterという技術を見かけました。 Next.js製アプリをVercel以外でホスティングを検討している人の参考になれば幸いです。 📌 Lambda Web Adapter とは 概要 初見の印象としては、 「そんなことできるん！？」 でした。驚き！😳 通常、Lambda は特定のイベントに応じ
| Amazon EC2 ! AWSが提供する仮想サーバーサービスです。EC2を利用することで、ユーザーはクラウド上で仮想マシンを簡単に作成、管理することができます。 EC2 インスタンスを起動すると、指定したインスタンスタイプによってインスタンスで使用できるハードウェアが決まります。インスタンスタイプごとに、コンピューティング、メモリ、ネットワーク、ストレージのリソースのバランスが異なります。 自社でOS設定などのデータベースのインフラ環境を管理するためには、EC2インスタンスを使用してDBを構築することが必要です。 AMI(Amazon Machine Image) AWS がサポートおよび管理するイメージで、インスタンスの起動に必要な情報を提供します。リージョン単位で作成され、S3に保存される。 暗号化されたAMIの共有方法 複数のアカウント間でAMIを共有するには、AMIを別のアカ
はじめに この記事は、Qiitaアカウントの整理のため、別のアカウントで投稿した過去の記事を移行してきたものです。全く同様の記事があるかもしれませんが、盗作等ではありませんのであしからずご容赦ください。 過去記事 投稿日： 2019年06月15日 概要 AWS Summit Tokyo、3日目の最終日も参加できました。幕張はやっぱ遠いな。。。 最終日で特に印象的だったのは、基調講演でのSyntheticGestaltの話し。これは本当にテクノロジーが世界・社会を変えるという現在進行形の話で、その内容を目の当たりにしたというすごい感覚でした。 あとはDeepRacerワークショップ。機械学習とか全く縁がなかったし、今の業務とも全く関係ないんだけど、すごく面白い分野です。もっと知りたい。 以下、参加したセッションのメモ書き。 基調講演 メルカリ AI/ML Image Search EKS C
こんにちは！ シェルフィー株式会社で SRE を担当している石田です。 弊社では、本番のワークロードにて Fluent Bit を使っております。 今回、Fluent Bitの処理について理解を深めたので記事を書いてみました。 世界中で使われているとても有名なミドルウェアなので、参考になればとても嬉しいです。 はじめに 弊社では、ECS on Fargate で稼働しているバッチジョブのログをサイドカーコンテナ（Fluent Bit）を使い Datadog に連携しています。 ログのサイズが 16 KB 以上ある場合、shim-logger の仕様により、そのログは分割されてしまうため、 Fluent Bitにて分割されたログの再結合処理を行う必要性があります。 この点についてはDeNAさんの記事がわかりやすいので、詳細はそちらを参考にしてもらえたらと思います。 AWS ECS on Fa
おまえにオートスケールは必要ない
オートスケールの壁２ お財布がオートスケールしない たとえDBが増強できたあるいはオートスケールだったとしましょう。しかしあなたのお財布（予算）は自動でスケールしません。アクセス数に応じて広告料などがリニアに追従する場合を除き、いきなりクラウド費用が3倍になったら困る人が大半だと思います。 先日Vercel高すぎ問題がバズりましたね。 とくにNext.jsをはじめとするSSRのようなBFF費用は結構バカにならないんじゃないかと思います。 オートスケールじゃなく管理してスケールさせよう それで、これらの影響を考えるに、もっと合理的なプランが僕たちにはあるんじゃないかと思います。手動スケールアップや、ちゃんとコードを書いてモニタリングトリガーで自分たちで管理して台数をスケールさせるやり方です。古き良き、とも言えますね。 そもそもReadトラフィックはCDNでキャッシュしよう 昔と違ってだれでも
はじめに こんにちは。株式会社バニッシュ・スタンダードでサーバーサイドエンジニアをやっているhidechaeです。 弊社にはインフラチームがあるので、アプリケーションの開発チームがゴリゴリインフラを触る機会は少ないのですが、一部Lambdaなど実装が絡むところは、サーバーサイドエンジニアがSAMを書いたりしています。 僕個人としては、5年前くらいまではAWSを業務で触っていたりしましたが、ここ数年はインフラチームが作ってくれたものを見ているだけで細かいことは全然キャッチアップできてない状態でした。 そんな中、久々にLambda作っていて色々と詰まったので記録に残しておきます。誰かの役に立つといいな… やりたいこと 今回やりたかったことは動画のサムネイルを作成です。 実装方針 まず、大きな方針として以下の3案あります。 動画アップロード時にサーバーサイドでffmpegを使ってサムネイルを作成
１．はじめに クラウド各社からマネージドサービスが提供され、広く実用化が進んでいるKubernetes基盤ですが、中にはワーカノードがサーバレス方式で提供されるサービスがでてきています。 サーバレス方式の場合、IaaS型のサービスと比較してワーカノードの細かなチューニングはできないものの、早期に手間をかけずに導入して使い始めることができるため、急速に立ち上げて、試行を積み重ねてゴールを目指していくアジャイル型の開発案件と非常に相性が良いです。 コストに関しても、ワーカノードについてはVMが立ち上がっている時間、ではなく、Podが稼働している時間に対しての課金となるため、試行していない時間帯にかかる維持費も最小限で済み、合理的です。サービスによってはコントロールプレーンの料金が別途発生するものの、ワーカについては不使用時にPod自体を削除しておけば料金は発生しません。 筆者も、実際にアジャイ
mkrコマンドのjqオプションをマスターしよう！ Mackerel APIからのデータ抽出とjqフィルタ活用術 - Mackerel ブログ #mackerelio
こんにちは、Mackerel CREの id:kmuto です。いつもMackerelをご利用いただき、誠にありがとうございます。 早速ですが、皆さんはmkrコマンドを使ったことがありますか？ 「mkr」は、MackerelのAPIサーバーと直接情報をやりとりできる、コマンドラインインターフェイス（Linux/Unixのターミナルや、WindowsのコマンドプロンプトおよびPowerShell）向けのツールです。Linuxディストリビューションではaptまたはyumなどのパッケージシステム経由でインストールでき、Windowsではmackerel-agentに同梱されています。 mackerel.io mkrでできることは多岐にわたるのですが、本記事ではmkrを使ってMackerelから情報を取得し、さらにそれをmkr上で加工するテクニックを紹介します。 JSONとjq 例1：オーガニゼー
ニコニコ動画へのサイバー攻撃はシステム構成の標準を変えるかもしれない - hidekatsu-izuno 日々の記録
ニコニコ動画がサイバー攻撃を受けサイトがダウンした状態が続いていることは知っていたが、公開された経緯を見てぞっとした。 これが日本の伝統的企業で起こったとかなら話は別なのだが、社内につよつよエンジニアを抱えるドワンゴで発生してしまった。ドワンゴで起こるのならば、おそらく日本のどの企業で明日にでも起こり得る事件だということだ。 私も様々な大手企業の基幹システム開発を生業にしているのでまったく他人事ではない。自分の担当しているシステムでこれが発生したらと思うと背筋が凍る。 今回のような問題を防ぐにはどうしたらよかったのだろうか、と改めて考えたのだがドワンゴの報告にもあるように「パブリッククラウドでは被害を受けなかった」という点が重要であるように思う。そんなのパブリッククラウドでもプライベートクラウドでも違いないよ！ と思う向きもあるかとは思う（ちらほら見た意見の中には、パブリッククラウドだと電
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
開発者が安心して実行可能なSQL実行基盤の導入と運用 #ベッテク月間 - LayerX エンジニアブログ
開発環境を改善するためにチームに提案して実践したこと - Qiita
2024 年 Django の現状 | The PyCharm Blog
ECS Execを使って作成したECS Fargate内にアクセスする方法について徹底解説！ - Qiita
Lambda Web Adapter を利用してSSR Streamingを試してみた
SAA-C03認定試験チートシート【初心者】#AWS - Qiita
【過去記事】AWS Summit Tokyo 2019 Day-3 参加メモ - Qiita
Fluent Bit の低レイヤーに飛び込んでみて、わかったこと
AWSのキャッチアップをしながら、S3にアップロードした動画のサムネイルを抽出するLambdaを作った
事例に学ぶ EKS on Fargate 運用上の注意 | TECH | NRI Digital