Athena で S3 Glacier で復元されたデータのクエリを実行する - Qiita
内容 Athena を使用して Glacier Flexible Retrieval ストレージクラスと Deep Archive ストレージクラスで復元されたデータを直接クエリできるようになった。 今までは、標準ストレージクラスにデータをコピーする必要があった。 S3 スタンダード に保存されている最新のログと S3 Glacier Flexible Retrieval に復元された古いログを組み合わせると、1 つのクエリでストレージクラス全体のログ分析を実行することも可能。 やってみる サンプルデータの準備 S3 にサンプルデータをアップロードしておき、Glueクローラでテーブルを準備しておきます。 ストレージクラス：スタンダードでの動作確認 とりあえず、ストレージクラス：スタンダードで通常通り Athena からクエリし動作を確認しておきます。 ストレージクラス：Glacier Fl
Cloud Run に ko と skaffold を使ってデプロイまでやってみる | フューチャー技術ブログ
はじめにこんにちは！ TIG コアテクチームの川口です。本記事は、CNCF連載 の5回目の記事になります。 本記事では、CNCF の Knative を基盤として利用している Cloud Run と CNCF の各種ビルドツール ko, skaffold、Cloud Deploy を用いたうえで、アプリケーションのビルドからデプロイまでを行います。 扱う技術要素今回は、合計5つの技術要素を扱います。 全体感を掴むため、それぞれの技術とそれらの関連について図示します。 Cloud Run （Knative）Cloud Run は、Google Cloud におけるコンテナベースのサーバーレスコンピューティングサービスとしてよく知られているものかと思います。こちらは、基盤として Knative を採用しています。 この Knative は 2022年の3月に CNCF の Incupating
バクラク事業部による AWS コスト管理の課題に対して行った3つの取り組み - LayerX エンジニアブログ
こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの多田(@tada_infra)です。7月はLayerX エンジニアブログを活発にする期間でして、ぜひ左記のリンクを辿って気になる記事を見ていただけるとありがたいです！先週の金曜日は Natsuo さんのLayerX のエンジニアインターンって実際どうなん？に答えていくでした。この記事では DevOps チームで行った AWS コスト管理の課題にまつわるお話になります。 AWS コストに関して持っていた課題感 1. サービスのコスト高騰の検知が遅いこと 2. コストの可視化ができていなかったこと 課題に対して取ったアクションの紹介 1. コストが高騰している特定サービスのコスト削減・最適化 2. コストの上昇を検知するために AWS Budget Alert と Cost Anomaly Dete
Terraformの状態を可視化するツール、「Pluralith」を試す
Pluralithとは？ プラリスと読むみたいです。 Terraformの状態(state)を可視化するツールです。 こんな感じの図が自動で作成できたり、 コストやリソースの変更を可視化することができます。 GitHub ドキュメント 紹介動画 特徴 pluralith graphを実行するだけで構成図を自動作成可能 CIツールに組み込むことで、ドキュメント・構成図の作成を自動化 最新の変更をハイライトして見やすくする コストの可視化ができる(infracostが必要) リポジトリのREADMEを参照のこと 使ってみる Getting Startedに沿って使ってみましょう。 ※今回はRun Locallyで試しています。 インストール Download CLI手順に従います。 $ pluralith version _ |_)| _ _ |._|_|_ | ||_|| (_||| | |
Microk8sのPodでGPUを使う(2023年7月版) - 仮想化通信
今回のネタは以前同じような記事を書いたので、そのアップデート版です。 次の記事も併せてご覧ください。2019年ごろの記事です。今もだいたい通じます。 tech.virtualtech.jp さて、本題に入る前にそれぞれざっくり説明します。 MicroK8sとは MicroK8sとはUbuntuを開発するCanonicalが開発しているKubernetesクラスターを簡単にセットアップできるツールです。次が公式サイトで、一般的なx86PCやサーバーからRaspberry PiのようなARMボードなどでKubernetesクラスターを作成できます。 microk8s.io [追記] MicroK8s自身は色々なLinux ディストリビューションで動作します。「Users by distribution」を見ると、Ubuntuで動かす方が多いですね。ただ今回は特別なハードウェアを使うため、Ubu
GCPのIAMを整理し始めています(後編: Just-In-Time Accessを実現する) - Uzabase for Engineers
前回のまとめ jit-accessとは terraformでjit-accessを構築する 1. jit-accessアプリケーション用のサービスアカウントを作成 2. ネットワークリソースの作成 3. cloudrunの作成 4. モジュールの適用 5. IAM Conditionの追加 まとめ 前回のまとめ みなさんこんにちは。ProductTeam SREのkterui9019です。 前回の記事では、無秩序に作られていたIAMの設定を見直し、Googleグループの作成と組織体系に沿ったGCPプロジェクトのフォルダ階層を設計しました。しかし、最小権限の原則に従って設計したため、「障害対応時だけ強い権限をもったIAMロールを使いたい」というニーズを満たすことができませんでした。 今回の後編では、その問題を解決するためにGoogleが公開しているOSSであるjit-accessの紹介と、t
Datastream for BigQuery を本番導入しようとしている話
オープンロジという物流テック企業でエンジニアをやっている阿部です。オープンロジではデータ基盤の整備を進めており、その第一弾として Datastream for BigQuery を本番導入しようとしています。導入の経緯や、これまでに調査して分かったコトなどを書いていきたいと思います。 トリッキーな挙動になることもありますが、総じて非常に優れたマネージドサービスです。RDB と BigQuery を同期する仕組みとしては、かなり優秀です。まだ、本格的な稼働はしていませんが、いずれオープンロジのデータ基盤の中核を担うシステムになると思っています。 Datastream for BigQuery とは？ MySQL, PostgreSQL などのリレーショナルデータベース (RDB) から BigQuery に準リアルタイムでデータを同期する Google Cloud のサービスです。RDB が
ドキュメント書いて自動的に検索システムに反映されたら素敵やん - Qiita
恥ずかしながら Azure の Form Recognizer というのを今週初めて知ったのですが、流行りのGPTと組み合わせるともっと用途広がりそうですよね。 例えば、ドキュメント書いたら自動的にQAシステムに反映されるとテンション↑↑ ということで、試してみました。 これできるんじゃない？ AzureのStorageなどに何らかの文章が書かれたファイルを置く 1.をトリガーにFunctionsが動き、ファイルを Form Recognizer に投げる Form Recognizer の結果を OpenAI の EmbeddingsのAPI に投げる Embeddings の結果をDB（またはファイル）に書き出す FAQシステム等で4.の結果を利用して検索結果を返す これが理想的に動くとしたら、かなり幅広い業種で活用できるのではないでしょうか？ 今回、実際にこの流れを構築したわけではな
Terraform 1.5 で実現する config-driven なインポート作業 | はったりエンジニアの備忘録
Terraform 1.5 で追加された import ブロックと -generate-config-out フラグを組み合わせると、既存のパイプラインの中で安全にインポート作業が行えるようになります。 Hashicorp ではこのことを "config-driven import" と呼んでいます。 Terraform 1.5 brings config-driven import and checks これまでは terraform import コマンドでリソースを 1 つずつインポートし、それを定義する HCL も自分で書く必要がありました。コマンドを実行すると即座に tfstate に反映されるので、HCL がマージされるまでの間にほかの人が誤ってリソースを削除してしまう危険性がありました。そのため、チームで共同作業するリポジトリでは気軽にインポートできませんでした。 Terra
上京新卒エンジニア、初Interopへ｜雪餅 福寿
2023年４月、故郷に別れを告げ…… ※イメージです（ぱくたそ様より）interop会場：幕張メッセ来たぜInterop!!!!!!!!! 人生初、Interop。人生初、幕張メッセ。 会場が途方もなく大きいだけで気分が高まる。 とはいえエンジニアになってわずか3ヵ月足らずの新卒社員が最新技術の見本市に行ったところでついていけるのか？ 本記事はそういう趣旨の感想文です。 ※注意※本記事はあくまで感想文です。 技術的な内容はほとんど登場しません。 最新技術について知りたいのであれば公式サイトを覗くなり、Google先生に聞いてください。 結論新人研修で結論から話すように指導を受けたので結論から申し上げます。 インターネット、おもしろすぎる！！！ 業務にぜんっぜん関係ないけどな！！！ この2文にまとまります。 以下、その説明です。 １．インターネットそのものが楽しい私の中で、インターネットって
S3 Intelligent-Tiering 導入によりS3のコストを6割カットできた話 - ロコガイド テックブログ
サービス基盤グループの大谷です。日頃はロコガイドが提供する各種サービスのインフラ全般を担当しています。 今回はtokubai.co.jpにて実施したコスト削減事例について紹介したいと思います。 トクバイサービスが抱えていたオブジェクトストレージのコスト課題 トクバイサービスでは大量の画像データを取り扱い、日々ユーザの行動ログデータを収集しています。ストレージとしてはAmazon S3を利用していますが、昨年度より発生している為替レート(USD/JPY)の急激な変化により、利用コストが無視できない状況になってきました。 2022年USD/JPY為替レート トクバイでは従来EC2Spotやリザーブドインスタンス/SavingPlansを積極的に活用しています。しかし、これまで各バケット/オブジェクトに対してストレージクラスを細かく設定する等のストレージ領域に対するコスト削減施策は手つかずの状態
k6で負荷試験してpandasで集計した話 - Qiita
はじめに この記事はHRBrain Advent Calendar 2022 カレンダー3の19日目の記事です。 こんにちは！株式会社HRBrainでエンジニアをしているZamaです。 みなさんは負荷試験してますか？ 画面をポチポチする機能テストはちゃんとやっていても、負荷試験は忘れられていたり先送りにされてしまいがちですよね…… そんな負荷試験ですが、k6を用いて実施したら結果表示がイマイチだったので詳細なログファイルをpandasで集計した話です！ k6とは k6は負荷試験のツールで、JavaScriptでAPIの呼び出しなどを記述します。 import http from 'k6/http'; export default function () { const res = http.get('https://example.com'); check(res, { 'response
ChatGPTでCFnテンプレートをHCLコードに変換してみた | DevelopersIO
こんにちは。AWS事業本部トクヤマシュンです。 今回のエントリではChatGPTを用いて、AWS CloudFormationで使われるテンプレート（以下CFnテンプレート）をTerraformで使われるHashiCorp Configulation Language(以下HCL)コードに変換してみました。 動機 私はよくTerraformを用いてリソースを構築します。 一方で、AWS公式から提供されるさまざまなソリューションやサンプルはCFnテンプレートの形で提供されることが多いと感じます。 これらをTerraformで構築できたら良いのにと思うことが何度かあったので、ChatGPTを使って簡単にCFnテンプレートをHCLコードに変換できたら色々と捗りそう、と思ったのが今回の動機です。 環境 利用環境は以下の通りです。 ChatGPTのバージョン：GPT-4 変換してみた① まずはシンプ
IPv6 + WireGuard でリモートアクセス VPN - Qiita
IPv6 環境で WireGuard を使ってリモートアクセス VPN を実現できたのでまとめる。 やりたいこと 外出先から自宅内のサーバ (NAS) にリモートアクセスしたい。 我が家のネット回線は フレッツ + OCN を契約しており、IPv6 は普通に IPoE でインターネットに出ていきつつ IPv4 は OCN バーチャルコネクト (MAP-E) での IPIP6 トンネル経由という、最近よくありがちな構成となっている。 従来の PPPoE 接続であればグローバル IPv4 アドレスが1個は付くため LAN 内で VPN サーバを動かしてそこにポートフォワーディングをしてやれば簡単にリモートアクセスは実現できたものだったが、今回のように MAP-E を使っている場合はグローバル IP は他の利用者と共有なので利用できるポートが限られている 1 し、類似の IPIP6 技術である
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました | DevelopersIO
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました いわさです。 SQS で正常にメッセージが処理されなかった場合に未処理のメッセージを DLQ（デッドレターキュー）に移動することが出来ます。 デッドレターキュー上で処理されなかったメッセージを確認して、アプリケーションの問題の特定に役立てることが出来ます。 従来はその後アプリケーションが復旧したら、マネジメントコンソール上から DLQ の再処理機能を使って元のキュー（あるいは別のキュー）へメッセージを戻して処理を再開することが出来ました。 これまではこの DLQ の再処理はマネジメントコンソールでのみサポートされていましたが、先日のアップデートで AWS SDK や AWS CLI からも操作が出来るようになりました。 DLQ の再処理部分を AW
![[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8977429ff97da80040f72ef01c062af706039e17/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-sqs.png)
AWS IAM の結果整合性を避けるためセッションポリシーを用いてポリシーの動作確認を行う | DevelopersIO
IAM ポリシーを変更するとそれが伝播するまで待つ必要があります。IAM ポリシーはそのままにして、セッションでのみ有効なセッションポリシーを変更しながら使えばその影響を回避できます。 IAM リソース変更の即時反映を期待してはだめ コンバンハ、千葉（幸）です。 AWS IAM は結果整合性が採用されています。 *1 言い換えれば、変更が即時に反映されることは保証されていません。例えば以下の操作を行ったとします。 IAM ユーザー A に唯一アタッチされた IAM ポリシー P に、EC2 操作を許可する権限を追加する IAM ユーザー A の認証情報を利用して EC2 の操作を行う このとき無条件に 2 が成功することを期待したくなりますが、1 からの実行間隔が短いと失敗することもあります。最終的には結果整合性により「成功する」に収束しますが、数秒なり数分間なりは 1 の変更前の権限で評
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS CDKにテストは必要？試行錯誤したスクラム開発事例を紹介！/CdkConJp2023
雑な異常検知のすゝめ
しつこくじわじわパフォーマンスチューニング
GKEを使っているときの非同期処理の実現方法と設定 | wapa5pow blog