本記事の背景 本記事は、某所で密かに行われていた Snowflake DevOps 情報交換会 Season 1 最終回の議論用に共有した内容です。 本会は、 DevOps を中心に、また DevOps とは直接は関係ないテーマも含め、その時々において関心のあるテーマを取り扱っていましたが、今回は最終会ということで、本来のテーマである DevOps において、私個人が中心的テーマであると考える構成管理やデプロイの自動化について議論したいと思い、整理しました。 中心的テーマを再び取り上げようと考えたきっかけの 1 つが Snowflake Data Superhero の Tomas が LinkedIn で EXECUTE IMMEDIATE FROM という新しい構文について紹介しているのを発見したことです。これはステージ上の SQL ファイルを直接実行できるという機能です。 Tomas
仮想通貨の不正使用とビザンチン将軍問題 ビットコインを仮想通貨として利用するには、取引内容の改ざんや二重使用などの不正を防がなければならない。こうした不正は、情報学やコンピュータサイエンスでは「ビザンチン将軍問題」（Byzantine Generals Problem）と呼ばれる問題とよく似ている。 さて、ビザンチン将軍問題とは、2014年にチューリング賞を受賞した数学者のレスリー・ランポート博士（Leslie Lamport）らが考案した分散システム上の信頼性に関わる問題である［1］。なお、ランポート博士はLaTeX（電子組版 システムTeX 用の論文作成用マクロパッケージ）の作成者として有名だが、研究者としての専門は分散システムの基本アルゴリズムである。 ビザンチン将軍問題の舞台は、ビザンチン帝国の将軍たちがそれぞれ部隊を率いて敵を包囲している戦場である（図1）。各部隊はそれぞれ離れた
業務にて Cloud Run内でNext.jsアプリを動かすことになった。 その時イメージサイズについて四苦八苦した結果、ある程度の最適化ができたのでその時の検証結果をここに記しておく。 準備編：イメージサイズ検証のためのアプリケーション yarn create next-app コマンドのオプションを設定することにより、Docker内で動作するサンプリアプリケーションのテンプレートを作ることが可能なので今回はそれを利用して検証してみる。 以下のコマンドで nextjs-docker というアプリケーションが作られる。 $ yarn create next-app --example with-docker nextjs-docker ... $ cd nextjs-docker ＄ yarn dev yarn run v1.22.19 $ next dev ready - started
Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装 - KAYAC engineers' blog
こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果をRedshift上で利用することができます。 今回は、この機能を使ったType-2 Slowly Changing Dimension(SCD2) の実装の話をします。 aws.amazon.com TL;DR Change Data Capture（CDC）を実装・運用するほどじゃないけど、State Sourcingなテーブルの変更履歴を追跡したいときには、SCD2を使うと嬉しいです。 Federated Query for MyS
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
業務都合で GCP を使う機会が増えたけど、サービスアカウントってなんかわかりにくいなぁってずっと思ってた。でもそれは AWS の考え方を引きずっていたからだと気づいたので、両者の権限付与について違いをまとめる。ざっくりしたまとめなので、詳細な仕様は公式を参照。 権限そのものの考え方は大体同じ Policy: 権限そのもの。基本的にサービスごとのAPIに対する権限と考える。細かいことを書き出すときりがないので割愛。 Role: 権限をグループ化したもの。細か(略 PolicyやRoleの付与対象 違いは一番下。人以外に対する権限付与のアプローチが違う。 AWS IAM User IAM Group Resource GCP Google Account Google Group Service Account 違いは「何を抽象化したか」 AWS リソース(=プログラム)を人に見立てて権限を
※ この記事は 2021/09/15 に開催したエンジニア向けイベント「Data Analysis Study #1 データ分析環境について」にて行われた LT「Amazon EMR Studio を用いた EDA 環境の構築」の内容に加筆を行ったものです。 はじめにはじめまして。株式会社ナウキャストでデータエンジニアのお仕事をしている島と言います。現在、ナウキャスト内では EDA 環境の新規構築を目指し、各種サービスの検証などを行っています。この記事では、そこで得られたナレッジなどを共有できればと考えています。 こんな方におすすめこれからデータ分析環境の構築を検討されようとしている方データ分析やデータエンジニアリング業務に携わっている方他社はどのようなデータ分析環境を構築しているのか興味がある方EDA の環境に課題を感じている方About Nowcastナウキャストでは「Alternat
こんにちは、今年の春に新卒でリクルートに入社し、『スタディサプリENGLISH』SREグループ所属となった巻田です。 他の記事でも書かれていますが、『スタディサプリENGLISH』ではTerraformを使って主にAWS上のインフラ管理を行っています。この記事ではTerraformの動作の自動化のためにAtlantisを導入した経緯やその際の設定、使い方などに関して解説します。 導入に至った経緯 Terraformはインフラ管理のために非常に便利なツールです。このチームでは1つのRepository内にdev、staging、productionのように複数のTerraform Working Directoryを配置して各環境のインフラ構築を行なってきました。 今まではインフラの構成を変更する際には以下のような作業を行なっていました。 Terraformのコードを編集 手元でplanして
re:Invent 2019 IAM Access Analyzerについて調べてみた #reinvent | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 re:Invent 2019 に参加しています。 AWS Identity and Access Management Access Analyzer（以下、IAM Access Analyzer）がリリースされましたので調べてみました。 速報はこちらです。 [速報] AWS Identity and Access Management Access Analyzerがリリースされました！ #reinvent IAM Access Analyzer とは そもそも IAM Access Analyzer とは何でしょうか。 外部プリンシパルと共有しているアカウント内のリソースを検出する機能です。 IAM Access Analyzer を有効したアカウント
23/3/22 JAWS-UG CDK支部 #6にて登壇 https://jawsug-cdk.connpass.com/event/274879/
はじめに こんにちは。High Linkのデータエンジニアの芦川 (@hirorororo772) です。 私たちが運営する香水サブスクサービス「カラリア」では、「香水診断」、「レコメンド機能」、「フレグランスプロフィール」など、データを活用したさまざまな機能を提供しています。 こういった機能を提供するためには、ロジックの開発だけでなく、安定的に提供するための基盤や開発を加速させるためのCI/CD基盤やデータパイプラインの構築（MLOps）が重要になってきます。 今回は、カラリアにおけるデータを活用した機能の裏側についてご紹介したいと思います。 スタートアップである私たちは、小さくはじめてスピードは保ちつつ、中長期的に開発スピードや運用コストにレバレッジを効かせられるよう意識してきました。 設計面で考慮したポイントや、実際に運用してみた所感なども併せてご紹介いたしますので、これからミニマム
AWS Cloud Development Kit(AWS CDK)でEC2インスタンスを立ち上げてみる - Qiita
AWS Cloud Development Kit(AWS CDK)の利用ノウハウを増やすべく、EC2インスタンスを立ち上げてみました。 公式ドキュメントやGitHubのソースを眺めたらだいたいは実装できるのですが、ハマりポイントがちらほらとありました。 AWS Cloud Development Kit(AWS CDK)ってなんぞ？という方は下記をご参考ください。 AWS クラウド開発キット (CDK) – TypeScript と Python 用がご利用可能に | Amazon Web Services ブログ https://aws.amazon.com/jp/blogs/news/aws-cloud-development-kit-cdk-typescript-and-python-are-now-generally-available/ 前提 AWSアカウントがある AWS C
はじめに SnowflakeはクラウドをベースとしたSaaS型のデータプラットフォームです。主要なクラウド（AWS/GCP/Azure）に対応しており、企業/組織内の至る所に転がっているデータも「クラウド×Snowflake」で連携できるため、アジリティやスケーラビリティが求められるデータプラットフォームとして大きな強みがあります。 そんな注目を浴びているSnowflakeですが、これまたIaCとして人気のあるTerraformで構築できます。Snowflakeは大量のオブジェクトを組み合わせて管理するため、長くお世話になるならTerraformの利用をぜひとも考えたいところです。 本稿では、Terraform×Snowflakeを検討していく上で自分が感じた検討ポイントや悩みどころを脳内整理を兼ねて記載します。本内容がこれから検討する方の参考になれば幸いです。 SnowflakeとTer
Locust を用いた Amazon EKS 上で動作するワークロードの負荷テスト | Amazon Web Services
Amazon Web Services ブログ Locust を用いた Amazon EKS 上で動作するワークロードの負荷テスト 序章 多くの AWS 利用者は、自身のワークロードを実行するために Amazon Elastic Kubernetes Service ( Amazon EKS ) を利用しています。そのため、EKS クラスターをテストするプロセスを用意して、ワークロードを公開する前に弱点を特定し、クラスターを最適化することが不可欠です。負荷テストは、実世界のトラフィックを模倣する人工的な負荷を発生させることによって、ワークロードの性能や信頼性に焦点を当てます。特に、EKS の高い弾力性を期待する場合には有効です。 Locust は、リアルタイムダッシュボード 及び プログラマブルなテストシナリオを備えたオープンソースの負荷試験ツールです。 このブログでは、2 つの Amaz
こんにちは。crowdworks.jp SREチームの田中です。 最近じわじわと円安が進み、AWSの料金が気になるこの頃です。 今回はAWS Configで急に料金が増加した件と、その対応についてご紹介します。 朝、AWS Cost Anomaly Detection（AWSコスト異常検知）からお知らせが来てました。 AWS Configが増えてるAWS Cost anomaly summary 4/18からAWS Configで1日あたり約10USDの増加。結構なお値段ですね。 参考までに、AWS ConfigはAWSリソースの設定を監視、評価、監査し、設定変更を追跡するためのサービスです。 調査 AWS Configの配信先 AWS Configで何もわからなかったので、まずはAWSの記事を参考に配信先のS3をAthenaでクエリし、該当日でリソースタイプ・リソースごとのレコード件数を
CloudRunのサービスとタグ毎に独自ドメインのURLを割り当てる(CertificateManager編) - Qiita
目的 GCPのマネージド証明書では扱えなかったワイルドカード証明書がCertificate Managerでは扱えるようになったそうなのでCloudRunのサービスごとに独自ドメインを割り当てます。 注意! この記事は2022/06/11時点でのCertificate Manager(Preview)を取り扱っています。 必要なコマンドやコンソール操作の手順だけを記しており、gcloudのインストール・設定やAPIの有効化等は記載していません。 簡単な動作しか確認していないため設定やセキュリティに不備が あるかもしれませんので利用の際はお気をつけください。 事前に必要なもの 独自ドメイン（この記事ではexample.comとしているので読み替えてください） DNS(Cloud DNS,Route53等) 課金が有効なGCPプロジェクト CloudRunの用意 CloudRunはサービス・リ
G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 概要 Agent とは Vertex AI Agent Builder とは 料金 概要 試算例 Vertex AI agents 概要 Agents の構成要素 Goal Instructions Examples Tools 概要 Built-in tools OpenAPI tools Data store tools 触ってみた 関連記事 概要 Agent とは 生成 AI アプリケーションにおける Agent とは、人間
半年でPHPのエラー通知を撲殺しまくった話 - Chatwork Creator's Note
どうも。ご存じ、サーバーサイド開発部（PHP)のやまざきです。 『優れた UX は心地のよい Developer Experience から生まれてくる』と信じて20余年。今年は最高な年になりそうです。 さて本ブログの本題ですが、ある程度のサービス規模になってくると運用・保守は大変になってきますよね。今日は昨年2021年にサーバーサイド開発部（PHP)としてのサービス監視体制を改善していったよ、って話をふりかえりながら書こうと思います。 目次 目次 Chatworkのサーバーサイド運用・保守体制 バックエンドチームでの基本的な運用・保守体制 バックエンドで利用中のシステム監視SaaS Datadog New Relic バックエンドのアプリケーションログ基盤 バックエンドでのアプリケーションログ収集のデータフロー PHPシステムでのアプリケーションログの通知 サーバーサイド開発部（PHP)
この記事は Lancers（ランサーズ） Advent Calendar 2020 6日目のエントリーです。 バックエンドエンジニア＆DBRE の まみー です。 僕は MySQL が大好きです。 普段 ORM 任せでクエリを意識しないことも多い昨今。 だからこそクエリ 1 とインデックス 2 くらいはわかる僕らでありたいと思うんですが、思ってたんと違うインデックスが選択されることありますよね。 じゃあ理由を明確にして本質を知った上で対応しよう。 というわけでインデックス選択の根拠をオプティマイザが算出するコストから検証してみます。 オプティマイザトレースの使い方をサクッと知りたい方は コチラ からご覧ください。 条件 単一テーブル 複合インデックス 1番目で ID で絞り込み 2番目で前方一致 LIKE 検索 実例 3 として、TODO管理情報を ユーザーID キーワード前方一致 で検索
![[MySQL]オプティマイザトレースでインデックス選択根拠を調べる[単一テーブル編] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc503138b281682f218ab57249a59ea0a30124d1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCTXlTUUwlNUQlRTMlODIlQUElRTMlODMlOTclRTMlODMlODYlRTMlODIlQTMlRTMlODMlOUUlRTMlODIlQTQlRTMlODIlQjYlRTMlODMlODglRTMlODMlQUMlRTMlODMlQkMlRTMlODIlQjklRTMlODElQTclRTMlODIlQTQlRTMlODMlQjMlRTMlODMlODclRTMlODMlODMlRTMlODIlQUYlRTMlODIlQjklRTklODElQjglRTYlOEElOUUlRTYlQTAlQjklRTYlOEIlQTAlRTMlODIlOTIlRTglQUElQkYlRTMlODElQjklRTMlODIlOEIlNUIlRTUlOEQlOTglRTQlQjglODAlRTMlODMlODYlRTMlODMlQkMlRTMlODMlOTYlRTMlODMlQUIlRTclQjclQTglNUQmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWNkY2IxOGE3OTk4Y2RhMGRkYzE4MjE0YmU1MWMzMGNk%26mark-x%3D142%26mark-y%3D100%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBtYW15MTMyNiZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YWQ1OWY5MzljN2Y4MDNmOTIxZTE0YjU4ZGJjZDkzMGI%26blend-x%3D142%26blend-y%3D504%26blend-mode%3Dnormal%26s%3D071e04175f8fb96ed550f55e092a4ce6)
GitHub での複数人開発において、プルリクエスト毎にレビュー用の環境があれば、コードのみレビューに加えて目視でのレビューが行えます。特に、フロントエンドコードであれば、コード上では確認しきるのが難しい部分も多く、目視でのレビューは非常に大切です。そして、その環境がプルリクエスト毎に別れていれば、レビュー範囲をレビュアーが手動で切り替える、レビューするタイミングで毎回デプロイを切り替える等の作業が必要なくなります。 Firebase Hosting を使用している場合、GitHub Actions と連携することで、Preview Channel を使用して GitHub のプルリクエスト上にプレビューに対するリンクのコメント発行まで行ってくれます。そのため、レビュアーはそのコメントされたリンクをクリックするだけで、その PR 内の変更点のみを含んだ環境を閲覧・レビューできます。 Fir
AWS Fargateで並行処理をした話
RailsのDB作成とマイグレーションを複数サイトで同時実行しました。 AWSのサービスを利用すると簡単に実装できました。 Fargate最高！ 吉岡です。11月に開催されるRubyWorld Conferenceに登壇することが決まりました。弊社が提供する「Redmine」のクラウドサービス「My Redmine」のインフラストラクチャーを、Rubyと最新のクラウド技術を活用した構成へと再構築したことについて発表します。ぜひ会場までお越しください！ さて、今日のブログはAWSのFargateを利用して、RailsのDB作成とマイグレーションを複数サイトで同時実行したことについての話です。 目的 AWSのFargateというサービスを利用して、複数のサイト（複数のDB）に対して同時にバッチ処理を実行します。 今回はサンプルとして rails db:create と rails db:mig
## プロダクション環境の信頼性を損ねず観測する技術 ### 2022/05/15 SRE NEXT 2022 #### Sohei Iwahori (GREE, Inc.) --- # Agenda - Introduction 観測は低コスト？ - case1 監視SaaSサービス障害がプロダクションサービス障害につながった話 - case2 ログエージェント負荷がプロダクション障害を引き起こす話 - case3 一部の環境の問題がシステム全体に影響してしまう話 - Recap
Cloud CDN カスタムオリジン
このタイトルだと分かりにくいですが、Google Cloud Platform (GCP) の Cloud CDN が GCP 以外をオリジンとして指定できるようになりました 🎉 CDN におけるオリジンとは、オリジンサーバーなどと呼ばれるように、CDN によってキャッシュ、配信されるコンテンツのオリジナルを持っているサーバーなどを指します。 これまで Cloud CDN ではオリジンとして GCP の HTTP(S) Load Balancing のバックエンドしか指定できなかったので、設定と言っても(コンソール上では)チェックボックスが一つあるだけでした。 カスタムオリジンのドキュメントよりそこで本エントリでは、Cloud CDN で GCP 外のオリジンを指定するための機能「カスタムオリジン」についてご紹介したいと思います。 なお、カスタムオリジンとは直接関係ないですが、Cloud
ECSからGCPの通信でWorkload Identityを導入して、GCPのサービスアカウントキーを撲滅した - Adwaysエンジニアブログ
初めまして！エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアクセスする方法について紹介と思います。 背景 課題 基礎編: Workload Identityの導入方法 1. IAMロールの作成 2. Workload Identity PoolとProviderの作成 3. Workload Identityとサービスアカウントの連携 4. 認証構成ファイルの取得 5. 認証構成ファイルを利用してECSでアプリケーションを実行 応用編: Workload Identity連携におけるアクセス制限について 方法1: 属性マッピングと条件 方法2: サービスアカウントの紐付け時の条
僕とレンサバとPHP - uzullaがブログ
レンサバ大好きっ子のみなさんこんばんわ、uzullaです。 皆さんがレンタルサーバーが大好きかはわかりませんが、レンサバは今のウェブ文化を育てまた支えています。まあ、そんな懐古主義の話をしたいわけではないんですが。 たしかに大規模なECやSNSではもはやレンタルサーバーの出番はなくなってしまったと思います。しかし自由なウェブ、(規約の範囲で！)自分が好きにコントロールできるプラットフォームとしてレンサバはいまだもって重要なインフラといえます。(言い過ぎか？) 先日のロリポメイツでレンサバとGitHubを連携させて継続的デリバリーぽいことをやろうというトークをしました。 レンサバでねっとりとしたプアマンズ継続的デプロイ - Speaker Deck レンサバといえばFTPなので、こういったgitでデプロイという使い方をしているのはごく少数だとは思います、これを推奨しようとかではありません(詳
AWS認定ビッグデータ専門知識の試験に合格しました - Platinum Data Blog by BrainPad
Amazon Web Services や Google Cloud をはじめとして様々なクラウドサービスが提供されています。クラウドサービスは、その目的や用途に合わせて、適切に設計・管理できてこそ価値を発揮します。というわけで今回は、ビッグデータに関する技術を問う AWS 認定ビッグデータ専門知識の試験に合格した当社社員が、合格までの道のりについてご紹介します。AWS Summit でインタビューに答えてもらった T シャツ こんにちは、アナリティクスサービス部の家入です。Google Cloud Next '19 や AWS Summit 2019 と毎年クラウド周りは賑やかですね。弊社ブログに掲載したイベントレポートはもうお読みいただけましたでしょうか？さて、世の中はそんなイベントや新サービスで盛り上がっていますが、例えば AWS のストレージや分析のサービスだけでも、S3、Dyna
GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する | DevelopersIO
GitHub ActionsでAWS Step Functions LocalとJestによるステートマシンのMockテストを実行する こんにちは、CX事業本部 IoT事業部の若槻です。 前回の下記エントリでは、AWS Step Functions LocalによるMockテストをJestで実行してみました。 AWS Step Functions LocalによるMockテストをJestで実行してみた | DevelopersIO 今回は、同じくAWS Step Functions LocalとJestによるState MachineのMockテストをGitHub Actionsで実行してみました。 やってみた 実装のファイル構成は次のようになります。 $ tree . ├── .github │ └── workflows │ └── ci.yml ├── jest.config.js
多くのユーザーさまに安心して遊んでもらえる新作ゲームを提供するためのコロプラの取り組みを紹介する「大規模モバイルゲームのローンチを支える技術」。ここでサーバー基盤グループのごましお氏が登壇。まずは、バックエンド負荷試験の「試験クライアントを実装する」フェーズまでを紹介します。 新ゲームのローンチ時、ゲームのバックエンド負荷は急激にスパイクする ごましお氏：それでは「安全なローンチを支える負荷試験」ということでお話しします。よろしくお願いします。私はコロプラの技術基盤本部という部署に所属しています。ふだんは、主に新作ゲームのローンチサポートや社内共通で利用するライブラリの開発・保守などを行っています。 今回の話の前置きから説明しておこうと思います。ゲームのバックエンドの負荷は、ローンチ時に最も急激にスパイクします。これはなぜかというと、みなさんの中にも見たことある方がいるかと思うんですが、例
おうちでInfiniBand しようぜ！ こんにちわ、こんばんわ。かえるのクーの助手の「井戸中 聖」（いとなか あきら）でございます。 InfiniBandします。 10GbEのEthernetが頑張れば手に届くようになってきたとはいえ、複数のNIC購入、４ポート以上10Gbps対応したスイッチ導入など、トータルコストを考えるとまだまだ敷居が高い状況です。そこで今なら40GBpsが超破格値で導入可能と「話題の」Infinibandを導入することにしました。 まずは、スライドでお勉強します。 Sakura infini band-20180424 from さくらインターネット株式会社 犯行発足動機 このごろは、機械学習のための自宅環境を整備したくて、いろいろ調べていました。非力なPCでそれなりの計算させるためには、複数PCで「並列的な処理分散」をさせることが効果的なことがわかりました。並列
YAML におけるノルウェー問題（The Norway Problem） - てくなべ (tekunabe)
いろいろな書き方ができる真偽値 たとえば Ansible の Playbook では、真偽値を指定する時に、true/false 、yes/no などいろいろな書き方ができてしまいます。 去年、Ansible のコミュニティでは、ドキュメント上どう統一するのがいいかの投票がありました。 ansbile のドキュメントにおけるにおける boolean は yes/no が遣われがちだったが、ansilbe-lint では true/false でないとエラーになる。どうしたもんでしょという issue。https://t.co/dcNl9R83sl— よこち (@akira6592) 2022年8月3日 github.com 現在 true/false への書き換えが進んでいます。yamllint のデフォルトでも true/false を正としています。 不都合 ただ統一感がなくて混乱する
2021/05/20現在、 Amazon Athena Engine Version 1が2021年8月4日(予定)に廃止がアナウンスされています。現在のワークロードやクエリがEngine Version 2で動作することをご確認ください。最新の情報は、以下のブログをご覧ください。 データアナリティクス事業本部コンサルティングチームの石川です。Amazon Athena Engine Version 1が近い将来に非推奨になることのお知らせです。Athenaを頻繁にご利用の皆さんはすでにAthenaコンソールの上部にメッセージが表示されてお気づきかもしれません。本日は、Engine Version 2 移行について解説します。 Amazon Athena Engine Version 2 とは Engine Version 2は、Presto 0.217をベースに新機能を追加したAthen
![[お知らせ]現在のワークロードやクエリがが近い将来に非推奨になります | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年1月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 今回は、re:Invent2022が始まった11/28から12/31までのアップデートを紹介します。今年のre:Invent2022 で発表された新サービス・アップデート関連のレポートや検証ブログについて網羅していますので、re:Invent2022の総復習、新サービスの予習にお役立てください。 新サービス Amazon Data Zone（Coming Soon） 組織内に存在するデータを共有・検索・発見するデータカタログサービスです。Amazon Redshift、Amazon Athena、Amazon QuickSightだけでなく、SnowflakeやTableauなどといったサードパーティ製サービスにもAP
[新機能] PostgreSQL 互換でも Aurora Serverless が利用可能になりました！ | DevelopersIO
本日の update で PostgreSQL 互換の Aurora でも Aurora Serverless が提供されるようになりました！ Amazon Aurora PostgreSQL Serverless – Now Generally Available これまでは MySQL5.6 互換のみ提供されていましたが、ついに PostgreSQL 互換でも利用できるようになりましたね！ Aurora Serverless とは Aurora Serverless は、通常 DB インスタンス部分が起動しておらずストレージ部分だけがあります。そして、リクエストが来たタイミングでオンデマンドに DB インスタンス部分のコンテナが起動して SQL を処理します。負荷に応じて自動でスケールしてくれることと、不要な場合にインスタンスサイズをミニマム構成にしたり、停止させることで不要なコストを
![[新機能] PostgreSQL 互換でも Aurora Serverless が利用可能になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d060bd8586f3cd19615ef358e9ba4ece1e5b6a3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-aurora.png)
地方自治体のCDN導入率は僅か7%。災害発生時の公共機関による情報提供に課題。（大元隆志） - エキスパート - Yahoo!ニュース
台風19号は関東を中心に、大きな被害をもたらし、今なお多くの人々が不安な日々を送っている。こういった状況の人々にとって、最も不安なことは、正確な情報が入手出来ないことでは無いだろうか? 何処に避難すれば良いのか?何時復旧作業が行われるのか?何時まで避難所に避難していれば良いのか?こういった情報を求めて、自分が住む地域の地方自治体のWebサイトを頼るのは自然な行動だ。 しかし、台風19号発生時、多くの地方自治体のWebサイトにて、コンテンツが表示されない、あるいはコンテンツの表示速度が非常に低下するといった事象が発生した。こういった状況が発生した原因の一つに、アクセス集中時にWebサイトを安定的に表示させるCDNという技術が導入されていないことがわかった。 ■地方自治体のCDN導入率は僅か7% 動画配信サービスを提供する、J-Streamが地方自治体のCDN利用率をTwitterに投稿した。
AWS利用の最適化に従事してます、鈴木(@szk3)です。 最適化といってもいろいろありますが、ここ最近はAWSにおけるコスト削減についていろいろと行ってきました。 LIFULLのアカウント数は100を超えます。それらのアカウントに対し、約240以上のコスト削減案を立案し180件以上の施策を完了させてきました。 今回は、この新型コロナの影響で先行きが不透明な中、AWS利用費用を見直したいという方のために、 実体験に基づいたAWSコスト最適化の流れと考え方をシェアしたいと思います。 コスト削減の流れ いろいろとやってきましたが、コストを削減する流れはどれも同じです。 現状を知る ソリューションを選ぶ 実行する めちゃくちゃシンプルですね。 ひとつづつ見ていきましょう。 現状を知る コストを削減するにあたり、最も重要なのはどこにコストが掛かっているかを知ることです。 「無い袖は振れない」ので、
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. EndpointSlices are an exciting new API that provides a scalable and extensible alternative to the Endpoints API. EndpointSlices track IP addresses, ports, readiness, and topology information for Pods backing a Service. In Kubern
BigQuery Remote FunctionsからCloud Functions 2nd genを呼び出す際にハマったポイントを振り返る - RareJob Tech Blog
こんにちは、DMP(Data Management Platform)グループの平井です。毎日デコポンを食べています。美味しい。 タイトルの通り、BigQuery Remote FunctionsからCloud Functions 2nd genを呼び出す際にハマったポイントがあったので共有します。 今回のケース Remote Functionsとは ハマりポイント再現 Cloud Functions 2nd genとは Cloud Functions 2nd genをデプロイ BigQuery Connections作成 Remote Funcitonを作成 権限付与 まとめ 今回のケース まずどのような場面でRemote Functionsを使用したのか説明します。 レアジョブグループには新旧2つのデータ基盤があります。 順次移行作業を進めており、その中でRを利用した集計処理を新しいデ
BigQuery の Execution Plan を体感&可視化で理解してパフォーマンスチューニングする - Qiita
この記事では、BigQuery に搭載されている Query execution graphs を用いて、なんとなくクエリのパフォーマンスを最適化する方法を説明します。 ほとんどの項目が経験と憶測で書かれているので、あくまで参考程度にお願いします。 Query execution graphs とは Query execution graphs とは、BigQuery が SQL クエリを解釈して実行計画を作成する際に生成される内部表現です。Execution graphs は、クエリの各ステップをノードとして表し、ノード間のデータフローをエッジとして表します。また、グラフを見ることで、クエリの実行順序や依存関係、並列度やリソース消費などを把握することができます。 主に以下のようなノード(ステージ)があります。 Input: データセットからデータを読み込むノード。テーブルデータの統計情報
最近Google Cloud Runめちゃ面白いなーと色々触ってるんですが。 静的なサイトを認証付きで配布したいなーみたいな場合、Cloud Runとoauth2-proxyで手軽にできないかな？ と思ったので手順を。 oauth2-proxy はOAuth2のプロバイダ（Google、GitHub、他...）を指定して、そのプロバイダをアクセス時の認証に利用できるようにするプロクシ。 oauth2-proxy.github.io 実は簡易的に静的ファイルを公開する機能も備わっているので、静的なサイトであればこのサーバだけで完結させることができる。 Dockerfile は以下のように書く。 FROM bitnami/oauth2-proxy:6 USER 0 # 公開用のディレクトリ RUN mkdir -p /var/www && chown 1001 /var/www ADD ent
宣言的かつ安全に管理するElasticsearch/Declarative management for Elasticsearch
第49回Elasticsearch勉強会での発表資料です。 https://www.meetup.com/tokyo-elastic-fantastics/events/287299123/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Snowflake 向けの DevOps の取り組みと現状の課題についてまとめてみた
「「ビザンチン将軍問題」とは何か」第69号 - NII Today / 国立情報学研究所
Cloud Run上で動かすNext.jsアプリのDockerイメージサイズを軽くする
IaCジェネレーターとBedrockで詳細設計書を生成してみた
権限付与から見たAWSとGCPの違い - public note
Amazon EMR Studio を用いた EDA 環境の構築
TerraformのCIツールであるAtlantisを導入しました | PSYENCE:MEDIA
AWS CDKで作るCloudWatch Dashboard
カラリアのデータ基盤と機械学習基盤 - 小さく始めるMLOps - High Link テックブログ
TerraformとSnowflakeで考えること - 作業メモ
AWS Configのアップデートで課金増えていませんか？ - クラウドワークス エンジニアブログ
Vertex AI Agent Builderを使ってみた - G-gen Tech Blog
[MySQL]オプティマイザトレースでインデックス選択根拠を調べる[単一テーブル編] - Qiita
Cloud Runを使ってPR毎にプレビューデプロイを行う
プロダクション環境の信頼性を損ねず観測する技術
新ゲームのローンチ時にサービスを停止させないために コロプラが実施する、バックエンド負荷試験のシナリオ
自宅InfiniBand普及委員会が発足しました！ - クーの自由研究
[お知らせ]現在のワークロードやクエリがが近い将来に非推奨になります | DevelopersIO
【実録】誰でもできる！AWSコスト最適化の流れと考え方 - LIFULL Creators Blog
Scaling Kubernetes Networking With EndpointSlices
Cloud Run + oauth2-proxy で気軽に認証付きサイト - ローファイ日記
stagegear.jp
techfeed.io
diamond.jp
news.yahoo.co.jp
search.app
diamond.jp