Amazon Athena キャパシティ予約ができるProvisioned Capacityについて徹底解説！ | DevelopersIO
割り当てられた容量が不十分であることを示す兆候 キャパシティ不足のエラーメッセージでクエリーが失敗する場合、キャパシティ予約のDPU数がクエリーのワークロードに対して少なすぎる可能性があります。例えば、24DPUの予約で、24DPU以上を必要とするクエリーを実行した場合、クエリーは失敗します。 割り当てられたキャパシティ不足によるクエリエラーの予兆を監視するには、AthenaのCloudWatch Eventsを参考にしてください。 最後に Amazon Athena では、これまでスキャン量に応じた課金体系しかなく、使用料金の見積もりが難しくありました。また、大量のクエリを送信した際にキューイングが発生する可能性がありました。Provisioned Capacity を使用することにより、DPU と時間に応じた課金になるため料金の予測がしやすくなります。また、十分なコンピューティングリソ
前回はmod_proxy_htmlについて説明しました。今回はmod_proxy_htmlの具体的な設定について載せていきます。 mod_prxoy_htmlはリバースプロキシサーバーに組み込むモジュールのため、前回の説明に使った構成図の環境を作成する流れで説明します。 システム構成 システム構成はmod_proxy_htmlがインストールされたリバースプロキシ、アプリケーション1、アプリケーション2の3つの環境です。 リバースプロキシの環境は CentOS7 を使用します。 アプリケーション1、アプリケーション2は何でも良いのでWebサーバーを動かしておきます。(本記事では割愛します。) mod_proxy_htmlのインストール mod_proxy_html を実際に試してみましょう。mod_proxy_html は CentOS7 の標準パッケージに含まれているのでyumコマンドでイ
モチベーション 私は「インフラ」という言葉は、人によって受け取り方が大き違う言葉だと思ってます。 「よく分からないけど難しそうなので出来れば触りたくない」という人や、「ごく小数の人にしか触らせたくない」という人、 「IaaS、PaaSはインフラと認めない！」という人にも会ったことがあります。 「よく分からないなんとなく難しいもの」である「インフラ」は、多くの人に敬遠されがちなので、 中小規模の開発組織では１人のエンジニアがひっそりと孤独に作ってるケースがままあるのではないでしょうか。 私もやりたがる人があまりいないので、PMとインフラエンジニアを兼務することが多くありました。 この記事では、一人でひっそりとインフラを作ってた私が、触れる人を増やしたいと思って工夫したIaC設計のアイデアを記述しようと思います。 言葉の定義 インフラ IaCで扱う「インフラ」の定義について。 言葉の定義を探し
SREの探究 - Spotifyの事例：Ops-in-Squads | フューチャー技術ブログ
はじめにこんにちは、TIG 岸下です。 秋のブログ週間の5本目になります。 最近、Netflixで配信中のSpotify創業ドキュメンタリー：The Playlistを見ました。創業ドキュメンタリーは鳥肌モノが多く、なんだかパワー貰える感じがして自分も頑張ろうと思わせてくれるので非常にオススメです1。 そんなわけでSpotify熱が高まっていたこと、自分がプロジェクトの方でSRE活動に関わっていることもあり、SREの探究：7章「SREのいないSRE：Spotifyのケーススタディ」を読んでみました。 そもそもSREって？恥ずかしながら、自分も現在のプロジェクトに配属されるまでSREの存在を知りませんでした。 SREはSite Reliability Engineeringの略で、サービスの信頼性をソフトウェアエンジニアリングの力で高めていこうぜ！というGoogle発祥の試みになります。 も
概要 以前、CloudRunで秘匿情報を扱うのにberglas（GCPで秘匿情報を扱うためのOSS）を使用しましたが、2020年1月23日公式にGCPで秘匿情報を扱うためのサービスであるSecretManagerが公開されました。 紹介記事 制限事項 まだベータ提供です。 東京リージョンもまだありません。（一番近くて台湾） なので、GAでないと困る人や、秘匿情報を国外に保持したくない人はまだ使えないです。 ただ、今後GCPで秘匿情報を扱うのはこれが標準になっていくと思われます。 使い方 シークレットを作成する セキュリティ→シークレットマネージャーから作成します。 「sample-secret」というキーで、「usagisan」という文字列を格納しています。 なお、gcloudコマンドで作成する手順は、上記紹介記事の中に記載があります。 クライアント シークレットを読み取る例は、下記ドキュ
Vertex AI PipelinesとKubeflow Pipelinesはじめの一歩 | DevelopersIO
Vertex AI Pipelinesを全く使ったことがない人向けに、Kubeflow Pipelinesのはじめ方からまとめてみました。 データアナリティクス事業本部 機械学習チームの鈴木です。 この記事は、ブログリレー『Google CloudのAI/MLとかなんとか』の１本目の記事になります。 そろそろVertex AIもマスターしないとなと思い、Vertex AI Pipelinesをキャッチアップしています。同僚のじょんすみすさんが以前に以下の『Vertex AIではじめるKubeflow Pipelines』を公開してくれていました。 私はBigQueryなどのデータ分析系のサービスの経験が厚く、Vertex AI PipelinesおよびKubeflow Pipelinesを触るのが初めてだったため、Kubeflow Pipelinesとはなんぞやから始める必要がありました。
Kubernetes マニフェストを書くとき、非常にしばしば複数の環境(典型的には production, staging, development)ごとに一部の設定だけ異なる他はほぼ同一の内容のマニフェストを用意しなければならない、ということがあります。このようなとき、繰り返し部分と差分を分ける手段としては複数の選択肢があります。なかでも、kustomize を使って、ベースとなるマニフェストを用意したうえで各環境に応じた差分を適用するためのパッチをあてる、というのがよく選ばれる選択肢でしょうか。この記事では、繰り返しを避けるという目的を達成するのに、kustomize ではなく Google 開発の設定記述用言語 Jsonnet を使うという選択肢もあるということをご紹介します。 Jsonnet には普通のプログラミング言語にはない独特な機能があり、使いこなすにはコツが必要です。この記
[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました | DevelopersIO
[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました データアナリティクス事業本部コンサルティングチームの石川です。Recursive CTE（Common Table Expression）を使用して、組織図やマルチレベル製品などの階層データをクエリできるようになりました。早速、階層化データを用意して試してみます。 Recursive CTE（Common Table Expression）とは WITH句は、より複雑な問い合わせで補助的に用いるインナービューを提供します。 これらの文は共通テーブル式(Common Table Expressions)またはCTEと呼ばれるものであり、１つの問い合わせのために存在する一時テーブルと考えることができます。これを再帰的に応用
![[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
Heroku PostgresとAWS BedrockとHugging FaceでRAGを作ってみた - Qiita
2023年11月にHeroku Postgresql 15 がpgvectorに対応しました。これによりHeroku Postgresがベクトルデータベースとして利用できるようになりました。 本記事では、最近話題のClaude2.1やText Embeddingと組み合わせ、Heroku Postgres内データを元に生成AIが回答してくれる、 Retrieval Augment Generation (RAG) を試作し、実際どんな回答を返してくれるか？検証してみました。 今回使用したもの 個人的に興味のあるものや、使いやすいものを選びましたので、特にこの組み合わせでないといけないわけではないです。 ■ ベクトルデータベース & ナレッジベース Heroku Heroku Postgres (PostgreSQL) pgvector ※今回の主役！ ■ 大規模言語モデル AWS Bedr
PHPなどのサーバーサイドのプログラミング言語を扱ったり、Webサイト作成によく使われるWordPressを用いて公開用サイトを作るには、通常であればレンタルサーバーなどの一般公開に適したWebサーバー環境が必要ですが、検証やテスト目的であれば、手元のWindows 10 PC上でローカルのWebサーバー環境を立てるのも有効です。構築の仕方はいくつかありますが、ここではWindows OSに標準で搭載されている「Internet Information Services（IIS）」と呼ばれるWebサーバーソフトウェアを利用し、Windows 10のマシン上にWordPressをインストールして動作させる方法を紹介します。 手元のパソコンで簡易Webサーバー環境を構築できる WindowsにはWebサーバーの機能が標準で用意されています。本格的な業務用途には「Windows Server」な
先日、個人開発のOSS - Submarine.jsのv1.0をリリースしました 記事はこちら Ansibleの冪等性に関する Tweet が、結構な反応をいただけたこともあり、今回は、私がSubmarine.jsで克服したかった「冪等性の限界」と、それを、どのような哲学で解決しようとしているかについて、説明しようと思います 冪等性の理想と現実 そもそも冪等性とは? という話は、各所で説明されていることなので簡単に 冪等性とは 同じ操作を何回実行しても、同じ結果が得られること インフラの構成管理の世界では、何回同じコードを実行しても、同じサーバの状態が得られるという意味で使われる Webの世界ではHTTPのGETやPUTメソッドは冪等だけど、POSTは冪等ではないなどと言われる Ansibleでは、この冪等性を簡単に実現するために、目的に応じて膨大な数のモジュールが提供されています Ans
Run Your Own Mail Server: A Book for Independence & Privacy
All or nothing. This project will only be funded if it reaches its goal by Mon, June 10 2024 12:00 AM UTC +00:00.
概要 PostgreSQL や MySQL などの運用データベースから、GCP のデータウェアハウスである BigQuery に、直接かんたんにデータをレプリケートできる Datastream for BigQuery のプレビュー版が提供されました。 BigQuery のスキーマ定義、BigQuery に適したデータ型への変換、データを BigQuery に送信するバッチ処理などが不要になることが期待されたので、試してみました。 構成 本記事では以下の構成で GCP Datastream for BigQuery を試しました。 AWS EC2 : RDS の踏み台サーバー AWS RDS (MySQL) : ソース GCP BigQuery : レプリカ GCP Datastream : RDS のデータを BigQuery にレプリケート 手順 Datastream 公式ドキュメント
![[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b7390c207e41533d9bd1bb9f0f59c2d6d739ee4/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Op_gvPy0--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGCP%252520Datastream%25255D%252520AWS%252520RDS%252520%2525E3%252581%25258B%2525E3%252582%252589%252520BigQuery%252520%2525E3%252581%2525B8%2525E3%252581%2525AE%2525E3%252583%2525AC%2525E3%252583%252597%2525E3%252583%2525AA%2525E3%252582%2525B1%2525E3%252583%2525BC%2525E3%252582%2525B7%2525E3%252583%2525A7%2525E3%252583%2525B3%2525E3%252582%252592%2525E8%2525A9%2525A6%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Asaitok7%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2FiNmE0YWRmMmYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Redshift Serverless に provisioned cluster から移行してみた - Qiita
はじめに Redshift Serverless が 7/13 に GA されました。従来の Redshift (provisioned cluster) では、クラスターを構成するインフラを意識しながらデプロイする方式でした。Redshift Serverless ではインフラ管理が不要となり、より簡単に、より運用負担を軽減してご利用いただけます。データを準備して Redshift Serverless に取り込むだけで分析ができ、料金は使用した分だけ発生します。これにより、利用頻度が少ない分析処理や夜間のみ実行されるワークロードなど、データウェアハウスを常時利用しないユースケースの場合に、効果的にご利用いただけます。 従来の provisioned cluster でサポートされている機能のほとんどは、Redshift Serverless でサポートされています。表現を変えると、今ま
InfraCopilotを試してみる インフラ基盤のアーキテクチャ設計のあり方を変えてくれそうなサービスとして最近登場してきた「InfraCopilot」を試しに触ってみたので紹介します。 InfraCopilotとは？ https://infracopilot.io/ ここの公式サイトで紹介されている通り、インフラの構成をエディタ上で描いてIaCのコードを生成してくれたり、設定を調整したりできるツールです。 設定の調整や構成を作る部分を、チャットベースで指示を出してその意図に合わせて構成を調整してくれるといったこともできます。 このサービスのインプットとアウトプットのイメージは以下のようになります。 インプット ブラウザ内のエディタ上でグラフィカルに設計要素を入力 設計要素(リソース)のパラメータは手動で調整も可能 チャットベースで実現したい構成を指示 アウトプット PulumiのIaC
さくらインターネット社内IaC勉強会 LT
リスティング広告とは？リスティング広告とは、Googleなどの検索エンジンで検索したキーワードに連動して表示されるWeb広告です。 リスティング広告は、ユーザーが知りたい情報に関連する広告を表示できるため、興味を持ってもらいやすく、コンバージョンにつながりやすい傾向があります。 たとえば、検索エンジンで「人材管理 自動化 ツール」と検索すれば以下のような広告が表示されます。 また、検索結果の上位に表示されるため、多くのユーザーの目に留まりやすいことも特徴です。 SaaS企業にリスティング広告は必要か？今後、自社商材を多くの企業に使用してもらいたい場合は、リスティング広告を使うことも考えておくと良いでしょう。 Webサイト運用だけでは、自社サイトが競合サイトに埋もれてしまう可能性があるからです。 総務省の令和3年通信利用動向の調査では、約7割の企業がSaaSを利用しており、年々導入している企
はじめまして、エンジニアの黒瀬と申します。 弊社では、これまでバックエンドの監視にNew Relicを利用してきましたが、今回データ基盤にも導入を開始しました。 この記事では、その経緯についてご紹介したいと思います。 背景と課題 弊社ではTVerのサービス利用状況を日々収集し、それをBigQueryを中心としたデータ基盤に集約・可視化することで、日々のサービス改善に活用しています。 このプロセスは、おおむね次のような役割分担となっています。 収集処理：バックエンドを担当するバックエンドチームがAWSに構築 集約処理：データ基盤を担当するデータチームがGCPに構築 これらのうちデータチームでは、集約処理を構成するバッチごとにアラートを実装していましたが、下記のような問題がありました。 バッチごとに異なった方法でアラートを実装していたため、保守がしにくい アラートの通知先が散らばっており、毎回
BigQueryスロット利用量の見積り - GiXo Ltd.
この記事は GiXo アドベントカレンダー の 12 日目の記事です。 昨日は、「プログラミング歴40年のおじさんが初めて本格的なPythonプログラム」を書いてみた でした。 本稿ではBigQueryにおいて計算リソースの単位として表現されるスロットについて、どのように利用量の確認・見積りを行うかについてお話をしたいと思います。スロットの見積り、難しいですよね。私は大層混乱しました。まだ混乱しているかもしれません。そんな難しいスロット利用量の確認・見積りについて少しでも役に立てばという思いで筆を執っている次第です。あるいは、どうせまた忘れてしまう未来の自分のためかもしれません。では始めます、よろしくお願いします。 定額料金で利用する際に特に気になるよね BigQueryを定額料金で利用する際にはスロットを100単位で任意の量だけ購入し、その購入量に応じて金額が決まります(最小100)。な
データエンジニアの@komi_edtr_1230です。 今回データチームが管理しているデータ基盤にてGKE Autopilotを導入したのでその感想についてまとめていこうと思います。 TL; DR GKE Autopilotを使い始めて、インフラ管理から解放され開発業務に専念できるようになりました。 データ基盤の利用という観点で本当に最高で便利です。 背景 heyではデータ分析に基づいた意思決定を促進するためにデータチームがあります。 データチームにはデータアナリストとデータエンジニアがいるのですが、それぞれの特徴として 人数 業務内容 備考 データアナリスト 4人 ビジネスサイドがメイン A/Bテストによる施策の改善 各種データの抽出 などなど... @jnishimuがいる データエンジニア 3人 データ基盤の整備 データの利活用の促進 1人は業務委託 というようになっています。 he
要約 Denoを使うことでNodeなしにAWS CDKを動作できる！ これによりnpmツールチェーンのセットアップ、管理の手間から開放される！(…かも？) これはDenoのnpmサポートが強化されたため可能になった まずは動かしてみましょう Denoをインストールします CDKアプリケーションコードの型チェックをする場合Deno v1.28.2以上である必要があります 以下の2ファイルを用意します Denoの設定ファイルであるdeno.jsoncです。主にタスクランナーの設定がしてあります。 // deno.jsonc { "tasks": { "cdk": "deno run --allow-all npm:aws-cdk --app 'deno run --allow-all main.ts'", "test": "deno test --allow-all", "ci": "deno
Cloud Asset Inventory を使用してGoogle Cloud上のアセットを分析する - NRIネットコムBlog
こんにちは、最近はGoogle Cloudの記事を書いている上野です。（AWSももちろんやってます） 今回はCloud Asset Inventoryを見ていきます。 Cloud Asset Inventoryとは？ Google Cloud上の、アセットを管理できるサービスです。アセットとは、大きく以下の2種類を指します。 リソース Compute Engine 仮想マシン（VM）やCloud Storage バケットなどのGoogle Cloud上で作成されたリソースのメタデータ ポリシー IAMポリシー、Organizationsポリシーなど、誰が何にアクセスできるかという情報（ポリシーのメタデータ） Google Cloud上に5 週間分の履歴情報が保管されています。 AWSで言うとAWS Configに近いサービスになります。 Cloud Asset Inventoryの開始方法
Amazon Athena + Google Colabによる分析環境 - KAYAC engineers' blog
1日目にも登場した謎の事業本部のデータエンジニアv0.1.0の @mashiike です。 こちらは Tech KAYAC Advent Calendar 2020 11日目の記事です。 今回は、いつものRedashの話ではなくAmazon AthenaとGoogle Colaboratoryの話をしたいと思います。 背景 弊社はWebアプリケーションをAWS上に構築することが多いです。そのため分析用の環境もAWS上に構築することが多くあります。 社内でよく耳にするのは、ECSを用いてRedashを構築・運用、backupのデータベースや調査用のデータベースとつなげてグラフ化・分析などを行う環境です。 複雑な分析はなどは、前年のTech KAYAC Advent Calendarでお話した、 redash + Google Colabの分析環境なども出てきたりします。 techblog.k
Amazon EKS #2 Advent Calendar 2019の24日目に出す予定だったの記事です。 はじめに re:Invent 2019が終わってはや3週間。 EKSのFargate対応やFargate Spotの登場など華々しいアップデートの影に隠れて、 Amazon SageMaker Operators for Kubernetesというアップデートがあったことは皆さんご存知でしょうか？ 普段はSageMaker[1]島に生息している身ですが、この度はEKS Advent Calenderの1枠を頂いて、まだまだ記事も少ない[2]こちらのアップデートについて少し深堀りしてみることにします。 Amazon SageMaker Operators for Kubernetesとは ドキュメントを引用すると、 Amazon SageMaker Operators for Kube
Google Cloud Japan Advent Calender 2022 (今から始める Google Cloud) の 13 日目です！ こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataplexの紹介をしたいと思います！ Dataplexとは データを活用する上でデータガバナンスをどう担保するかは非常に難しい問題です。 そこでGoogle CloudではデータのQuality,Security,Complianceなどを担保するためにDataplexを提供しています。 具体的に何が出来るのかが分かりづらい部分があるので、この記事ではDataplexの具体的な機能や使い方を説明したいと思います。 また、メタデータ管理サービスであるのData Catalogですが、今年 Dataplex に統合され、Dataplex のメニューから
Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみた - Qiita
Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみたAWSbedrock Amazon Bedrock Knowledge base と Agent 自社で開発・運用している動画配信サービス「hod」のデータを使って、番組情報を教えてもらうチャットボットを構築してみます Amazon Bedrock の新機能としてGAした Knowledge Base と Agent を使っていきます。 使用する追加データとしては、HTBが開発・運用している動画配信サービス「hod」の番組マスタデータの一部をcsvにしたものを使ってみたいと思います。 (Bedrock の周辺機能をアーキテクチャ図に落とし込むときどうもしっくりこない。。笑) Vector Store として Pinecone を採用して、Knowledge
この記事は 10日目の記事です。 この記事は eureka Advent Calendar 2019 10日目の記事です。 9日目は 弊社iOSエンジニアのAymenによる でした。 こんにちは。エウレカでSREをしている恩田と申します。 好きなAWSサービスはVPCとRDS(Aurora)、好きな仕事は既存リソースのTerraform Importによるバージョン管理下移行作業 (社内通称IT土木) とTerraformのアップグレードです。(この前ようやくv0.12対応が終わり歓喜)。家庭では生後5ヶ月になった娘と戯れたりしながら日々仕事に精を出す毎日を送っています。 この記事では、エウレカで2019年度に実施したAWSのマルチアカウント環境におけるIAMマネジメントの最適化の試行錯誤の様子をお伝えします。 解決したかった課題弊社が運営するオンラインデーティングサービス「Pairs」ア
Synology NASのDockerをインストールして、Minecraft Bedrock Editionサーバーを立ち上げます。 マイクラのBedrock Editionとはスマホ、タブレット、Swich、Xbox One、Windows10で稼働できるBE版サーバーの説明をします。 このサーバーを立てるとローカルにあるSynology nasのマインクラフトのサーバーに端末からマルチプレイでアクセスできます。 ※DSM7.1での設定方法の説明になります。 前提条件 ・パッケージセンターよりクジラのアイコンの「Docker」がインストールされてること。 ・synology DSMに管理者でアクセスできる事。 1. Dockerのディレクトリ（フォルダ）にMinecraftのdataを保存できる場所を作成します。 ・DSMの「File Station」を起動します。「docker」のディ
BigData-JAWS 勉強会#18 登壇資料 https://jawsug-bigdata.connpass.com/event/215161/
Amazon SageMakerでマネージドなMLflowが使用できるようになりました | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 今朝目が覚めたら、Amazon SageMakerでマネージドなMLflowが使用可能になっていました。 アナウンス Amazon SageMaker now offers a fully managed MLflow Capability - AWS 公式ブログ Announcing the general availability of fully managed MLflow on Amazon SageMaker | AWS News Blog ドキュメント Manage machine learning experiments using Amazon SageMaker with MLflow - Amazon SageMaker 料金 Machine Learning Service
はじめに 先日の Google I/O 2023 で Public Preview になった Vertex AI PaLM API を使って、自然言語で BigQuery に対してクエリを実行してみます。 「とりあえず PaLM API を触ってみたい」が趣旨であり実用的ではありません。より実用的に使うためには今後出てくるコード生成に特化したモデル (Codey) を使ったり、プロンプト エンジニアリングしたり、トライ & エラーできるような仕組みを作ったりする必要があるでしょう。 本記事では PaLM API からのレスポンスをマスクしています。どのようなものが生成されたか見たい方はぜひ自分で実行してみてください。 本記事で使ったコード全文は Gist にあります。必要に応じて参照してください。 必要なもの Google Cloud のアカウント Google Cloud のプロジェクト
はじめに システムの構成 クライアントコマンド authenticator K8s Custom Controller cks-operator imperator 仕組み まとめ はじめに この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。 6 年間の振り返りは こちらの記事 を、運用に関する紹介は こちらの記事（執筆中）を参照してください。 システムの構成 構築・運用していたシステム構成は以下の図のようになっており、ユーザは専用のクライアントコマンド経由で Web IDE や Jupyter を起動してデータの分析ができるようになっています。 アーキテクチャ クライアントコマンド 前述のクライアントコマンド（以下 cmd）の機能などについて軽く説明します。 cmd のソー
はじめに GKEはGCPのサービスのひとつで、kubernetesのマネージドサービスになります。 GCPコンソールもしくはコマンドラインから、簡単にkubernetesクラスタを構築することができます。 リージョンの設定など初期設定を済ます必要はありますが、以下のコマンドを実行するだけでクラスタ構築が完了します。 趣味で触る場合はさておき、実際に業務でGKEを利用する場合はしっかりとセキュリティ面を考慮する必要があり、そのあたりを意識せずにGKEを利用するのは危険です。 本記事では、GKEのセキュリティに関するドキュメントを参考にし、それなりにセキュアなGKEクラスタの構築方法を紹介したいと思います。本来は最新情報などのキャッチアップも含め本家のサイトを参考にしていただくのが一番です。 このような機能があるんだなと、なんとなくの全体感を掴んでいただければ幸いです。 基本 Kubernet
1人目の専任SREがポストモーテム文化を改善したらエンジニア以外にも広まり、他部門との連携も強化された話｜Hiroki Takatsuka
2022年7月に primeNumber に入社した、1人目の専任 SRE の高塚 (@tk3fftk) です🙏 primeNumber が開発する trocco® のSREチームは現在、CTOの鈴木さん (@kekekenta) と自分、業務委託の方数名で日々さまざまな改善を行っています。 入社して半年以上経ち、行ってきた改善をふりかえりを行いがてら、記事を書いてみることにしました。 この記事では、SREの取り組みの1つとして、primeNumber のポストモーテム文化を改善した話をします。 追記: この記事をベースにしたLT登壇の機会をいただきました🎉 ポストモーテムとは?ポストモーテムとは、簡単に言うと、発生したインシデントについて読めば把握できるようなドキュメントです。 影響範囲、根本原因、タイムライン、行われた対応や再発防止策などが含まれます。 具体的な定義や書き方について
JX 通信社の開発担当役員(CDO)の小笠原(@yamitzky)と申します。JXのエンジニア組織(開発局)に「コンペ研修制度」を新設しました。 制度の概要今年の ISUCON 10 では、JX 通信社から２チームが予選参加しました(結果はふるいませんでしたが...!)。「コンペ研修制度」は ISUCON のようなコンペに参加することを「研修」として扱うもので、平日開催であれば業務時間としての参加として扱い、休日開催であれば(業務なので)代休が発生します。 一言で言うと「ISUCON の参加で代休が発生する」という制度ですが、ISUCON に限らず Kaggle など他のコンペへの参加にも適用できます。 「コンペ研修制度」創設の思いJX 通信社のエンジニア組織には「自学自習」というカルチャーが浸透しています。エンジニアの自学自習を推奨するためにも、カンファレンス・勉強会の参加費を全額補助し
差分転送するモチベーション 機械学習を使った情報推薦を行なうために、RDSのテーブルをBigQueryに定期転送しています。細かいことは気にしたくなかったので、一日一回の洗い替え(全データ送信で全部上書き)していましたが、もう少し鮮度を上げたくなりました(新しい情報に対して推薦ができないため)。何も考えずに定期転送の頻度を上げると 1: 転送のためのCPUコスト 2: AWSからGCPへのデータ転送量 が気になってきます。個人の趣味プロジェクトでは、特に2が大きい。先月のAWSの利用料金を見て、涙を流していました...。というわけで、情報の鮮度は上げつつもう少し効率的に定期転送するべく、Embulkでの差分転送をすることにしました。 やり方 差分だけBigQueryに転送する 基本的にはメルカリメソッドそのままです。いつもお世話になっております。 updated_atのような最終更新日時が
IISはWindowsでお手軽インストールできるWebサーバー お家のデスクトップでとりあえずWebサーバーを使ってみたい、という人向け。 まずはWindowsのデフォルト機能で使えるIISを試してみては？ IISはWindowsでお手軽インストールできるWebサーバー IISとは IISを有効化する コントロールパネルからWindowsの機能を追加 Internet Information Service を追加 localhostにアクセス IISマネージャーでセットアップ html配置ディレクトリを変更 アクセス権限設定 再度localhostにアクセス IISとは インターネット・インフォメーション・サービスの略で、MicrosoftがWindows上で動かせるWebサーバーとして開発しました。 Wikipediaで調べてみたところ、WindowsNTの時代（1996年）からあるん
導入の背景 Snowflakeを導入し、Talendと各種バッチ処理を作成してデータ分析基盤を構築しましたが、肝心のBIがコストの関係でストップとなりました。当初はPowerBIを導入する予定でしたが、BIをQuickSightに変更してコストを約半分にまで下げる案に変更しても予算がおりませんでした。コスト問題をクリアする為に仕方なくOSSであるMetabaseで構築した環境でしたが、思った以上に低価格で高性能な環境ができあがり、PowerBIに負けてないどころか、こちらの方が使い勝手が上だと思う環境ができましたので、紹介したいと思います。 ###おすすめしたいポイント ■Snowflake ・クエリが投げられた間だけの課金(停止中は課金されない) ・停止中でも瞬間に起動するので、遅延は感じない ・控えめに言っても超高速 ・スタンダード契約なら、最小サイズのXSサイズで1クレジット$2.8
Web アプリケーションを動かすためにはどうしても CPU、メモリ、ストレージなどが必要です。 せっかく作った Web アプリケーションを誰かに使ってもらうためにはインターネットで公開する必要があります。 そして 2020 年現在「Web アプリケーションを動かして公開する」ためのプラットフォーム(XaaS)が何種類も存在します。 その何種類も存在する XaaS はそれぞれ名称はもちろん機能や使い方も異なり、Web アプリケーションを開発する私たちは仕様と特徴を理解しながら一定以上のレベルで使いこなしていくことを求められます。 XaaS の「仕様と特徴」は例えば私たちが日常的に使う白物家電や調理器具や交通機関などと比べると圧倒的にバラエティが豊富でその分学習に時間が必要なように見えます。 最近はそういうことをグルグル考えているので自分自身の整理として言語化を試みます。 なお所属企業の業態や
happoメトリックサーバ Graphiteの移設
こんにちは。技術開発室の與島です。 ハートビーツでは現在、データセンタの物理サーバで稼働している自社システムをマルチクラウドの新基盤に移設するプロジェクトが進んでいます。 先日その一環として、監視システム happoのメトリックサーバをデータセンタの物理サーバからAzureに移設しました。 本エントリでは、その経緯と流れについて紹介します。 監視システム happo 監視システム happoは、ハートビーツにおけるサーバの管理・監視業務に必要な以下のサービスを提供します。 Nagiosによるチェック監視 メトリック収集とGrafana + Graphiteによるメトリック可視化 インベントリ収集とインベントリ情報の保持 今回紹介するメトリックサーバは、2つめの「メトリック収集とGrafana + Graphiteによるメトリック可視化」における、メトリックのデータストアです。時系列データベ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mod_proxy_htmlを使ってみた - Qiita
チームみんなが参加しやすくなるIaC設計の工夫 - selmertsxの素振り日記
CloudRunの秘匿情報をSecretManagerで扱ってみる - Qiita
Jsonnet で Kubernetes マニフェストを快適に書く
WordPressをIISでWindows 10に構築 | パソコン工房 NEXMAG
単純な冪等性にかわる新しい哲学が、構成管理には必要だという話 - Qiita
[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた
インフラ開発のやり方に変革がもたらされるかも？ InfraCopilotを試してみた - Qiita
Cloudless Computingの論文紹介
SaaS企業でリスティング広告の成果は出せる？運用のコツも5つ解説 -webma-
データ基盤のアラートにNew Relicを導入しました - TVer Tech Blog
GKE Autopilotをデータ基盤に導入してみた - STORES Product Blog
AWS CDKをDenoで動かす(完全版？) - Qiita
EKSユーザーもSageMakerを使うと楽に機械学習に取り組める話 - Qiita
Dataplexで始めるデータメッシュ運用
AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話
Synology NASでminecraft Bedrock Serverを立てます。
AWS SSOとGoogle Idpのおいしい関係 ~ QuickSightに楽してログインしたい ~
PaLM API を使って自然言語で BigQuery にクエリしてみる
機械学習手法を用いる研究向け基盤 on Kubernetes ~開発編~ - tenzenの生存日誌
それなりにセキュアなGKEクラスタを構築する - Qiita
ISUCON、Kaggleで代休をとれる「コンペ研修制度」を社内制度としてリリースしました｜小笠原みつき
最近の砂場活動その24: Embulkでのデータ転送を差分転送にする - yasuhisa's blog
【簡単】Windows10でWebサーバー IISを使う - 104blog
SnowflakeとMetabaseで作る格安データ分析基盤 - Qiita
mazgi.log :: 2020年代を生き抜くWebアプリケーション基盤の私的整理
www.asahi.com
3newskininaru.com
www.boon-senior.com
yy-output.com
japan.cnet.com
note.com/ulcons