データプラットフォームグループの松原です。 弊社各サービスのデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 今回はLAで行っている分析のためにサービス側のデータ(テーブル)を、Redshiftへ同期を行う処理について紹介します。 概要 LAではデータウェアハウスとしてRedshiftを運用しており、社内から比較的自由に利用できる様にしています。 LAで取り扱っているデータはアクセスログが中心ですが、分析を行う利用者からはLA由来のデータ以外にも自分たちのサービスのデータを用いて分析を行いたい、という要望がよく出てきます。 サービスのデータには個人情報を含むものも少なくありませんが、分析基盤として社内にデータを解放するためにはそのような情報は削る必要があります。 そこで個人情報をマスキングしたサービス側データを利用できるよう、Redshif

注意 本書では、ソースデータの変更に基づいて、どのようにDelta Live Tablesのパイプラインをアップデートするのかを説明します。Deltaテーブルにおける行レベルの変更を記録しクエリーする方法については、チェンジデータフィードをご覧ください。 ソースデータの変更に基づいてテーブルをアップデートするために、Delta Live Tablesでチェンジデータキャプチャ(CDC)を利用することができます。CDCはDelta Live TablesのSQLおよびPythonインタフェースでサポートされています。また、Delta Live Tablesでは、slowly changing dimensions (SCD)のタイプ1とタイプ2をサポートしています。 レコードを直接更新するにはSCDタイプ1を使用します。更新されたレコードに対する履歴は保持されません。 レコードのすべての更新

※1 INSERT,DELETE,DDL文については1行文、UPDATE文については更新前後の2行分 TROCCO®でCDC転送を行う際には TROCCO®がMySQLのbinlogをGoogle BigQuery上に転送 binlogのデータから重複を排除し、それぞれのレコードの最新のレコードの集合を作成 ↑の集合を現在のGoogle BigQueryテーブルとマージし、マージ後のテーブルで置換する という手順を踏んでいます。 CDC転送の詳細な手順についてはこちらのドキュメントの「テクニカルオーバービュー」の項をご参照ください。 2-1. MySQLのパラメータ設定 TROCCO®のドキュメントを参照しつつ、MySQLのパラメータ設定を行います。 binlogの設定を反映させるためにはDBの再起動が必要です。 DBを再起動して次のステップに進みます。 2-2. MySQLの権限設定 T

大阪オフィスの玉井です。 今回は、「すぐONにできるけど、実際にONにするとどうなるかよくわからない」機能であるHistory Modeについて説明します。 History Modeとは Fivetranの機能に「History Mode」というものがあります。Connectorの設定画面で、連携するテーブル（オブジェクト）やカラムを選択できるメニューで、連携方式を通常のものかHistory Modeか選ぶことができます。 History Modeを選ぶと、何が起こるのでしょうか。 簡単にいうと… Slowly Changing Dimensionsのタイプ2をFivetranで行うことができます。 … … …は？？？ もう少し説明 Slowly Changing Dimensions（SCD）とは データ分析をする人にとっては当たり前の概念ですが、データウェアハウスにおいて、ディメンショ

最近もっぱらdbt (data build tool) についての検証をしています。dbtは現時点だとなかなか日本語の情報があまりなく公式のドキュメントを頑張って読んで理解していく必要があるので、日本語にてこういう便利な機能があるよっていうのを紹介していく需要はあると思っています。（情報がないといってもすでにclassmethodさんのブログがいい感じに紹介してくれていますので参考になります。Youtubeの動画もあるのでそれも勉強になります。） www.getdbt.com 今回はdbt自体の紹介をしつつも、その背景のモデリングに関する情報も織り交ぜていこうかと思います。 今回はSCD (Slowly Changing Dimension) について情報を整理しつつ、dbtを使うとこのようにSCDが実装されますという例を紹介をしようと思います。（環境はDocker Desktopを利用し

こんにちは、Gunosy Tech Lab DR&MLOps チームの楠です。 この記事は Gunosy Advent Calendar 2022 の 11 日目の記事です。 昨日の記事は UT@mocyuto さんの『RailsのフロントをReactへリファクタしたとき、スキーマをOpenAPIベースの自動生成にした話』でした。 この記事では、ELT パイプラインにおける Transformation ツールである dbt の snapshot という機能について紹介した後、snapshot の手法を一般化したディメンションモデリングにおける概念である Slowly Changing Dimension を包括的に紹介します。 はじめに dbt とは？ dbt についての参考資料 dbt snapshot とは？ どんなときに使える？ dbt snapshot のまとめ dbt snap

AWS SSOのコンソール画面を触ってると、「んん？？どういうこっちゃ??‍♂️」みたいに混乱することありませんか？画面に沿ってなんとなく設定はできたけど、どういう仕組みになっているかわからないというか… すみません、うまく言語化できていない自覚があるんですが、以下のような点がモヤモヤしています。 ユーザー&グループ、アカウント、アクセス権限セット各概念の関係性がわからない いや、俺はそもそもアクセス権限セットがどういうものなのか理解していないのでは？(モヤモヤ?) 今回はこのモヤモヤを解消するために、SSOの概念を図解していきたいと思います。SSOコンソール上での以下各操作によってどういうリソースが作成され、それぞれがどう動作するのかまとめます。 初期状態(SSO有効化前) SSOを有効化する ユーザーやグループを作成する アクセス権限セットを作成する アカウントにユーザー・グループを割

はじめに 悪意のあるユーザーからシステムを守るにあたって、アクセス制御は重要です。 社内システムのような一般公開しないシステムの場合は必要な拠点からのみ接続を許可することで、悪意のあるユーザーからの攻撃をブロックします。 ECサイトのような一般公開するシステムの場合は必要な通信のみ許可します。 不要な通信を許可すると、攻撃が成立しやすくなります。 攻撃を防ぐだけでなく、攻撃を受けた後の対応としてもアクセス制御は重要です。 例えば、特定IPアドレスからの攻撃が認められる場合、そのIPアドレスをブロックします。 本記事ではAmazon EC2で行うアクセス制御の基本を整理します。 本記事でのアクセス制御は、主にIPアドレスベースでの制御を対象にします。 EC2のアクセス制限には主にセキュリティグループとネットワークACLで行います。 上記との2重管理になるため、iptablesやWindows

スタースキーマ(基礎) の記事の知識を前提としています。 ディメンションテーブルのソースとなるデータは、運用している業務システムのものである。これらのデータは、データウェアハウスに移され、それぞれのディメンションテーブルに格納される。 しかし、この情報は運用の過程で変更されることがある。例えば、会員の生年月日を直したり、住所変更などである。この時に運用システム側は、変更履歴を追うようにする。または素直に上書きしてもよい。いずれにしても、ディメンションテーブルは、どのように分析をしたいかによって、変更に対応することが必要になる。 ディメンションの設計において、ソースデータの変更をどのように表現するかを決めることは重要で、これらを「スロー・チェンジ・ディメンション」と呼ぶ。これはファクトに比べるとディメンションはゆっくりと変更されることから由来している。 データ変更がされた場合、様々な対応が考

最近、キルミーベイベーをボケーっと見てたから 「それ面白いの？」って聞いたら「別に面白くはない」って言ってて 付け加えて「こういうのは面白くなくていいんだよ」とか言い出すから、 60過ぎたジジイが日常系の楽しみ方理解ってんじゃねぇよと笑ってしまった。 ジョジョの楽しみ方はわからないくせに生意気なジジイだ。

TL;DR 原則としてパーティションテーブルを使うが、上位互換ではないため１次保存層にはシャーディングテーブルを使う マサカリください 概要 データ分析を行う際には分析基盤の整備が欠かせません 分析基盤としては様々なプロダクトがありますが、そのなかでBigQueryには下記の利点があります よく使われるため分析者にとって馴染み深い 処理が分散実行されるためとても高速 GCPのフルマネージドであるため運用が楽 ここではデータ加工層(データマート、データウェアハウス)だけでなく、１次保存層(データレイク)としてもBigQueryを用いる場合について考えます ※データの３層構造に関しては下記記事の思想に従います http://yuzutas0.hatenablog.com/entry/2018/12/02/180000 あなたが格納しようとしているデータが日毎に増えていくような大規模データである

dbt Advent Calendar 2022 の20日目の記事です。 背景 筆者は、dbtを使った広告プラットフォームのデータ基盤の構築・運用をしています。 この基盤は、最初からdbtを使っていたわけではなく、過去にフルスクラッチから、dbtへのリプレイスをしました。 広告レポーティング基盤に、dbtを導入したら別物になった話 そのdbtへのリプレイスで、当初困ったことがありました。世の中で紹介されているdbtのサンプルコードは、データ量が少ないもの（広告に比べると）を前提にしているので、大量データを扱っている筆者にとっては参考に出来るものがありませんでした。 けれども、元々フルスクラッチで実装していた時に、採用していたパーティショニングを使ったデータ処理のパターンが、dbtでの実装においても、非常に有効だったので、今回はそれについてシェアします。 今回、紹介する設計は、データウェアハ

この記事は BigQuery Advent Calendar 2021 のカレンダー2 12/18の記事になります。 Calendar for BigQuery | Advent Calendar 2021 - QiitaCalendar page for BigQuery.Qiitaはじめに 自分はとある会社のサーバサイドエンジニアだったのですが、ひょんなことからBigQueryを使ったデータ基盤の開発プロジェクトの立ち上げに参画しました。 そのプロジェクトで、BigQueryを軸に大規模なデータ分析基盤を作成するにあたって 要件定義 全体設計 環境構築 データパイプラインの実装 データ分析 関連システムの開発 などを一通り行いました。 開発メンバー2人で始まったプロジェクトも4年が経過し、今や10人以上のエンジニアが参加するプロジェクトになりました。 データの規模は主にテキストデータで

こんにちは、森田です。 AWSの公式ドキュメントでLAMPのチュートリアルがありますが、今回はこのとき作成したRDBを外部から接続できるようにしてみました。 前提 この通り進めた後の操作になります。 上の作業進めるの大変！って思った方は下記のユーザデータを使用してください。 mysqladmin password XXXXXXXX のXXXXXXXX はパスワードになりますので適宜変更してください。 #!/bin/bash yum update -y # amazon-linux-extrasを使用して Maria DB php をインストール amazon-linux-extras install -y lamp-mariadb10.2-php7.2 php7.2 # mariadb-server , Apacheのインストール yum install -y httpd mariadb-

日経ではアクセスログ、所謂クリックストリームデータを用途に合わせた複数のデータベースに格納し、サービス開発やマーケティングに携わる社員が自身でデータ分析ができるよう、セルフサービス化を進めています。 セルフサービス化を進めている背景として、データの集計や分析のニーズは日々増え続ける一方で、アナリストやデータサイエンティストのリソースはオンデマンドに増やせないため、いかにしてデータのアウトプットをスケールさせるかという課題があります。この課題に対するソリューションとして、データ専門チームの設立やオフショアのような人のリソースを拡張する施策に加え、ツールの整備と教育によるセルフサービス化に力を入れています。 データの集計や分析のセルフサービス化において、特に大きな課題がクエリーの負荷です。現在、およそ 200 人が BI ツールにログインして Redshift でクエリーを実行できる権限を保有

金融システムの運用保守や情報システム部門のIT支援などを経て、現在は顧客へのAWS導入・移行の提案、構築などを担当。社内向けの勉強会、技術支援などを実施し、AWSエンジニアの育成にも挑戦中。好きな食べ物はカレーと餃子。 執筆・監修者ページ／掲載記事：6件 みなさん、AWSのセキュリティグループはご存じでしょうか？ こんにちは。エンジニアの中井です。 AWSのサービスを利用する上で、避けては通れないのがセキュリティグループの設定です。 このセキュリティグループですが、改めてドキュメントを読み返すと色々と発見がありました。 そこで今回は、セキュリティグループの基本的な部分をおさらいしつつ、インスタンスへの設定パターンなどについて説明していきたいと思います。 セキュリティグループのおさらい 一言でいうと セキュリティグループは「ステートフルなファイアウォール」で、インスタンスレベルで動作。 ネッ

ランキング参加中雑談・日記を書きたい人のグループ kawango.hatenablog.com これを読んで思ったことなど。 僕は川上さんのことがずっと気になっていて、著書も読んできたし、けっこうファンでもあるのです。 fujipon.hatenablog.com 冒頭のエントリも、川上さんは川上さんの目で見てきた世界のことを書かれていて、その率直さには頭が下がります。 「あなたには弱者の気持ちがわからない」っていう言葉は、僕もネットでよく浴びせられて、考え込んでしまっていました。 「なんだ医者か、勝ち組じゃん」 「親ガチャ勝ってるだろ」 「お前みたいな恵まれた立場にいるやつに、俺たちの気持ちはわからないよ」 もう10年近く前、ほとんど一睡もできずに働いていた当直の夜に、急性アルコール中毒で救急搬送されてきた若者がいました。 ぐったりしながらも必要な処置をしていたら、その若者は少し酔いが醒

QUICはこの10年で世界的な規模で使用されるようになった新しいプロトコルのひとつであり、ネットワークにもこれまでになかったインパクトをもたらしています。本セッションではQUICがネットワークに与える影響をご紹介しますが、これがQUICの導入を検討する開発者やネットワーク運用者のお役に立てれば幸いです。 本記事は、TechFeed Experts Night#13 〜 HTTP3/QUIC…Webプロトコル最前線のセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 セッション動画 @yuyarinと申します。前職では@kensaku_komatsuさんと同じ会社でクラウドを作っていました。現職はモバイルキャリアでエッジコンピューティングの基盤を作っているので、ぜひ

2024年3月13日追記 ・OpneAIのAPI課金システム変更に伴うエラーについて解説。 10月26日追記 ・メールが届かなくなった際に権限の再承認が必要な件。 5月11日追記 ・検索にかかった論文に抄録がない場合、AIが要約を創造(捏造)する件。 4月21日追記 ・作り方のサイトではなく公開されたLINE Botのリンクに切り替え。 ・エラ−429が出た場合4のスライドを追加。 4月10日追記 ・送信トリガーの変更方法のスライドを追加。 ・複数キーワードや雑誌を指定して検索する方法のスライドを追加。 デモコードは、 const PUBMED_QUERY = '(aaa) AND (bbb) AND (("ccc"[Journal]) OR ("ddd"[Journal]))' ・エラー原因をChatGPTに聞くコツについても追記。 4月6日追記 ・エラー429が出た場合の対処法スライド

2023 年 3 月時点で、自分の開発スタイルがどう変わったかを雑に書いておく。 どんなタイミングで何を聞いているか主に Go と TypeScript や W3C や IETF の仕様について聞く場合はほぼ ChatGPT Plus を利用している。間違いとかはどうせ公式ドキュメントを読めばいいので、正しさは求めておらず、きっかけを求めている。 最近では Cloudflare Workers 上で動く WebAuthn サーバーを実装しているが W3C の WebAuthn を開きつつも、ほぼ ChatGPT に相談しながら実装している。 TypeScript で Uint8Array から ArrayBuffer に変換する方法を聞いたり、証明書について聞いたりと色々。参考までにどんなことを聞いているかを紹介しておきたい。 WebAuthn で送られてくる署名の r と s がたまに

ソフトウェアエンジニアの 鈴木 (@szk3) です。 先日、カミナシにおいて古くから存在する１つの機能をリアーキテクティングしました。 その結果、処理時間は4分の1以下、コストは90%程度削減 と大きな成果を出すことができました👏 本記事では、その機能が抱えていた課題に対しどのような改善のアプローチをして上記の結果に結びついたのか？について共有します。 Excel変換とは 今回、リアーキテクティングの対象となった機能は、カミナシに帳票として記録されたデータをExcel形式に変換して出力する機能です。 これを、”Excel変換” と呼んでいます。 Excel変換は、カミナシのサービスの中でも比較的古くから存在する機能です。 ここ数年での利用ユーザーの増加と共に、設計当初のシステムアーキテクチャが技術的な負債となっている状態でした。 Excel変換の課題 まず最初に、設計当初のアーキテクチ

なぜインライン要素・ブロック要素概念は依然として有用なのか：現代的なWeb制作への適用 https://zenn.dev/coedo/articles/html-css-inline-element-block-level-element この記事では、『なぜインライン要素・ブロック要素概念は依然として有用なのか』という記事（以下「元記事」といいます）の説明について見ていきます。 この記事の対象者 この記事は、ウェブ制作を学んでいる人や、「インライン要素」「ブロック要素」という用語の扱いに困っている人を想定しています。 はじめに： 結論 この記事の結論は次の2つです。 今日のHTMLから「インライン要素」「ブロックレベル要素」という表記はなくなった。 ある要素にどのような要素を入れるのかは、「インライン要素」「ブロック要素」という考え方を使わなくてもできる。 詳しく説明したいと思います。

フルスタックオブザーバビリティを AWSで実現する方法 / How to achieve full-stack Observability with AWS (ja)

1994年刊行の雑誌『クイック・ジャパン』から生まれたウェブニュースメディア『QJWeb クイック・ジャパン ウェブ』。私たちが「本当におもしろい」と確信したことだけを活字に。個人の声、個人の視点にこだわり、カルチャー（生活）からニュース（世界）を読むことを実践。

やめたい。 30代後半女。 私は、もともと他人に対して威圧的に振る舞う方ではない。はずだ。 友人に対しても同僚に対しても家族に対しても取引先に対しても、どちらかといえば腰を低く接するほうだし、怒りを表明することはもともと苦手だ。 仮に立場が異なる意見や要望を伝える場合も穏やかに伝えるべきだと考えているし、 怒鳴ったり不機嫌になってみせるのは、心理的安全性が下がるばかりで全く益がないと考えていた。 だが、職場の限られたメンバーに対して、意見を伝えるときに「不機嫌である」という表情を浮かべることが増えてきた気がしている。 相手は50代男性上司と30代男性同僚。 自分を加えて3人でチームだが、50代上司は実務にはあまり関わらない。 会議等は、私と同僚が実務の話をして、ときどき上司が口を挟むというかたちである。 私視点で、会議が本当にうまく行かないことがある。 たとえば取引先との商談用資料をどうい

面白いなと思った使い方、大事だなと思ったコツの個人的な備忘録です。 はじめに 前提 ChatGPTのTipsまとめ 基本編 鵜呑みにしない 途中で文章が途切れた時は "続けて" 汎用Tips 文脈を伝える 条件/制約や質問を明示する 相手の立場を指定する 回答の特性を指定する 英語で入力する 無茶振りする レビュアーや反論者を用意する おわりに はじめに ChatGPT、面白いですね。 難しく考えず素朴にChatGPTと会話するのも十分面白いですが、コミュニケーションを工夫することでより良い体験が得られたりします。 (対人コミュニケーションと同じですね) 今回は、個人的にChatGPTを使ってる中での好みのコツをまとめます。 ChatGPTのコツを書いているはずが、いつの間にか対人コミュニケーションの話みたいになってしまった ChatGPTの使い方のコツをまとめる - BioErrorLo

父親、70代半ば。 定年してから家ですることないし何もしないし酒飲んでばっかり。 人との関わりもできないし社会と関わり持つようなこともなくて時々2階の自室から降りてきて、家族にあることないこと文句言う。 で、本人もコミュ障なのかアスペなのかわかんないけど、酒飲んでなくても認識がおかしいところもあるし、何よりも怒る事くらいしかエンタメがないのか、過去の嫌だった事を1人で煮詰めて、それがグツグツしてペースト状のドロドロになった頃に人にぶつけたりする。 友達とかはいない。 一緒に遊びに行く友達の存在とかもほぼ居なかったと思う、聞いたことない。 すぐに人をこき下ろしたがるのでだれも仲良くしないと思う。 極端に、周りを見下すことでしか自分の優位性を保てないんだと思う。 テレビ見ても雑誌みても、フン、て偉そうに多分何も知らないのに間違っとるとか批評家気取りのズレたご高説を垂れるばかり。 聞いてる側も気

スイーツが好きだ。 そしてお酒も好きだ、いや嫌い…でも好きだ。 お酒に対する感情は、スイーツに対するものとは少し違って少し同じ。なんだこの感覚…。 私の人生における失敗の5割くらいはお酒のせいだと思う。酔っ払って人にダル絡みしたり暴力や暴言で傷付けたり…ということは無いはずだけれど、普通に気持ち悪くなって死ぬ。 それなりの量を飲むと眠たくなって、やりたいことがあっても出来なくなっちゃうし…お金はアホみたいにかかるし。 なんで飲んでるんだろ。 いくつかの理由は自分の中で明白だ。 ひとつは自分のブランド価値を上げたいがため。ブランドバッグを持って高い車を走らせるのと似た気持ちかもしれない。自分はこんなに高くて有名なお酒を飲んだのだから、きっと私自身の価値も高いはずだってね。くだらない…そんなことで人の価値は決まらないなんて、よく分かっているのにさ。分かっていても、そんなことに縋らないと、前を向

Aya Nishitani 西谷史 @ayanakajima3 実家の父が 「ガス代の節約や！　風呂の湯を替えずに、入れっぱなしにして追い炊きするんや！」 というので言う通りにしたら、ガス代が高くなった。 やれやれ、と思いながらガス会社に電話した。担当の人は抵抗したが、 「冬は、追い炊きの方が、ガス代が高くなる可能性はあります」と認めてくれた。 pic.twitter.com/o3k6904YOB

リンク ヤフオク! 若い女性昭和48年4月号別冊付録 服種別・自分で... - ヤフオク! 商品説明 若い女性昭和48年4月号別冊付録 服種別・自分で作る春の通勤着 b ページヤケあり 表紙キズ、ヤケあり サイズ/B5 90ページ 送料無料でお送りいたします。 型紙付き（キレあり） 実物大型紙で作りました 服種別・自分で作る春の通勤着 ヤングに人気の既製品のブラウス 簡単に作れる春のジャンパースカート 自分で作るスペアスカート 組み合わせに便利な棒針編みのベスト あなたのビジネスライフのお供に/手作りの楽しい小物入れ 実物大型紙を使ったカーディガンジャケット・シャツワンピースの縫い方 補足、注

RedshiftにParquetファイルをCOPYしたい場合、S3バケットのリージョンに注意が必要です データ・アナリティクス事業本部の森脇です。 RedshiftのCOPYコマンドを使うと、S3からファイルをRedshiftにロードすることが可能です。 また、COPYコマンドオプションの「REGION」にてS3のリージョンを指定することで、S3とRedshiftのリージョンが異なる場合にもファイルをロードすることが可能です。 ただし、Parquetファイルはリージョンが異なる場合ロードできません。 実際に試してみましょう。 OKパターン(同一リージョンでのCOPY) まずは同一リージョンでのCOPYを試します。 東京リージョン(ap-northeast-1)にRedshift, S3をそれぞれ作成します。 そして、S3バケットにデータファイルをアップロードします。 今回はcsv, par

Amazon Auroraとは？ Amazon Auroraは MySQL及びPostgreSQLと互換性のあるクラウド向けのリレーショナルデータベースです。 まずAuroraを話す前にAmazon RDSについて少し話します。Amazon RDSはクラウドの上でリレーショナルデータベースを使えるサービスです。 フルマネージドサービスでバックアップ、ソフトウェアパッチ、自動的な障害検出、および復旧を管理します。そしてDBインスタンスのCPU、メモリ、IOPSやストレジを個別に設定できまし、マルチAZやフェイルオーバなど高可用性のリレーショナルデータベースサービスです。 Amazon AuroraはAmazon RDSが提供しているデーターベースエンジンの一つで、MySQL最大５倍・PostgreSQL最大３倍のパフォーマンスを提供できます。 AuroraはRDSとは違うアーキテクチ

2022.4.22 に Aurora Serverless v2 が GA された。 以前から気になっていた機能なので特徴について気になった点をまとめてみた。 Disclaimer 2022.4.22 時点での情報です。最新の情報は公式ドキュメントを参照してください。 本記事では網羅性はあまり意識していません。繰り返しになりますが、詳細は公式ドキュメントを参照してください。 Aurora Serverless v2 の主な機能概要 負荷に応じてインスタンスタイプが自動的にスケールアップ Provisioned インスタンスと Serverless インスタンスを混在して一つのクラスタに配置できる v1 と比較してよりきめ細やかな Option が指定可能(インスタンスタイプ、Global Database の指定等) ※ Disclaimer でも触れた通り網羅性は意識していません 1.

はじめに Amazon RDS for MySQL から Amazon Aurora Serverless へ乗り換える機会があったので、勘所のようなものをご紹介します。この記事では Java, SpringBoot を前提に記載していますが、本質は言語やフレームワークを問わない内容ですので、適宜ご利用の環境に読み替えてご覧頂けると幸いです。 Amazon Aurora Serverles とは 詳細は公式のドキュメント等をご確認頂きたいのですが、大きな特徴としては管理するインスタンスを持たない点が挙げられます。少し乱暴な例えかも知れませんが、 AWS Lambda のデータベース版のような仕組みで、データベースを使用するタイミングでデータベースサーバが起動、使い終わったら停止するような動作となり、その間に利用した Aurora Capacity Unit (ACU) の使用量で課金される

オンデマンドにオートスケールするAurora Serverless v2がGAしたことに伴い、弊社でも、各プロジェクトへの導入が勧められています。 その導入過程や、手順について書いていきたいと思います。 今回紹介するのはAurora MySQL バージョン 3からAurora Serverless v2へのインプレースでのアップグレードの方法です。 現状は、Aurora MySQL バージョン 3　しかServerlessに対応していないので、インスタンスをAurora MySQL バージョン 3にしないと使えません。 Aurora MySQL バージョン 2以下のインスタンスは、一旦、Aurora MySQL バージョン 3にインプレースアップグレードしてから、移行する必要がある点にご注意ください。 ちなみに、Aurora MySQL バージョン 2からAurora MySQL バージョ

長い長いプレビュー期間をついに卒業！ おさらい そもそもAuroraって何だっけ？ AWSが提供するマネージドDBサービス「RDS」の上位ラインナップ。 RDSで選択可能なDBMSエンジンにはOracle、PostgreSQL、MySQLなど複数あるが、その中でやや特殊な上位ラインナップとしてRDS（Aurora）エンジンとして存在する。 RDS（Aurora）はさらに2種類のバリエーションがあり、PostgreSQL互換もしくはMySQL互換が選択可能。 RDS（Aurora）の何がいいのか？ 通常のRDSと比べて… 高性能。クラウドに最適化してイチから設計されているため、互換先のDBMS比で3〜5倍高速。 高可用性。DBインスタンスおよびストレージが3AZに自動分散される。 で、Aurora Serverlessっていうのは何？ まず、DB系サービスのマネージド度合いは３段階ある。 セ

1. 目的 AWSのデータベース関連サービスの復習をしている。Aurora Serverless について、「使ってない時に勝手に停止するDBらしい」程度の認識しかなかったため、実際に使ってみてもう少し理解を深める。 2. Amazon Aurora Serverless とは（自分の理解） RDSなどと同じく、AWSマネージドのRDBだが、自動でスケールイン・アウトするなどよりマネージドの範囲が増えているもの。 類似サービス(RDS, Aurora)との比較はこちらのサイトを参照。 Aurora Serverlessを実際に使ってみたメリットとデメリット 2021/4現在、GAされているものは「v1」とされており、機能拡張版の「v2」がpreview提供されている。今回は基本を学ぶため、普通の「v1」を使用する。 3. やったこと Aurora ServerlessのDBを作成する。 自

大栗です。 re:Invent前の駆け込みアップデータが諸々発表されていますが、Auroraもたくさんアップデートが出ています。Aurora ServerlessでManagement Consoleからアクセスできるクエリエディタが使えるようになったのでレポートします。 Now Run Amazon Aurora Serverless Queries Directly from the AWS Management Console (Beta) Using the Query Editor for Aurora Serverless Aurora Serverlessのクエリエディタ AuroraでSQLを発行するためにはMySQL系のDBクライアントでログインしてからSQLを発行するため、AWSのManagement Console以外のツールを操作してDBを管理する必要がありました。

Aurora Serverlessは一定時間利用されなくなると自動的にインタンスを落とすことで、 ランニングコストを抑えられるというメリットがあります。このメリットは、一時的に利用するシステムの一端を担うDBとしては最適でした。 先日、期間限定のキャンペーンシステムを構築するにあたり、Auroraを活用する機会がありましたので、構築手順メモとして残しておきます。 リージョン：東京 データベース：Aurora(PostgreSQL互換) ※VPCやサブネットグループ、セキュリティグループに関しては詳しく書きません。 Aurora公式 https://aws.amazon.com/jp/rds/aurora/serverless/ Amazon RDSの画面からデータベースの作成をクリック。 https://ap-northeast-1.console.aws.amazon.com/rds/h

Aurora ServerlessのMySQLでData APIを有効にして作成しました。 マネジメントコンソールのQuery Editorからユーザー名、パスワードなどを入力しました。 Secrets Managerも使えますが、今回は直接入力しました。 接続できて、クエリーが実行できました。 ちょっとした確認とかで便利に使用できそうですね。 最後までお読みいただきましてありがとうございました！ 「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。 「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。 「ポケットスタディ AWS認定 デベロッパーアソシエイト ［DVA-C02対応］ 」という本を書きました。 「要点整理から攻略するAWS認定ソリューションアー

はじめに 最近CodePipelineを使ってecsのデプロイを自動化する仕事をしていました。 その中でCodeDeployを使用することになったのですが、 CodeDeployを使ってデプロイするためにはアプリケーションコードがあるリポジトリ内にtaskdef.jsonファイルを作成してそこにタスク定義を書く必要があります。 しかし、プロジェクトではterraformでインフラを管理していたため、タスク定義がterraformとアプリケーションコードの両方に存在しているのは避けたいと思い、Codebuild内でtaskdef.jsonを作成することにした。 概略 方法 1. ecsからtask定義を持ってきてそれをもとにtaskdef.jsonを作成するコマンドをbuildspec.ymlに記述する 2. 作成したtaskdef.jsonをcodebuildのアーティファクトに出力 3.

概要 AWS CI/CD for Amazon ECS ハンズオンをやってみました。 ハンズオンは下記の3本立てです。3時間程度で終わりました。 サンプルアプリのコンテナイメージ作成 AWS Fargate環境構築とコンテナ実行 CI/CDのパイプライン作成 ハンズオンを進めながら個人的なメモを補足した内容です。実際のハンズオン資料を見ながら作業をすすめ補足資料になればよいなと思っています。 CodeBuild時にDocker Hubのレートリミットに引っかかるとつまづくと思うのでそこの回避方法を載せています。 まず、AWS Fargateとは ハンズオン1 Fargateでコンテナを実行するまでの前準備する内容です。 ハンズオン資料より VPC、ALB作成 ハンズオンの手順ではVPCはCloudFormationで構築します。コードはハンズオン資料内にダウンロードリンクがあります。ALB

みなさん、こんにちは。horsewinです。 AWS CDK Advent Calendar 2021 9日目の記事となります。 CDKのCI/CD化を手助けしてくれるConstructの1つである、CDK Pipelines（@aws-cdk/pipelines module）に触れていきます。 複数人でCDKを利用したCI/CDを導入する上でぜひ検討の1つにしてみてください。 今回触れること、触れないこと 本記事では次の内容について触れていきます。 CDK開発にCI/CDを組み込むモチベーション CDK Pipelinesとはなにか CDK Pipelinesを利用する上でのTips 次の内容には触れません。ただしAWS公式のドキュメントやリンクをリファーはしますので適宜参考にしてください。 CDK Pipelinesの作成の流れ（ハンズオンなど） CDK/CFnで悩むリソース参照方式

こんにちは。AWS CLIが好きな福島です。 はじめに 今回は、以下のハンズオンを実施したため、ハンズオンの内容を基にCI/CD for Amazon ECSの自動デプロイの流れをまとめてみます。 ◆AWS CI/CD for Amazon ECS ハンズオン https://pages.awscloud.com/rs/112-TZM-766/images/AWS_CICD_ECS_Handson.pdf また、以下のブログを読んだ後に本ブログをお読みいただくと良いかと存じます。 https://blog.serverworks.co.jp/cicd-ecs-build-deploy-files 概要図 流れの説明 ①コードのPush ローカルや開発環境で開発したコードをCodeCommitにPushします。 ②CodeCommitへのPushを検知し、CodePipelineが起動 Co