AWS Glue × Apache Iceberg で構築する更新可能なデータレイクテーブル
こんにちは。シンプルフォーム株式会社 にてインフラエンジニアをしています、山岸です。 社内向けに運用しているデータ分析基盤について現状抱えているいくつかの課題を克服すべく、最近は更改に向けた検証に取り組んでいます。今回は取り組みの一つである「AWS Glue と Apache Iceberg によるデータレイクテーブル構築」についてご紹介したいと思います。 概要 当社ではデータ分析基盤の ETL 処理に AWS Glue を使用しています。社内のデータ分析業務等のため、RDS データベース等のデータソースから日次で S3 上に構築された DWH に連携しています。 現行のデータ分析基盤では、DB テーブル上のデータを毎日全件洗い替えています。このような処理方法は ETL 実装や問題発生時の復旧が簡単である一方、ETL 処理のコスト効率が悪く、データ量の増加に伴って処理時間も長くなっていきま
定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluation
CNDS2024 https://event.cloudnativedays.jp/cnds2024/
マイクロサービス基盤にフルマネージドサービスではなくKubernetesを選択する理由
https://event.cloudnativedays.jp/cnds2024/proposals/731
データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
JJUG CCC 2024 Spring：テストコードが根付くチームを立ち上げるために考えたいこと | ドクセル
スライド概要 JJUG CCC 2024 Springでのスポンサーセッション「テストコードが根付くチームを立ち上げるために考えたいこと」の公開資料です。 シンプレクスは1997年の創業以来、メガバンクや大手総合証券を筆頭に、日本を代表する金融機関のテクノロジーパートナーとしてビジネスを展開してきました。現在では、金融領域で培った豊富なノウハウを活用し、金融機関以外の領域でもソリューションを展開しています。2019年3月にはAI企業のDeep Percept株式会社、2021年4月には総合コンサルティングファームのXspear Consulting株式会社がグループに加わり、創業時より付加価値の創造に取り組んできたシンプレクスとワンチームとなって、公的機関や金融機関、各業界をリードする企業のデジタルトランスフォーメーション（DX）の推進を支援しています。
Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
大規模なRedis運用で生き残る方法
こんにちは。LINE Plus（韓国にある、LINEヤフー株式会社の子会社）のRedisチームでDBA業務を担当しているJeonghoon Kimです。私たちのチームはその名の通り、代表的なキーバリューストア（key-value store）Redisを研究し、社内に導入しています。また、国や法人を問わずに独自で運営しているサービスを除く、LINE関連サービスで使用されるすべてのRedisに対して技術サポートを担当しています。 その間、新しいサービスが生まれ、既存のサービスも成長してRedisの規模も徐々に大きくなってきました。この記事では、2023年の1年間、大規模なRedisを運用してきた私たちのチームの経験についてお伝えしたいと思います。まず、私たちが運用しているRedisのおおよその規模と、HA（high availability）をどのように構成したかを簡単に説明し、クラウドリソ
【JJUG CCC 2024 Spring】物理削除/論理削除 #jjug_ccc_c #jjug_ccc | ドクセル
TORANOANA Lab 物理削除 vs 論理削除 レコード消滅作戦 虎の穴ラボ 河野 裕隆 JJUG CCC 2024 Spring Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. #jjug_ccc_c 自己紹介 河野 裕隆（こうの ひろたか） 好きなもの ● 2019/08 虎の穴ラボ入社 ● VOCALOID（初音ミク） ● 新規開発チーム ● 謎解き、クイズ ○ ● クリエイティア他 X: @hk_it7 虎の穴ラボへの入社理由 ● スキルを高めあえる仲間がほしい ● ユーザーに近い仕事がしたい JJUG CCC登壇は半年ぶり3回目 初めてスタッフ参加🎉 2 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. #jjug_ccc_c
いまどきの分析設計パターン10選
JJUG CCC 2024 Spring 複雑な業務ロジックに立ち向かうための実践技法 【初級編】 ①値の種類 ②範囲型 ③階段型 【中級編】 ④状態遷移 ⑤入出金履歴と残高 ⑥未来在庫 【上級編】 ⑦セット演算 ⑧割合と端数 ⑨決定表 ⑩経路探索
Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
オブジェクト指向考古学 〜人類は再びDCIの夢を見るか〜
トランザクションスクリプトはどこから来たのか トランザクションスクリプトは何者か トランザクションスクリプトはどこへ行くのか #sekkeinight
[TimeTree] Aurora から Spanner への 移行の決断と背景
TimeTree の SRE が海外展開においてやったこと＆やってないこと by【TimeTree × みてね勉強会】 グローバル対応への挑戦 〜SRE/インフラ編〜
![[TimeTree] Aurora から Spanner への 移行の決断と背景](https://cdn-ak-scissors.b.st-hatena.com/image/square/b2996b601519e42f0b70cc7e630a29ea83be92bf/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F545a6393167a49a2ab387ecc0a0ca90c%2Fslide_0.jpg%3F30594713)
IAM ユーザーのログイン失敗を検知して複数回失敗すると権限を剥奪する仕組みを作ってみた | DevelopersIO
こんにちは、AWS 事業本部の平木です！ AWS における PCIDSS v3.2.1を見た時に要件 8 を参照するとアカウントロックに関する要件があります。 現状、執筆時点では IAM ユーザーで連続してログイン失敗してしまったとしてもアカウントをロックできる仕様はありません。 ただ、AWS 公式のコンプライアンスガイドを見ると以下のように記述されていました。 PCI DSS 審査の適用範囲内であると判断された IAM ユーザーには、8.1.6 および 8.1.7 のアカウントロックに関する要件を満たす追加の仕組みが必要です。お客様がこれを達成するには、AWS CloudTrail、Amazon DynamoDB、AWS Lambda、Amazon CloudWatch を組み合わせて連続したログイン失敗を追跡して、ログイン失敗がしきい値である 6 回連続で発生した場合に制限を強めた I
【GAS】SlackのチャンネルからQiitaの記事を取得して自動でストックする - Qiita
結論 以下ソースコードをGASに登録し、Slack APIとQiita APIのトークンとその他を環境変数に登録するだけ。 // 実行関数 function myFunction() { const messages = getSlackMessages() putStock(messages) } // 定期的にSlackからメッセージを取得するためのトリガーを設定 function setTrigger() { ScriptApp.newTrigger("myFunction").everyDays(1).atHour(20).create() } // Slack APIのトークン const SLACK_TOKEN = getVal("SLACK_TOKEN") // SlackチャンネルID const SLACK_QIITA_CHANNEL_ID = getVal("SLACK
画像grepツールを作ってみた - Qiita
経緯 ごく稀に、プロダクト内に書かれた文言の修正をすることってありますよね。 htmlやテンプレートファイルに文字列が記載されていれば、普通にgrepするなり、sedで一括置換できたりします。 問題は画像です・・・！ 画像の中に置き換えなければいけない文字があることもあると思いますが、画像を目視で見ないと分からないですよね。 過去の経験的にも、あとから置き換えなければいけない文字を含む画像が見つかって、修正する・・・みたいなことを何度か経験したことがあります。 （本来は、画像内にあまり文字を書くのは良くないと思うのだけど・・・説明ページとかだと仕方ない場合もありますよね。） 画像内をgrepできたらいいのに、と思ったのでOCRを活用して画像内の文字列をテキスト化し、その中に調べたい文字列があるかをチェックするツールを作ってみたので紹介します。 OCRとは OCR（Optical Chara
AWS Backupで継続的バックアップを有効化したときのRDSとAuroraのバックアップの挙動を確認してみる | DevelopersIO
自動バックアップを有効にしているものは、バックアップウィンドウを以下のように設定しています。 RDS DBインスタンス : UTC 21:00 - 21:30 Aurora DBクラスター : 自動割り当て (Aurora DBクラスターをマネジメントコンソールで作成する際はバックアップウィンドウを明示的に指定することはできない) メンテナンスウィンドウについてはいずれもJST 9:00 - 9:30 で設定をしています。 また、AWS Backupのバックアッププランではいずれも1時間に一度動作するようにしています。 作成したAurora DBクラスターとRDS DBインスタンスは以下のとおりです。 aurora-1 aurora-2 rds-1 rds-2 rds-3 rds-4 rds-5 RDSで自動バックアップを有効にしていつものについては作成時にスナップショットが取得されるよう
dbt Semantic LayerとSteepで実現するデータ民主化 - Gaudiy Tech Blog
はじめまして、Gaudiyでアナリティクスエンジニア（副業）をしているkuwakenです。 Gaudiyでは現在、データの民主化を進めていますが、その過程でSQLを書く手間や負担、新しいBizメンバーのオンボーディングなどの面で、課題が生じていました。 今回は、その課題を解決するために導入した、dbt Semantic LayerとSteepという2つのデータ系プロダクトに関するお話をします。 1. dbt Semantic Layerの導入背景 2. Steep導入の決定理由 3. dbt Semantic Layerに関するナレッジ 3-1. ディレクトリ構造 3-2. dbt Cloud CLI 3-3. 時間のdimensionはdatetime型で揃える（BigQueryユーザーのみ） 3-4. entitiesを理解する 4. 今後やりたいこと 5. さいごに 1. dbt S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JAZUG_2024-06-14_リスキリングのすすめとマルチクラウドセキュリティ | ドクセル
Pocochaにおけるデータマネジメント
コンポーネント設計って何だろう | ドクセル
