vscode-dbt-power-userでdbtの開発やレビューを効率化する - yasuhisa's blog
背景 vscode-dbt-power-userがよかったところ 定義にさっと行ける / 戻れる(Go to definitionが使える) VSCode内でモデル間のリネージが見れる VSCode内からdbtのモデルをさっと実行できる モデルファイルの単独の実行も簡単 コンパイル済みのSQLファイルをさっとプレビューできる まとめ 補足: vscode-dbt-power-userの導入方法 背景 dbtは前職時代から含めると二年以上使っていて、SQLでDWHやデータマートの開発をしようと思うともはやこれなしでは生きられないくらいには便利になっている。dbtがあっても大変なクエリは大変ではあるが、大変さは大分緩和してくれる。dbtがなくて、1つのSQLが1000行以上あり、中間クエリがテストもされていない、という状況はもう戻りたくない...。 dbtに限らずであるが、コードは書いていると
dbt とは何をするツールなのか？ | FLYWHEEL Tech ブログ
こんにちは、ソフトウェアエンジニアの冨田です。 弊社では一部のプロジェクトで dbt (data build tool) の導入を始めました。私が初めて dbt を学んだときの感想は「結局何をしてくれるものかわからない」「何が嬉しいかよくわからない」といったものでした。dbt に少し触れ、同じ感想を抱いている方は多いのではないでしょうか。 本記事では dbt に興味があるがどんなツールか具体的にイメージできない読者を対象に、dbt が Modern Data Stack で果たす役割や dbt が行う処理の中身について紹介したいと思います。 なお、本記事は主に dbt CLI に焦点を当てて紹介しており、dbt Cloud 特有の機能や特徴については説明をしていません。 dbt とは何か？Modern Data Stack における位置づけdbt 自体の説明をする前に、近年広がってきている
Amazon OpenSearch Serviceを使用してApacheログ分析をしてみた | DevelopersIO
Amazon OpenSearch Serviceとは？ Amazon OpenSearch Service はAmazon ElasticSearch Service の後継サービスです。Amazon OpenSearch Service は、OpenSearch クラスターのデプロイ、オペレーション、およびスケーリングを容易にするサービスです。OpenSearch は完全なオープンソースの検索および分析エンジンです。 ユースケース: ログ分析 リアルタイムのアプリケーションモニタリング クリックストリーム分析 この記事では、Kinesis Firehoseを使用してApacheログをAmazon OpenSearch Serviceに送信し、OpenSearchでこのログを分析してみました。 やってみた EC2 インスタンスの作成 この設定でEC2 インスタンスを作成しておきます。 A
スクラムのふりかえりに超便利なアプリ「anycommu」を使ってみた - Qiita
スプリント レトロスペクティブにおいて、チームで「anycommu」という振り返りアプリを使っているので、その有用性を共有したいと思います。 前提として、私は現在(2023/7/8)、2つのチームに所属しています。１つは、エンジニアとして開発チームに所属しており、2つには、POとして新入社員向けのアジャイル開発研修のとあるチームに所属しております。 どちらのチームでも週に1度、1時間程度の時間をとってスプリントを振り返る機会があります。 目次 振り返りってなんのためにするの？ 振り返りアプリanycommuと振り返り手法KPT/FunDoneLearnについて anycommuは、振り返りにどのような影響をもたらしたか（実体験） おわりに ※anycommuを使ってみた体験談のみに興味がある方は、2章に記載しているURLおよび、3章をお読み頂ければと思います！ 1.振り返りってなんのために
パフォーマンスチューニング9つの技 ～「書き」について～｜PostgreSQLインサイド
今回の記事は、パフォーマンスチューニングの観点と仕組みを理解することに主眼を置いています。具体的な対処方法についてはシステムによって異なるため、マニュアルの確認や、各種チューニングサービスのご利用をご検討ください。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 本記事の構成 本記事「パフォーマンスチューニング9つの技」は以下4つの記事から構成されています。他の記事も併せてご覧ください。 パフォーマンスチューニング9つの技 ～はじめに～ パフォーマンスチューニング9つの技 ～「書き」について～（本記事） パフォーマンスチューニング9つの技 ～「探し」について～ パフォーマンスチューニング9つの技 ～「基盤」について～ 1. パフォーマンスチューニングの「書き」とは 一般的にデータベースは、大量データを扱い、大量の問い合わせや更新を高速に処理し、さらに障害発生
【10分で確認】AWSでやりがちなセキュリティ脆弱性を生み出すアンチパターン集（随時追加・更新） - Qiita
AWSを使うなら見ておきたいチェック項目20選 AWSを実務で触られている方で「セキュリティ対策はばっちしだ💪」と言い切れる人はどれくらいいるでしょうか。特に創業間もないベンチャー企業や内製化直後のエンジニア組織の場合、サービスローンチや追加機能開発がビジネス上の最優先事項になってしまい、セキュリティ対策などの非機能要件のレビュー、設定などは後回しにされがちです。 そこで今回は、"時間がない人"でも注意したいセキュリティ脆弱性を生みやすい設定や設計の凡ミス集をまとめてみました。また、参考になりそうな記事も併せて紹介しています。 ご注意ください 筆者はAWSリソースに関するセキュリティの専門家ではありません。また本記事では、最低限の内容にとどめているためより詳細な内容は、公式ドキュメントや以下の資料をご覧ください。 1. IAM ポリシーの広すぎる権限 IAMポリシーに適切でない広い範囲の
AWS Config の料金がなぜこんなに高い？ Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた | DevelopersIO
わたしの検証環境で試していきます。 Config の設定確認 AWS Config 配信チャネルで、出力先の S3 バケットがどこであるか確認しましょう。 普段独立したリソースとして意識する機会は少ないと思いますが、マネジメントコンソールで以下から確認できる部分は配信チャネルの設定を表しています。 S3 バケットに格納されたオブジェクトの URI の例は以下です。 s3://バケット名/AWSLogs/アカウント番号/Config/ap-northeast-1/2021/9/24/ConfigSnapshot/ファイル名.json.gz ちょっとした気づきですが、yyyy/mm/dd形式になっていません。2021/09/24のように月や日を 2 桁に揃えてくれるわけでなく、元の数字が 1 桁のままであればそのまま 1 桁です。 Athena のクエリ結果の出力先 S3 バケットの作成 今回
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon OpenSearch Serverless のご紹介 | AWS で実践！Analytics Modernization～事例祭り編～