dbtプロジェクト構築に関する ベストプラクティス #3「中間データ層(Intermediate Layer)に関する検討事項」 #dbt アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtはクラウド型データウェアハウス（DWH）におけるデータ変換に特化したツールです。非常に使い勝手が良く便利なツールである一方、様々な機能が提供されているのでいざ使ってみよう！となると『何をどうやって作り上げていけば良いんだろう？』『この場合のルールや制限はどういうものがあるの？どういう取り決めをもって扱えば良いんだろう？』という風に思うこともあるかと思います。(実際私自身そう感じました) そんなユーザーの疑問や悩みを解決する、いわゆるdbtユーザー向けのガードレール的な存在となりうるコンテンツがdbt社から展開されています。それが『dbtベストプラクティスガ

dbtでSELECT文以外(DDL, DML,ストアドプロシージャ等)のクエリを移行・実装する手順 #dbt アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 dbtでは良く、dbtの紹介をするときに『dbtではSELECT文が書ければ変換処理が書ける／作れる』的な説明をすることがあります。dbtのモデルに関する説明でも以下のような記載・言及があります。 A SQL model is a select statement. Models are defined in .sql files (typically in your models directory): (SQLモデルはselect文です。モデルは.sqlファイルで定義されます（通常はmodelsディレクトリにあります）：) - Each .sql file contains one mo

背景 担保したいこと 1: ホットキーで一撃で呼び出せる 2: ウィンドウを透過させてターミナルと他のウィンドウを同時に眺められること 調査したこと & 解決方法 ホットキーで呼び出せるか => hammerspoonで割り当てで対応 ターミナルの透過 => 無理そうなので、代替手段で対応 メモ: ターミナル関係のキーバインド tmuxっぽくしたい その他キーバインド 背景 iTermをずいぶん長く使ってきたけど*1、VSCodeのターミナルが急速に進化しているので、乗り換えを検討した。 VSCodeが色々便利になってきた 自分が使っている範囲だと、vimキーバインドも特に問題ない*2 普段のコーディングはVSCode、コマンド操作くらいしかiTermは使っていない 特にCopilot系の進化は目覚ましい、長い物には巻かれろというか長期的にはエコシステムに乗っておきたい エディタだけでなく

こんな話題を見かけて、思い出したこと。 togetter.com 老人になるとタブレットでの注文や配膳ロボットがうまく扱えないという話題で、それは老化の問題ではなく「周囲の異文化を理解するか」でないかと思うのです。 例えば老人でも、常に外部から情報を入れていれば「これがニュースで見た配膳ロボットか！」くらいのリアクションにはなるわけで、そいつらはタブレット注文も配膳ロボットも最初は戸惑うけど、すぐに慣れる。最初から「そういうもんになったのか」という受け入れ態勢があるから、すんなりと文化の中に入っていける。 そしてこれからする話はもう随分の昔のことになるけど、このブログ書いてる人にとって結構印象深い話として残っているファミレスバイト経験記です。 ファミレスバイトを始めて日が浅い頃、オーダーを取りに行った老夫婦が「烏龍茶」と注文をした。「烏龍茶はドリンクバーにございますのでドリンクバーのご注文

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

ダウンロードはこちら 「プログラミング」は、その概念が登場してから半世紀以上を経る中で、さまざまな変化が起きてきた。具体的に、どのように進化をしてきたのか。現在の主流となっているプログラミング言語は何か。今後需要が高まる可能性があるプログラミング言語とは――。 本資料は、プログラミングとは何かをあらためて整理しつつ、その歴史を振り返る。これから活躍したいと考えるプログラマーだけではなく、ITに関わるあらゆる人にとって無視できない、プログラミングの「これまで」と「これから」を学ぼう。 中身を読むには、「中身を読む」ボタンを押して無料ブックレットをダウンロードしてください。 連載：プログラミングのこれまでとこれから

キャリアFree wi-fi station in a public place at international airport. 黒坂岳央です。 昨今、ホテル選びの新基準になったのが「無料Wi-Fi」の有無だ。訪日外国人の中でもWi-Fiがついているかどうかがかなり意識されているという声をよく見る。 誰もが気軽に使うようになった無料Wi-Fiだが、自分は一切使用しないようにしている。理由はシンプルにセキュリティ上の問題が生じるリスクがあるためだ。ホテルに限らず、カフェや空港でも同じである。 検索してもらえばWi-Fiの不正使用の問題は数多く出てくるし、その気になれば簡単にハックできることを検証した人も出てくる。充電器を装ったジュースジャッキングという手口も確認されている。最初から無料Wi-Fiは一切使わない方針を貫くことをおすすめしたい。 無料Wi-Fiは危険 鍵マークなしの無料Wi-

＜サイバーセキュリティ戦記＞NTTグループのプロフェッショナルたちNTTのレッドチーム「Team V」の活動実態　「管理者権限はほぼ確実に取れる」 NTTグループ サイバーセキュリティ戦記 セキュリティ サイバー攻撃を疑似的に仕掛け、ターゲット組織のサイバーセキュリティに関する弱点を見つけ出すレッドチーム。NTTグループでは、2019年からグループ内向けのレッドチーム「Team V」が活動している。NTTグループの上級セキュリティ人材を紹介する連載「＜サイバーセキュリティ戦記＞NTTグループのプロフェッショナルたち」の第18回に登場するのは、Team Vの精鋭メンバーの1人であるNTTセキュリティ・ジャパンの羽田大樹だ。 対象組織の社員が標的型メールに引っ掛かり、一般社員のPCが攻撃者に掌握されてしまった――。これが、NTTグループのレッドチーム「Team V」によるサイバー攻撃演習の前提

あんなに性格悪いんだろうな 海外旅行に行くと性格悪くなるのか 性格悪い女は海外旅行好きになるのか 海外旅行好きの女って、ギャンブル好きの男みたいな印象のレベルだよね なんだろう 金がかかるとかかからないとかではない、その手前で忌避感がある これはなんというか処女性というか保守性というか 「あー、こいつ日本や俺(共同体としての家族）に危機が迫ったら、気安く捨てて他国や他の男のところに行くんだろうな」 という思いを抱いてしまうからだろうか 事実、海外旅行経験ってのは 「あぁ、私はどこに行っても生きられるんだ！狭い日本の世界で生きなくてはいけない理由はないんだ！」 と思わせてしまうものがある気がするんだよな。 それは勘違いでもあり、女性にとっては勘違いではないというか、 男に対しては「客として訪れただけでなに勘違いしてるんだ。実際住んだら差別もあるし大変だよ。」って言えるんだけど 女だとけっこう

前置き この度、ご縁あってこちらの記事の内容でFindyさん主催の 『「脱！なんちゃってスクラム」実践事例から学ぶ Lunch LT』 に登壇しました！ もし、よろしければアーカイブご視聴ください！ 当日、発表で使用したスライドも載せておきます。併せてご確認いただけるとより理解が深まると思います。 はじめに 今の会社に転職してきて２ヶ月が経ち、まだまだ分からないことも多いですが少しずつ環境にも慣れてきたので頭の中を整理するためにも今感じていることをアウトプットしたいなと思い書きました！ 現在、私が参画しているチームはスクラムをベースとして開発を行なっており、前職もスクラムでの開発を経験していたので、その違いを整理していきます。 前職 スクラムを導入するまでの背景 前職では、美容医療・精神科クリニックを運営している会社で、クリニックスタッフが使用する社内システムの開発に携わっていました。働き

はじめに みなさんはDBのインデックスを正しく使えていますか？ 私はなんとなく「DBのパフォーマンスを向上するためのもの」という認識はあったのですが、 どのような場面で使うものなのか、逆にどのような場面では使うべきでないのかなど 明確に理解できていませんでした。 今回はそんなインデックスについての理解を深めたいと思います。 インデックスとは インデックスとは、その名の通り「索引」です。 表現の仕方と変えると、(x, a)という形式の配列であるとも言えます。 xというキー値とそれに結びつくaというデータ情報があり、 これを利用することですべてのデータを網羅して見ることなく、 まさに本の索引のように目的のデータにたどり着くことができます。 インデックスはSQLのパフォーマンスを改善するための非常にポピュラーな手段であり、 理由としては下記の3点が挙げられます。 アプリケーションのコードに影響を

「20世紀以降は『社会規範から外れた人』の定義が広がります。そして現代では、かつては社会に許容されていた人でも、精神科医療を受けないと生きていけない時代になってきたわけです」（熊代 亨氏） 「自己家畜化」という言葉をご存じだろうか。これは生物が進化の過程でより群れやすく、より協力しやすく、より人懐こくなるような性質に変わっていく現象を指す。 イヌやネコがその代表例だが、進化生物学の研究では人間も自己家畜化をしており、そのおかげで今日のような高度な文明社会を築くことができたという。 しかし、高度に複雑化した現代社会において、すべての人間がその変化に適応できているわけではない。厚生労働省の調査では、今や20人に1人がなんらかの精神疾患の治療を受けているという。 この状況をどうとらえるべきか、精神科医であり『人間はどこまで家畜か　現代人の精神構造』の著者である、熊代亨（くましろ・とおる）氏に話を