Databricksレイクハウス上でFivetranとdbtを用いてどのようにマーケティング分析ソリューションを構築するのかDatabricksdbtfivetran マーケティングチームは、マーケティングとセールスキャンペーンをドライブするために多くの異なるプラットフォームを用いており、膨大な量の価値を生み出しますが、データは分断されています。これらのデータとすべてまとめることで、キャンペーンの収益を最大50%増加させたPublicis Groupeのように、大きな投資対効果をもたらす役に立ちます。 単一のプラットフォームでデータウェアハウスとAIユースケースを統合するDatabricksレイクハウスは、マーケティング分析ソリューションを構築するには理想的な場所となります。信頼できる唯一の情報源を保持し、AI/MLユースケースを解放します。また、解約分析、生涯価値分析、顧客セグメンテーシ

大阪オフィスの玉井です。 2022年10月17日〜21日に行われたCoalesce 2022というハイブリッド（オンライン+オフライン）カンファレンスが開催されました。主催はdbt labs社です。 本記事は、その中で発表されたHow Cisco powers its modern ELT approach with Fivetran and dbt Labsというセッションについて、レポートをお届け致します。 セッション概要 登壇者 Nikolay Voronchikhin Cloud Solutions & Applications Analyst, Cisco Alex Hauer Sr Product Marketing Manager, Fivetran 超概要 超有名企業であるCisco社の、Fivetranとdbt Cloudの導入事例です。 セッションレポート ※このセッシ

クラスメソッドのAWS総合支援 コスト最適化からセキュリティ、構築支援、運用保守まで、AWS活用を支援します。

JavaScript / TypeScript の豆知識 10 選 初めに JavaScript / TypeScript にまつわる豆知識を、10 個ほど集めてみました。 コードは全て TypeScript で書いていますが、内容はほぼ全て JavaScript にも当てはまることです。 少し長めの読み物ではありますが、気軽に当記事を楽しんで頂ければ幸いです。 それでは、以下が目次です。 JavaScript / TypeScript の豆知識 10 選 初めに 1.Nullish と Falsy 関連参考資料_1 2. tsconfig の便利な設定 関連参考資料_2 3. 依存関係の綺麗な図示の仕方 関連参考資料_3 4.正しい XSS のやり方 関連参考資料_4 5.removeChildren 関連参考資料_5 6.数値型を関数の引数として使う時の小技 関連参考資料_6 7.hi

Regional Scrum Gathering℠ Tokyo 2023 のクロージングキーノートの資料です。 https://2023.scrumgatheringtokyo.org/index.html

Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転送ツールであるETLがなくなることが同社のビジョンだと説明。 新サービスとして「Amazon Aurora zero-ETL integration with Amazon Redshift」を発表しました。 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。 新サービス「Amaz

はじめに 始めまして、株式会社ジールの@KimiyukiMuramatsuです。 AWSを使ったデータ分析基盤の構築を業務としております。 その中で得たノウハウをQiitaを通して発信していきたいと思います。 Lambdaを使って、S3上のファイルに対してETL処理を行い、Redshiftにロードする方法を検討しておりました。 Redshift Data APIを使って実現できると考え、検証してみました。 Redshift Data APIを使うことで、LambdaからRedshiftのSQLを呼び出すことができます。 SQLを使えれば、Redshift Spectrumにより、S3上のファイルをETL処理してからRedshiftのテーブルにロードできます。 (Insert Into Select From ～ ) 検証したいこと Redshift Data APIを使って、Lambdaか

初出は「ユリイカ」。『批評王』に収録されているテクストです。 私は音楽ライター稼業が長かったので、ＹＭＯのお三方とは過去何度かお話させていただいたことがある。それぞれのソロ活動にかんして折々の機会にインタビューすることもあったし、ＹＭＯとして、あるいはまだそう名乗ることをしていなかった、まだＹＭＯとは名乗れなかった頃に（最初にそう名乗っていた頃には勿論会っていない。私はまだ高校生だった）、三人全員に取材ということもあった。それは比較的最近のことだが（それでも五、六年くらい昔だ）、そのときの話をしたいと思う。でもまずは別のことから始める。 編集部からの依頼はニューアルバムをきっかけに、ということだった。『LIFE ANEW』だ。とても素敵な作品で、入手してから何度も聴いた。この作品のレコーディングに当たって、幸宏さんは Yukihiro Takahashi with In Phaseというバ

この図は、AWS Glue のユーザーが、複数のデータ統合エンジンを使用したジョブワークロードを作成するために、インターフェースオプションを選択する方法を示しています。左側に 1 つ、真ん中に 2 つ、右側に 1 つ、計 4 つのセクションを表示します。 左側の最初のセクションは、「データソース」と呼ばれています。 「Amazon S3」、「Amazon DynamoDB」、「Amazon EC2 上で実行するデータベース」、「データベース」および「SaaS」の、データソースが含まれます。 最初のセクションに、「インターフェースの選択」という図の上部にある真ん中のセクションを指す矢印があります。 この 2 番目のセクションには、3 つのセクションが含まれています。「AWS Glue Studio」、「Amazon SageMaker ノートブック」、「ノートブックと IDE」の 3 つです

社内SlackやTwitterなどで、自分が新しいことを学ぶ時に実践していることを書いたりしていたのだが、今日メンバーと1 on 1をしていて、あらためて新しいことの学び方について訊かれたので、ブログにも簡単にまとめておく。 まず前提として、学ぶ対象の「新しいこと」とは何かについて述べておく。ここでいう新しいこととは、研究やイノベーションに関することではない。そういうのは、ググっても出てこないレベルの新しさなので、このエントリで述べる対象ではない。ここでいっているのは、自分にとって新しい知識であり、かつ、既に一定の蓄積があるような内容のことである。 それをひとことでいうと、入門書があるような領域ということになる。たとえばプログラミング言語はメジャーなものはたいてい当てはまるし、DockerとかKubernetesのような技術要素も入門書があるし、もっと広く学問一般についても当てはまる定義で

とあるエンジニアの技術勉強法 (インターン学生向け) というスライドを先日 @iwashi86 が書かれていました。 インターン学生向けとありますが、新人プログラマ向けとしても素晴らしい資料だと思います。 ここでは「即、役立つわけではないが後から効いてくる」という「基礎知識」に絞って教材を紹介します。 目の前の仕事のために必要なことと並行して基礎知識を学ぶのは、長期的には良いと思います。 なお「基礎」==「簡単」というわけではなく、無理せず自分のペースで付き合うのがおすすめです。 自分で読んで、かつ、とても良いと思ったもののみを紹介するので、全分野をカバーしてはいません。 基礎にどのような分野があるかは新卒準備カレンダー2011や情報科学科カリキュラムが参考になります。 以下はどれも有名な本なので、ググれば感想なども見つかるでしょう。 気になった本、読もうと思う本については、ググるのも良い

何が書かれているのか理解が難しく、イレギュラーな方法で裏技的に実装され、ちょっと触ればバグと化す、クソコード。 プログラマ諸氏なら誰しもが見たことのあるクソ忌々しいアイツだ。 クソコードはエンジニアを貧乏にしてしまう。 なぜ貧乏になってしまうのか、その理由について、怒りをぶつけながら以下に書き連ねる。 本記事の構成■理由①：プロダクトが利益を出せなくなる ■理由②：エンジニアが資産蓄積できなくなる　（←ココ重要） ■クソコードを滅ぼし豊かになろう ■ソフトウェア開発に携わる方々へ 理由①：プロダクトが利益を出せなくなるまずこちらの理由は簡単だ。３項目に分けて説明する。 【クソコードは読みにくい】 どんなロジックなのか理解が容易ではない。ロジックそのものは簡単であっても、tmpと名付けられた正体不明な変数、非推奨なAPIによる意図不明な実装などにより、読み解くのを難しくさせてしまう。 「クソ

あぁ、しくじった。毎日書こうとしたら休みの日である事を完全に忘れてゲームばかりした結果 0時を回って書いてしまっている。 しかも今回の内容が多分長くなりそうだから既に明日やる口実を作って明日作成しようとしている。 あぁ、憂鬱だ。 そんな始まり方のoauth 最近でこそoauth認証って普及されてますけど、 最初見た時、？？？ってなりませんでしたか？ 僕は謎過ぎて良くわからなかったから、こんなのやらないと思ってました。 が、、、今になってみるとあまりにも便利が故に もはや、Googleサインインとかappleサインインが無いと嫌ですもんね。 おいおいおい、入れておけや。と。。。 それだけ楽にしてくれた認証機能ですが、 実は、認証機能以外にも認可という部分もあるので 今日はその辺を自分の備忘録的に書いていこうと思っています。 参考にしたもの まず先に参考にした動画を貼ります。 ざっくりと簡単に

ソーシャルメディアやニュースサイトに毎日新しいコンテンツが次々に投稿されるので、インターネット上の総情報量は増えていっているはずだが、 20 年前と比べてアクセスできる情報の種類は減っているのではないかと感じる。いま何か情報を得ようとしたときに Google は以前ほど便利ではなくなってきている。 Google がキュレーションした情報にしかアクセスできないからだ。誰にもフィルタリングされていない生の情報にアクセスしようとしたら Twitter 検索の方がよっぼどよいと感じるくらいだ。 昨年末、 40L の登山用バックパックをニュージーランドのショップから購入した。日本でも売っていた商品だが、国内の正規取扱店では売り切れてて個人輸入で購入するしかなかった。商品名で Google 検索しても日本語のページしかヒットしないし、在庫ありとして表示される楽天や Amazon のページには怪しい業者

スターリンク、もはや光回線と変わらない価格まで値下げされる2023.01.16 15:00200,586 ヤマダユウス型 一気に現実的な値段になってきた。 SpaceX社が提供している衛星通信ネットワークサービス｢Starlink（スターリンク）｣が、2023年1月13日に突然の大幅値下げを実施しました。 その価格は、なななんと月額6,600円。もう一般的なプロバイダーと大差なくない!? 値下げに加え、アンテナ代も期間限定で半額サービス開始当初は月額1万3200円だった、固定住居向けのレジデンシャルプランは、その後1万1100円に値下げされました。今回は、そこからさらに40％近く値下げされたかたちです。 他にも、車などの移動を前提としたRVプランの価格は1万3700円→9,900円に値下げされています。 しかし、スターリンクでネットにアクセスするには衛星通信のためのアンテナが必要。こちらの

実家が歯医者で自分は人生で一度も虫歯できたことない俺 めちゃめちゃ好きで、今までこんなに人を好きになったことないってくらい好きな彼女が過去虫歯の治療で神経を抜いてたことを知った。しかも6本。 全部奥歯＋銀歯ではなくセラミックなのと、反省して大人になってからはすごく歯を大切にしているそうで 笑った時に見える歯は全部ピッカピカだったり口臭ゼロだったりで今まで全く気づかなかった。 冷めてはいないけど、今後何かあったら嫌いになってしまうかもしれないというくらいには動揺した。 絶対別れたくないし、彼女以上の人はいないと思う でもいったいどんな頭してたら6本も神経抜くことになんの？？ 本人が言うには小さい頃虫歯治療を受けた時に麻酔が効ききらないまま削られて死にそうになって、そこから歯医者がトラウマになって限界まで行かなかったらしい。 そして大学生のころ行った歯医者が神すぎて、そこで1年半くらいかけて全

親に泣かれたので、昨年末頃から渋々婚活を始めた42歳男です スペック的には 年収920万の技術職 身長172㎝/70kg 趣味は読書とPCゲームって感じです 既に42歳なので贅沢言う気はなくて35歳～41歳までであれば、他は特に条件なしって感じで指定していました 40歳の女性から申し入れがあり、ホテルのラウンジで会って来たところから地獄は始まります 自己紹介もそこそこに「素敵な時計ですね。メーカーはどちらですか？」と聞いてくる 普段時計はしないものですから中古のグランドセイコーで、しかも一番安い価格帯のものなんですよ、と答えると 「中古とか嫌じゃないですか？汚いとか、前の持ち主の事とか気になりませんか？」てなことを言い始める その一方でスマホでグランドセイコーについて調べているのか、スマホを見ているから早くも戦慄で鳥肌が立ちはじめる俺だが ベルトは一新してますし、時計は持ち主替わっても大事

ITエンジニアが投票した「ITエンジニア本大賞2023」発表。AWSの知識地図／ソフトウェアアーキテクチャの基礎／プロになるJava／チームトポロジーなど ITエンジニア本大賞2023 技術書・ビジネス書の各ベスト10と、 大賞を決めるプレゼン大会へ参加する書籍6タイトルが決定しました！https://t.co/0F4WrzoiKX プレゼン大会は2/9デブサミ内で開催します。#itbookaward pic.twitter.com/wrIKNzdRni — ITエンジニア本大賞 (@ITbookaward) January 16, 2023 「ITエンジニア本大賞」は、仕事の役に立った本、初学者におすすめの本、ずっと手元に置いておきたい本など、おすすめの本をITエンジニアがWeb投票で選ぶイベントです。 主催は翔泳社ですが、対象となる書籍は出版社を問わず技術書、ビジネス書全般となっていま

人はガラス製品を割る。まるでそれが宿命かのように割る。 ガラス食器を割ったことがある方、しかし透明なティーポットを使いたいという方に心からおすすめしたいのが、このトライタン樹脂製のティーポットである。 こんにちは、JUNERAYです。そしてこちらは二煎目の中国茶。 お茶はうまいわけだが、いったんティーポットの方にご注目いただきたい。 ガラス製のように見えるが、トライタン樹脂という透明度の高い樹脂製だ。最近よく見る「割れないワイングラス」みたいな商品はわりとこの樹脂でできていることが多い。 自宅に百数十個のグラスを所有する、自他共に認めるガラス製品好きの筆者だが、2022年に買ってよかったものは圧倒的にこのティーポットである。 曙産業という新潟県のメーカーが作っている、クリアティーポット L ステンレスメッシュという商品。小ぶりに見えるが480ml入る。 人はいつか必ずガラス製ティーポットを

Amazon Redshiftとは クラウド内のフルマネージド、ペタバイト規模のデータウェアハウスサービス。 Amazon Redshiftクラスターと呼ばれる一連のノードを起動することで作成できる。 クラスターって？ リーダーノードと、1つ以上のコンピューティングノードから構成される一連のノードのこと(AWS公式サイトより)。 コンピューティングノードって言葉は要はコンピュータのことで、そのコンピュータ同士が連携してつながっている時にノードって言葉がつきます。 リーダーノードは読んで字の如く、そのコンピューターたちの親玉です。図で見るとこんなかんじ 図で見るとわかりやすいですね。 まとめるとクラスターは、ノード(コンピュータ)が集まった集合体のことです。 最後に 学習始めたばかりなので間違っていたり、意見があればコメントお願いします！ 参考 https://docs.aws.amazon

こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go