Tableauにおけるデータモデリングを補完するアーキテクチャの提案（DenodoとSnowflake活用による拡張の提言）データ分析TableauSnowflakeLookerDenodo 注意事項 本情報は2020年10月4日時点での判断となりますので、本情報を用いて意思決定を行う前に自己責任のもと調査を実施してください。 概要 BI製品の評価を実施したところ、Tableauではデータガバナンスを実施しにくいという評価となったのですが、データ仮想化技術によりその弱点を補完できることに気付いたので共有します。現時点では、本アーキテクチャは構想段階です。 Tableauのモデリング機能の弱点については、下記の記事で記載しております。端的には言えば、データセットをレポート単位で作成することが多いため、レポート間でのロジックが統一が難しいことです。 Tableau データモデル（データモデリン

先日、dbtの公式から以下のような記事が投稿されました。 非常に興味深い内容だったので、多くの人にみてもらいたくひとまず翻訳記事をぱっと書いてみます。 サマリ ビジネスメトリクスの管理を特定のプロダクトから開放し、バージョン管理下に置きながら様々なBIから利用できるようにしようとしている取り組み（ヘッドレスBI） BI

2023/7/7~2023/7/8に開催された「DevelopersIo 2023」で登壇した際の資料です。

ビッグ データ アーキテクチャは、従来のデータベース システムには多すぎる、または複雑すぎるデータのインジェスト、処理、分析を扱うために設計されています。 組織がビッグ データ領域に入るしきい値は、ユーザーとそのツールの機能によって変わります。 数百 GB のデータを意味する場合もあれば、数百 TB のデータを意味する場合もあります。 ビッグ データ セットを使用するためのツールが進歩するにつれて、ビッグ データの意味も進歩します。 この用語は、厳密にはデータのサイズではなく、高度な分析を介してデータ セットから抽出できる値に関連していますが、このような場合、データはかなり大きくなる傾向にあります。 長年にわたって、データのランドスケープは変化してきました。 データで実行できること、実行できると期待されることは変化しています。 ストレージのコストは大幅に下がりましたが、データを収集する手段

こんにちは、株式会社カウシェでデータ分析を担当しているgoroです。創業間もないスタートアップでは、お金も時間も限られた中でデータ担当が1人いるかいないか、分析も分析基盤作りも両方やらなければいけない、けどそんなときに参考になる情報はそこまで多くはないと感じました。そのような境遇のデータ担当者に向けた記事を目指そうと思います。具体的にはこんなことを書きます。 スタートアップで求められるのは安価で速いインサイトであること その要求に対して、一意のIDで繋げるデータを、3層構造の分析基盤に集めて応えたこと 具体的にはツールを使い倒した構造になり、意思決定にデータが介在する文化を作れたこと スタートアップにおける分析環境の課題最初はスタートアップにおいて分析基盤を作るときの課題、前提条件を共有します。 まずは人が居ない、足りないということです。創業半年ほどのタイミングで自分がカウシェに参加したと

この記事は何 2023年、世間はLLMで大騒ぎですが、データの業界ではセマンティックレイヤー・Headless BIへの注目も高まっています。 これは、まだ国内では黎明期ともいえるそんな技術が、今後どんな存在となりうるのかを、筆者の個人的な解釈と妄想をもとに述べる長文ポエムです。 セマンティックレイヤーとは まず最初にセマンティックレイヤーについて解説します。 セマンティックレイヤーとは セマンティックレイヤーとは、データベースとデータ利用者の間に入り、両者間のやりとりを円滑にする存在です。 データ統合プラットフォームを提供するAirbyte社は、セマンティックレイヤーをデータとビジネスユーザーの中間に位置する、複雑なデータを理解可能なビジネスの概念に変換・翻訳するレイヤーと説明しています。 A semantic layer is a translation layer that sits

はじめに データレイクの普及に伴い、再注目されているデータカタログについて整理します。本投稿は、Data Management Body of Knowledge 日本語版（以後、 DMBOK ）をベースに投稿者の解釈を加えてものであり、DMBOKに準拠しているわけではないことに留意してください。 データカタログとは データカタログとは、データモデルとData Integration and Interoperability（データ統合と相互運用性）のメタデータに関する、カタログの作成（定義・抽出・蓄積）、および、カタログの利用（探索・把握・共有・配信）によるデータガバナンス支援ツールです。 メタデータとは、DMBOKにて、下記のように記載されています。 最も一般的な定義である「データに関するデータ」は単純過ぎて誤解を招きやすい。メタデータとして分類できる情報の種類は幅広い。ITプロセスと

1年と少し前、私はデータエンジニアとしての自分の役割に行き詰まりを感じていました。大学ではビジネスを専攻していたので、その方面ともっとつながりを深めたいと考えていたのです。データエンジニアとしての仕事は楽しかったのですが、もっと柔軟で創造的なことをしたいと思っていました。自分が何をすべきか決められている仕事ではなく、ビジネスの意思決定に関わりたかったのです。データエンジニアであった私は当時、あらかじめ戦略的に決められている仕事をこなしているばかりのようで、優先順位の決定やビジネスのニーズについて、自分には発言権がないように感じていました。 そこで私は、戦略的なデータ決定、ウェアハウスアーキテクチャー、データモデルの自動化といった、自分が携わってみたいタスクが日常的にもっと発生するポジションを探して、いろいろなデータエンジニアのポジションに応募し始めました。ご想像いただけると思いますが、ビジ

「2020年代のコンテナ時代のPythonアーキテクチャ&デプロイ」というテーマでPyCon.jp 2020で発表してきました 初のオンライン＆Python 2サポートが終了したあとのPyCon.jpという節目のイベントで発表してきました。 発表資料はこちらになります。 日英表記にした関係で表現をだいぶシンプルに削ることになったりしたので、口頭での説明のみ行ったこととか、その後のTwitterの感想を見て思ったことなどを軽く補足します。 コンテナの時代コンテナのカバレッジが広がっている事例としてはDensoのMisakiとか戦闘機にKubernetesを載せてみました、とかもあります。 https://www.publickey1.jp/blog/20/kubernetesmisaki.html https://www.publickey1.jp/blog/20/kubernetesf-1

笹塚BASE - 笹塚BASE 大学のバンドサークルで出会った2人による雑談系ポッドキャスト。今話題の「地面師たち」を始めとした人気コンテンツや時事ネタなど幅広いテーマを取り上げている。バンドサークル出身者ならではのかっこいいイントロにも注目。 channel NOMAD - channel NOMAD シンガーソングライター壱タカシとイラストレーター・デザイナーのRyutaro Suetsuguによるポッドキャスト。時事ネタ、アート、カルチャーの他、同性パートナー同士でもある２人のライフスタイルについても語られている。アーティストならではの視点で深堀りされるトークも新鮮。 鳥羽周作のうまいはなし - 鳥羽周作のうまいはなし レストラン「sio」の料理人、鳥羽周作が『リスナーファースト、周作セカンド』をモットーに、自分の体験や、日頃考えていること、感じたことを発信しているポッドキャスト。「

zennの初投稿!! 最近仕事終わりのランニングが趣味で、その際に技術系のPodcastを聞くことが多いのでまとめてみました。 どれもお勧めです!! Rebuild はい。いきなり説明不要のRebuild。技術系Podcastと言えばRebuildですね。 自分は特にhideponさんと、Nさんの回が好きです。 fukabori.fm 技術などを深掘りして楽しむPodcast。 毎回特定の分野に精通している方をゲストに読んで深堀していくスタイルが好きです。テーマの幅はエンジニアリングからマネジメントまで様々。毎回勉強になっています。 EM.FM Engineering ManagerによるEngineering ManagerのためのPodcast。 ひろき(@hiroki_daichi)さん、ゆのん(@yunon_phys)さんをメインパーソナリティに組織マネジメントの話題が豊富に配信さ

こんにちは。ワンキャリアのエンジニアリングマネージャーの江副です。 普段はONE CAREER CLOUDの開発チームのマネジメントをしつつ、メンバーの採用やスキル開発といった組織づくりにも取り組んでいます。 今回は僕が普段聴いているPodcastをご紹介しようと思います。 というのは、同僚にひたすらおすすめPodcastやそのエピソードを布教して回っていたら、「もうブログに書いてくださいよ」と半ば呆れられた（？）からです。（うるさくてごめんなさい…） いちリスナーとしていつも楽しく聴いているPodcastについて紹介するのは大変楽しい一方で、僕の文章で好きなものを貶めたくない気持ちもあり…。でも、頑張って素敵に紹介できればと思います。 以下、基本的にはITスタートアップ/ベンチャーに居るエンジニアやプロダクト職の方は興味を持って聴けるPodcast群になっているかなと思います。 紹介する

Podcastとは？ http://www.apple.com/jp/itunes/podcasts/ Podcast（ポッドキャスト）はApple社のポータブルデジタルオーディオプレイヤー・iPodと、「放送」を意味する「Broadcast」を組み合わせた造語で、音声や動画をダウンロードして視聴するメディアを指します。 テレビ番組、ラジオ番組、講義、演奏など、さまざまな番組があります。 iTunes、またはiPodやiPhoneで視聴でき、アプリを使えばAndroidでもPodcastを視聴できます。 Rebuild http://rebuild.fm/ https://itunes.apple.com/us/podcast/rebuild/id603013428?mt=2 ソフトウェアエンジニアの宮川 達彦さんがパーソナリティを務める番組です。 ソフトウェア開発、テクノロジー、ガジェッ

はじめに 今年を振り返ったとき、身につけた良い習慣の一つに「テック系ポッドキャストを聴く」というのがあります。 テレワークしながら様々なジャンルの技術情報・トレンドについて情報収集できる上、できるエンジニアの雰囲気やマインドを感じて「スキルを上げねば」といういい刺激になります。 2021年の終わりという事に加えて、コロナ禍の影響か最近始まった番組が結構多かったこともあるので この機会におススメの番組をまとめたいと思います。 （40番組近くありますが、全番組最新エピソードは聴いています） 【完全版】おすすめテック系ポッドキャスト（2021年末版） 【完全版】おすすめテック系ポッドキャスト（2021年末版） 下表と違い、公式ページ／配信ページへのリンクが含まれます 並びは基本順不同ですが、上の番組の方がおすすめ度合いが高いです 【完全じゃない版】おすすめテック系ポッドキャスト（2021年末版）

この記事は、Merpay Tech Openness Month 2023 の16日目の記事です。 こんにちは。メルペイのバックエンドエンジニアの@panoramaです。 今回はメルカードのバックエンドにおいて「外部APIへのリクエストの流量制御を実現するためにCloud Tasksを導入した話」をご紹介します。 背景 メルカードのバックエンドでは提携している企業さまのAPIをさまざまな処理で呼び出しています。(以降このAPIを外部APIと呼びます。) メルカードをご利用いただいているお客さまが増えるにつれ、通常のご利用時やカスタマーサポートでこの外部APIを呼び出す処理も増え、急激に負荷がかかることも発生するようになりました。 もし、時間当たりの処理件数が外部APIの処理速度を上回ってしまうと処理が失敗してしまいます。 しかし外部APIは自社内のマイクロサービスとは異なり、自分たちで自由

大学生兼ピンサロ嬢だった時、20代前半かつ非喫煙者なのに肺腺癌（肝転移あり）になった私の発覚の経緯 マイク「〇〇シート！〇〇シート！ 私「こんにちは♡ありがと〜♡（あれ？こいつ無愛想だったけど本指かよ）」 客「あ、うん…」 プレイ 私「ん…ん…ん…」 客「あ、いく…」 事後 私「かふ！こふ！かは！」 客「さっきから良くない咳だね」 私「熱とかないし風邪とかじゃないから心配しないで〜」 客「病院行った方がいいよ」 別れ際 私「また来てね〜♡ってどうしたの?」 客「暗いからさっきわかんなかったけど、目、黄疸出てるよ」 私「おーだん？」 客「病院行きな。マジで」 次の日 私「あいつに黄疸とか咳とか言われて怖くなった…ネットで調べたらもっと怖くなった…」 看護師「〇〇番の方〜」 私「失礼しま…あ…」 客「はい、こんにちは…あ…今日…どうなさいましたか…？」 私「咳が続いて…目とか黄色っぽいなって…

前の大統領じゃなくて、カード遊びの方ね。検索してもそっちしか出てこなくて泣いた。 とにかく私はトランプが下手くそ。苦手。嫌い。無理。ルールが簡単なババ抜きならまだ出来る、神経衰弱は苦手だけど空間にとけ込むことなら出来る、あとは何も出来ん。大富豪はトラウマで今思い出しても泣きそうになる。 小さい頃、親戚の集まりにて、子供たちでトランプをやろうという話になった。ババ抜きとかにしてくれと祈っていたが残念、大富豪に決定。だいふごう？？ 頭の中ははてなだらけ。他の子が「大丈夫、教えてあげるから！」と言ってはくれるけど、教えられて理解出来る脳みそではない。 そこから先はもう何をしていたのか覚えていない。私がルール分かってない故のミス→みんな大爆笑の流れが何回も続いた。当時はみんな小さかったから、1人のミスを全員で笑うことを面白いと認識していたのだと思う(書き方が悪いが、私は当時の親戚の子達を1ミリも悪

最低賃金600円台の時代の底辺労働者ってどんな暮らししてたんだ？ スマホが無ければこれでも生活できるのかな anond:20230727101403 簡単に言えば、最低賃金で働く労働者（≒底辺労働者）は一家を支える必要は無かった。そして人々の暮らしは、今よりも給与も高く物価は安く負担率は低かったので、今より良かったと思われる。 最低賃金が、その金額で働く人が生活を支えるということを想定していなかったし、それでも良かったんだよ。 最低賃金水準の金額で主婦層などが働いても、それは家計を支えると言うより自分の自由に使えるお金を稼ぐため、みたいな時代。 そういった人を想定していたから、最低賃金は低く抑えられていたし、抑えていても大黒柱の給与は十分に高かったから今ほどは社会問題にならなかったんだよ。年 最低賃金給与平均給与中央値1997 603円 664万円 545万円2022 961円 443万円

東京・乃木坂から、「真面目に楽しく」をキーワードにした教育でビジネスパーソンを支援する株式会社ヒップスターゲートの主催イベントに、組織マネジメントの専門家で『遊ばせる技術 チームの成果をワンランク上げる仕組み』 の著者である神谷俊氏が登壇。「社員の自律を促す『新・マネジメント術』とは？」をテーマに、子どもから学べる自律レベルを高めるヒントや、刺激も挑戦も「ちょうどいい」がポイントになることなどを語りました。 子どもに学ぶ、自律レベルを高めるヒント 神谷俊氏（以下、神谷）：では、どうやって自律レベルを高めていけばいいのか。セルフマネジメントからセルフリーダーシップに展開していけばいいのか。 ポイントは「遊び」です。先ほど高い自律レベルは遊んでいる状態に近いという話をしました。子どもたちが遊んでいる様子を見ると、自律レベルを高めるヒントが見えてきます。 例えば赤ちゃん。ハイハイしている赤ちゃん

anond:20230726124430 ブコメの反応を見るとなんだか驚いている人が多いみたいなので。 こんな男至る所にいて女性は毎度対応させられているよ。 なんでそんな会社にいるの？なんて言いたくなる気持ちはわかるけどね ほんとどこ行っても1人はいるんですよ… 趣味の写真や夜景の写真を定期的に送ってくるメルマガ男 取引先のイベントに誘ってきて来てくれると嬉しいとのたまう嬉ション男 何かと遠方の遊びに誘ってきてお泊まりを狙うお泊まり男 妻との不仲をアピールしてくる気球観測男 ◯◯な服が似合うよと何度も言ってきて洋服屋に連れて行こうとするコーディネーター男 などなど

マッチングアプリで婚活してみた。自分の性格の悪さに向き合うはめになり、誰にも言えないのでここに投下して供養する。 ■増田のスペック 33歳の女 年収：750万くらい 大卒会社員 都内在住 160cm49kg 彼氏いない歴半年 共働き希望 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ 登録してから数週間でいいねが700くらい。自分からいいねも3人くらいにしてみたけど、反応がなかったのであとはしなかった。全員とやりとりするのは無理なので、あまり遊んでなさそうで話があいそうで条件の合致しそうな人に絞ってメッセージのやりとりをした。 20人くらいとマッチングしてメッセージ続いたのが15人、うち会ったのは６人くらい。 もっとメッセージ続けたり会ったりした方がいいんだろうけど、無理のない範囲でやりとりをしてたらこのくらいになった。 もともとイケメンとか好きではないし、見た目もあまり気にしない方だと思っていたが、こ

アラサーになるまで勉強してこなかった高卒の人はこれを読むこと。（単なる私の勉強法備忘録と反省点w） CCNAやLPIC、AWSの試験に落ちてはまた再チャレンジしてきた僕が1年前の自分に勉強方法を教えるならこの方法だなと思い書きました。 勉強猛者の人がたくさんいるIT界隈、Quiitaを投稿している人たちからするとバカにされる内容かもしれませんが・・笑 私と同じく勉強を続けていても身についているかわからない・・周りの人に追い抜かれていく悔しさを感じている人の役に立てればと思い書きました。 ステップ1：問題集選びを間違えるな 勉強は努力量ではない。努力する方向がすべてだ。たった少しでも間違った方向へ向かってしまったら2ヶ月後、ゴールとは全く違う方向へ向かってしまう・・ 資格合格者達の合格体験記を調べよう。最新版でかつ試験のバージョンと合っているのか確認して選ぼう。もちろん１冊だけでは足りない。

サイバーエージェントは7月26日、2023年9月期第3四半期（4月～6月）の連結決算を発表した。ゲーム事業は、傘下のCygamesが2021年2月にリリースしたスマートフォン向けゲームアプリ「ウマ娘 プリティーダービー」（以下、ウマ娘）のヒット以来、初の赤字決算に。売上高は337億円（前年同期比27％減）、営業利益は1億円の赤字だった。 同社のゲーム事業は、ウマ娘のリリース後に大きく数値を伸ばしており、21年の4～6月の決算では、442億円の黒字にまで成長していた。以降も黒字を継続していたが、藤田晋代表取締役社長は「ゲーム事業は、前期でゲームの周年イベントが重なって好成績となったが、（今期は）その反動が大きく減収減益になった」と話す。 ウマ娘については「長く愛されるコンテンツになっているし、2023年には新アニメの放送、24年には家庭用ゲームもリリースする。今後の見通しも明るいと思う」と説