データエンジニア道の俺のバイブル
先人の知恵に学ぶ データエンジニア道で、本当に良かった！読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functional Data Engineering — a modern paradigm for batch data processing 関数型パラダイムを使ったデータパイプラインの構築方法。これを初めて読んだ時の衝撃は今でも忘れないし、フルスクラッチからdbtを使ったデータパイプラインになっても健在な設計手法。 Engineers Shouldn’t Write ETL: A Guide to Building a High Function
令和の｢データサイエンティスト｣に必要な能力
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
ビカクシダを胞子培養するぞ！4週間後
というわけで、4週間前からなーーんも変わっていません。一粒も発芽していません。 もしかしたら、世界を操る闇の組織か何かによって私の記憶は改ざんされ、胞子を蒔いたという記憶自体が実は嘘だったのかもしれません。もしくは若年性健忘症でしょうか。いや、家族が胞子とコショウを入れ替えたのかも！ ・・・ ということで、もはや発芽しないことにも慣れてきましたので、冷静に分析します。 発芽に必要な要素は、私が思うに、「温度」、「水」、「光」です。 温度は、ヒーターで20℃前後に保たれています。いろいろな方々の情報をまとめてみましても、おおよそこれぐらいの温度で発芽しているっぽいので、問題ないでしょう。たぶん。 水は、タッパーおよびプリンカップでフタ付きでほぼ湿度100％で、半密封状態です。これも問題ないでしょう。たぶん。 ということは、問題は・・・ そうです。光です。 シダの胞子は光発芽種子です。つまり光
BIOS更新で文鎮化してしまったThinkPad X13 Gen2を自力で直したメモ
ThinkPadユーザならお馴染みのLenovo Vantageから、「BIOSとIntel MEの更新があるので、今すぐ適用してね！」とポップアップが出たため実行したところ、フラッシュが終わったと思しき後から起動しなくなりました。 それを直した時のメモ。 環境メモ 修理方法 EEPROMの特定とROM Programmerの選定 CH341Aについて チップへの接続方法 2023/1/1 14:00 ICパッケージについての追記 オリジナルのバックアップ ファームウェアの解析 ダウンロードデータとの比較 What's next? Write時の罠 本当に正しく書けたのか？ 再書き込み しかし…まだ罠はあった 成功か？……ん…？ 晴れて成功！ 固有データの復元は？ 参考文献 環境メモ マシンThinkPad X13 Gen2 Type Number20WK-CTO1WW 2021/06製
dbtとDataformを比較し、dbtを使うことにした
AuthorsTwitter@__Attsun__Published onWednesday, February 10, 2021 最近、業務で DWH / Datamart の整備やデータ品質の担保を効率的に行いたくなる事情があり、調査したところ dbt と Dataform がツールとして有力そうだったので、比較してみました。 TL;DRdbt は機能が充実しており、カスタマイズするポイントも多く様々な要件に対応できそうです。反面、理解し使いこなすための学習コストがかかります。Dataform は Web ビューによる開発体験が非常に良いです。機能もほとんどはわかりやすく、迷うことも少ないです。一方、dbt に比較して融通はききづらいです。どちらも十分な機能は備えている素晴らしいツールだと感じるので、どちらが良いかは要求や組織の置かれた状況次第でしょう。私の所属する会社 (Ubie,
"責務とは行為にある。その結果にあらず。飢えた我が血の最後の一滴まで責務に向かって突き進むのみ。" - フジイユウジ::ドットネット
"責務とは行為にある。その結果にあらず。行為の結果を動機とせず結果に執着するな。飢えた我が血の最後の一滴まで責務に向かって突き進むのみ。" これは 2022年、もっともすごい映画である『RRR』に出てくる言葉で、ぼくの大好きな台詞なんですが、どう思いましたか？ (ストーリーのネタバレにはなっていないはずなので未視聴の人でも大丈夫だよね?) ※なお、この記事の末尾にセリフについての追記があります 「いやいやいや、逆でしょ。責務ってのは行為じゃなくて結果こそでしょ」と思った人もいるかもしれませんね。まあ、僕にもそういう時期がありましたよ(謎の上から目線)。 さて、そんなわけでですね、今日は仕事における責任。責務を果たすとは何かを考えていこうと思います。 英語だと「Responsibility」と「Accountability」とかで責任の概念が分類されているらしいんですが、日本語だと『責任』の
エンジニアを増員するロジックについて考える - yigarashiのブログ
ソフトウェア開発で、より早くより多く価値を届けたいと考えた時、エンジニアの増員は有力な選択肢です。もちろん、人月の神話などで語られるように、人を増やしただけ線形に生産力が向上するというシンプルな世界ではありません。それでも多くの現場でエンジニアの増員が行われます。自分のチームでも、とりあえずエンジニアを増員すれば、いくつかの問題が解決してくれるような気もします。雑談ベースでメンターなどにこういう話を出してみるわけですが、改めて「なぜエンジニアを増員したいのか」と問われると、これが意外と広がりのある議論であることがわかってきました。本記事では、エンジニアを増員するロジックについて、自分が思考を広げられた範囲で書いてみます。 作り切りの場合は明快 まずエンジニア増員のロジックを素朴に立てられるのは作り切りの場合です。ある程度の規模のものを丸々作り切らないといけないケースです。締め切りがあること
VOL.13 深谷 賢治 教授（京都大学大学院理学研究科）
VOL.13 深谷 賢治 教授（京都大学大学院理学研究科） 数学は抽象的で、直感的に理解しにくい学問の一つである。難解な定理や法則を使いこなし、人の目には認識できない高次元の空間すら描きだす最先端の数学ともなれば、なおさらだ。現代数学の最前線に立つ数学者にはどんな世界が見えているのだろう。数学のなかでもとくに図形や空間を取り扱う幾何学の分野で数々の業績を上げる、深谷賢治教授をとりこにする数学の魅力とは。 「数学は難しい」と敬遠する人、「数学は苦手」と顔をしかめる人が多いのはなぜだろう。 「「わかっていない」ことがわかりやすい学問だからです」。深谷教授の返答は、簡潔明瞭。 たしかにそうだ。ほんとうはわかっていなくても、なんとなくそれらしい解答を書いておけば点数をもらえる科目もある。でも数学は「なんとなく」ではごまかせない。「理解できている人とできていない人の差が明確かつ残酷にわかるのが数学。
もし「リーダブルコード」を弁護士が読んだら？ - MNTSQ Techブログ
こんにちは。「リーダブルコード」を先月読破して、感銘を受けた弁護士の人です。 なにに感銘を受けたかというと、「エンジニアが高級言語を効率的にコーディングするための工夫」は、契約という言語をコーディングするために援用できることがとても多いということです。 例えば、リーダブルコードは「関数には空虚な名前（tmpとかretvalとか）でなく、エンティティの実体に即した名前をつけよう！」と提案しています。 これめっちゃわかります！！！なぜなら、契約言語では当事者というクラスの表現のために「甲」「乙」という定義を未だに使います。そして、甲と乙を逆に書いてしまったままReviewを通過することが実際によくあります。オライリーさんには激怒されるでしょう。 しかし、よく考えると高級言語と契約言語が似ているのは当然だと思うようになりました。それは、どちらも「一定のインプットを入れると、必ず一定のアウトプット
「開発の前に分析」「仮説を議論してから進行」「リサーチも選択肢に入れる」 プロダクトマネージャーが日々データ分析で意識していること
「プロデザ！BY リクルート」について 加藤舞子氏（以下、加藤）：本日はお忙しい中、お集まりいただきありがとうございます。ファシリテーションを務める、株式会社リクルートの加藤と申します。本日は「PdM×データ」というお題で1時間お話ができればと思います。 リクルートのPdMがふだんどのようなデータ分析を行っているか、求められているスキルや経験、そしてそのスキルをどのように習得していったのか。よりリアルな話をしていくために、3人のPdMとパネルディスカッション形式で進めていきたいと思います。 （画面を示して）アジェンダはこちらの順で進行します。パネルディスカッションのあとは質疑応答の時間も取っているので、気になることや聞いてみたいことがありましたら、ぜひ質問をお願いします。 ということで、最初にこの取り組みについてお伝えします。「プロデザ！BYリクルート」とは、株式会社リクルートのプロダクト
仕事ってどうやったらできるようになるのかが何となくわかってきた。
かつて仕事の覚えが悪くて色々と悩んでいた時期の時の話である。先輩医師から 「物覚えの良し悪しなんて、仕事の本質ではない」 「ぶっちゃけた事をいえば、仕事なんてのは99％の人にはやってれば自然とできるような性質のものでしかない」 「そういうほっておいたら誰でもできるような部分ではない部分にこそ、仕事の本当の大切なモノがある」 と言われた事があった。 当時は単なる慰めぐらいにしか思わなかったのだが、中堅ぐらいの年齢になった今、彼の言っていた事の意味が痛いほどによくわかる。 実際、仕事の”やり方”自体を身に着けられないという人はほぼ居ない。 多少は習得スピードに差はあるが、それでもせいぜい1～2年もあればその差は埋まる。 じゃあ誰でも仕事が同じようにできるようになるのかというと、それもまた否だ。 この差が何に起因するのか長い間よくわからなかったのだけど、最近になって「受験勉強への取り組み方で上手
Google re:Work - マネージャー
イノベーション イノベーションを起こすためのスキルを習得し、業務に活かす方法を学びます。
B2Bサービスにおける「意思決定者エクスペリエンス」 - フジイユウジ::ドットネット
「意思決定者エクスペリエンス」という僕が勝手に作った言葉があるのですが、最近やたら使う機会が増えている。 企業向けサービス(B2BだとかB2B2Cといった)には、導入の意思決定権をもっている管理職や経営者が「おお。これは我が社に必要だ。導入しよう」とつい言ってしまうような、意思決定者にやたら刺さるプロダクトというのがある。 ぼくが「意思決定者エクスペリエンス」という言葉を使うときは、そんな感じで実際の利用者ユーザーである社員にとってはイマイチなのだが、意思決定者に刺さるものというような時に使うことが多い。つまりあまり良くない意味で使うことが多い。意思決定者 最適化と言ってもいい。 導入されれば他社へ乗り換えされにくい領域だと特に「意思決定者エクスペリエンス」偏重になっていて、ユーザーエクスペリエンスよりも優先されていることも多い気がする。全てがそうだという話ではないけれど、多い。 例えば、
noteの「＃買ってよかったもの2022」記事分析レポートを発表！ 外出回帰でファッションや美容、カメラ関連の買い物が増加｜note株式会社
noteの「＃買ってよかったもの2022」記事分析レポートを発表！ 外出回帰でファッションや美容、カメラ関連の買い物が増加 note株式会社は、2022年に「#買ってよかったもの」をテーマにnoteに投稿された記事約1.7万件の分析レポートを発表しました。コロナ禍3年目に突入した今年は、人々の外出回帰の様子が大きく浮かび上がっています。また、メタバースやNFTなど新しい買い物の兆しがあったほか、noteを通じたお買い物「note買い」とも言える現象も多く見られました。 noteの公式なお題（投稿企画）として2018年末にはじまり、今では投稿が通年で集まる人気のハッシュタグとなった「#買ってよかったもの」。3年目のレポートとなる今年も、昨年に引き続き買い物に変化の兆しが見えています。 分析サマリー「#買ってよかったもの」に関連してnoteに投稿された約1.7万件の記事を昨年と比較し分析。昨年
【完全解説】NiZ静電容量無接点キーボードの設定方法をまとめてみた｜サボテンを投げつけてみる
以前購入したNiZ静電容量無接点キーボード66EC(S)BLe/35g、通称ATOM66。これが現時点で私史上最高のキーボードでして、本記事もATOM66で書いています。あまりに感動しすぎて、以下2つの記事を書いてしまったほどです。 【購入レビュー】NiZ静電容量無接点キーボード66EC(S)BLe/35gが最高のキーボードだった話 あああああ！キーボードが欲しいぃ！Bluetooth接続できて、PCでもiPadでもサクサク使えて、キーカスタマイズができるコン... 【これが正解】Dvorak配列にはNiZ静電容量無接点キーボード66EC(S)BLe/35gが最適解だった全国のDvorakerの皆さん、朗報です。見つけました。Dvorak配列に最適なキーボードを。NiZ静電容量無接点キーボード66EC(S... ですがいざ使ってみると、説明書の内容が若干薄かったり、カスタマイズ用ソフトウェ
NiZキーボード/自分覚え書き→キーマップ変更ソフトＤＬ方法｜のだ
NiZのキーマッピングソフトのDL、時間がかかってしまったので手順を忘れないためのメモです。 ①まず公式サイトからDLページを探しますhttps://www.nizkeyboard.com/ 『HELP』→『FARMWARE＆UPGRADE』を選びます キーボード一覧から自分が購入したモデルを選びます 次から少しめんどくさい。これを理解するのに時間かかった… 公式ログ一覧からクリックするとNiZのグーグルドライブフォルダに飛びます。最初は一瞬何が起ったか理解できませんでした。 自社製品のソフトウェアを他社のクラウドで管理するという、中華らしい合理性には驚かされます。 ②Googleドライブよりソフトウェアとパッチソフトをダウンロードします。 ③まず最初に『Software』フォルダを開けます フォルダ内のソフトを全てダウンロードします。 Micro82 は拡張子.dll ２つと拡張子.ex
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Login • Instagram
pure waterオーキッド on Twitter: "【拡散希望】お知らせ💡 サンシャインシティ世界のらん展2023 (第62回全日本蘭協会洋らん展)を１月５日から１月９日に開催致します‼️ フラワーアレンジメント講座や久々の海外出店社も調整中です✨ 皆様の御来場お待ちしております… https://t.co/UdwzT8nbk4"
Tableau 勉強方法のすすめ | Tableau極める
フルリモートのような薄い生活を続けていると人生は白湯のように穏やかになり平地を転がっているうちにやがて人生は終わる
