AWSのマネージドAirflow "MWAA" 所感
Google Cloud Composerのリリース（2018年7月19日GA）から遅れること2年数ヶ月、AWSは2020年11月24日に Managed Workflows for Apache Airflow (MWAA) をリリースした。 Introducing Amazon Managed Workflows for Apache Airflow (MWAA) それから1年、遅ればせながら自分でも軽く試してみた。AWSコンソールからAirflow UIに飛ぶのに違和感を覚えつつも1、種々のAWSサービスとの連携を考えると「むしろなんで今まで無かったんだろう」という気さえする。 概要 公式のデモ動画が分かりやすいので、まずはそれを見てみよう。 ポイントは次の通り。 DAGファイル（Pythonコード）は専用のS3バケットに置く OSSのAirflowに完全準拠 （事前に設定した上限値
後処理による人気アイテムの“格下げ”で確保する推薦多様性
『もしも推薦システムの精度と多様性が単一の指標で測れたら』で、直近のRecSys 2021で発表された新しい推薦システムの評価指標 $\alpha\beta$-$\mathrm{nDCG@}k$ を見た。以降、引き続き推薦多様性についてサーベイしているのだけれど、どうやら僕はいきなりエクストリームな論文を読んでしまっていたらしい。 今回はもっとシンプル（だけど実用的そう）な論文 "Managing Popularity Bias in Recommender Systems with Personalized Re-ranking" @ FLAIRS 2019 について。 前提として、世の中のアイテムは「Short-head—常に推薦されるような超人気アイテム」「Long-tail—見落とされがちだけど候補として有望なアイテムたち」「Distant-tail—その他、有象無象と言われても仕
もしも推薦システムの精度と多様性が単一の指標で測れたら
RecSys 2021採択論文の中で気になっていた "Towards Unified Metrics for Accuracy and Diversity for Recommender Systems" を読んだ。 独特かつ曖昧な表記の数式が並ぶ「読んでいてイライラするタイプの論文」ではあったものの、推薦結果の Relevance（履歴に基づく類似度；古典的な“精度”に直結）と Novelty（ユーザにとっての推薦結果の新規性・多様性；セレンディピティに寄与）を相互に検討する際の論点、手法に求められる性質、実験のフレームワークのリファレンスとして有用な研究であるように思う。 一方、提案手法の筋の良さ、およびその実用性は疑わしい。定義の曖昧なパラメータを内在し、データに関して十分に事前知識のあるオフラインでの性能評価にユースケースを限定しているためだ。 いずれにせよ「精度の先にある、ユーザ
経済的合理性だけでは語れない“豊かさ”について
この記事に関連する話題: プロダクト開発者に求められる、これからの「倫理」の話をしよう。 先日、友人に誘われてバンクーバーの Museum of Anthropology（人類学博物館）に行った。いや、人類学“美術館”と訳すべきかもしれない—そう思うほど、展示物に表れる多彩なクリエイティビティに圧倒された濃密な時間であった1。それはカナダ先住民によって形成された複雑な文化的基盤と、アメリカ開拓史によってもたらされた多様性に依るところが大きいのだと想像する。 「自分たちが今の仕事でどれだけ大きな成功を収めても、その成果がココに並ぶことは無いんだろうね」 ふと友人がそんなことを口にした。わかる。この気持ちは何というか・・・敗北感？ 思うにそれは、トーテムポール、こけし、鎧兜、アクセサリ、織物、お面、陶磁器などが一様に展示される「人類学」というあまりにもノージャンルな空間だからこそ得られる感覚だ
Facebook内部告発の件、他人事ではない。
この記事に関連する話題: プロダクト開発者に求められる、これからの「倫理」の話をしよう。 テック系メディアの枠を超えた幅広い媒体での連日の報道を見て、何やらとんでもなく歴史的な瞬間に立ち会っているような気分になってきた。興奮さめやらぬうちに、個人的に思ったことを書き留めておく。 今週、アメリカ上院の公聴会の場で行われたFacebook元従業員による証言。それは、同社が「Facebook, Instagram上の一部デジタルコンテンツは子供に対して有害である」という事実を十分に理解しながらも、莫大な利益を優先して配慮を欠いたランキング（コンテンツ推薦）アルゴリズムを採用し続けている、というもの。結果として、10代の若者を中心にSNSが原因による深刻なメンタルヘルスの問題が起きている、と。そして、奇しくもこの証言と前後する形で同社サービスが長時間ダウンした。 フェイスブックは「子供に害を及ぼし
ソフトウェアプロダクトマネジメントのバイブル "Inspired" の続編 "Empowered"、わかりみが深い。
ソフトウェアプロダクトマネジメントのバイブル "Inspired" の続編 "Empowered"、わかりみが深い。 この記事に関連する話題: プロダクト開発者に求められる、これからの「倫理」の話をしよう。 これまでに読んだソフトウェアプロダクトマネジメントに関する本の中で個人的にいちばん信頼している "Inspired" の続編、"Empowered" を読んだ。 内容的には特に目新しい点もないのだが、前作同様、点と点をつなげて一冊の本という“プロダクト”を作るのが本当にうまい。聞いていて耳が痛くなるような話をフックに「なぜそれが重要なのか」を読者に訴えかけ、ロールモデルやケーススタディを交えて「じゃあどうすればいいのか」をクリアに伝えてくれる。 エンジニア、デザイナー、プロダクトマネージャーを基本とする「プロダクトチーム」1。前作ではそんなプロダクトチームが顧客を "Inspire"
「サステナブル・キャピタリズム」とは何か
この記事に関連する話題: プロダクト開発者に求められる、これからの「倫理」の話をしよう。 持続可能性と資本主義—それらは必ずしも相反する考え方であるとは限らない。少し前に長坂真護氏の掲げる「サステナブル・キャピタリズム」という考え方に触れて以来、その可能性についてあれこれ考えている。後述するようにこのブログでも折に触れて言及してきた話題ではあるが、最近また改めて、自身の日々の選択を批判的に振り返ることが増えた。 「地球にとって良いことか、悪いことか」「儲かるか、儲からないか（あるいは非営利か）」「自分にとって“分かりやすい”効用はあるか、無いか」このように結論を急ぎ、問題を過度に単純化してはいないだろうか。なぜなら、そのほうが取るべき行動が明確で“楽”だから。 しかし、これまでの技術・経済・文化の発展があってこその今の生活であり、資本主義は悪であると結論づけて歩みを止めるのはスマートである
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Recommendation.jl v0.4.0: Working with Missing Values, Data Typing, and Factorization Machines
Ethical Product Developer
My 2021 Annual Review: A Year of Divergence (And Slowly Started Converging)
Quality Habit-Formation: It's Like Casting a Vote on My Desired Identity
How Can Recommender Systems Contribute to Mitigate Echo Chambers and Filter Bubbles?
What Container and JIT Mean for Today's Supply Chain Disruption
I Tried Audio Journaling for 30 Days
Cross-Framework Dependency Injection with spring-guice
My 30-Day Food Tracking Challenge from Sustainable Diet Perspective
User-Centricity Matters: My Reading List from RecSys 2021
Understanding Big Tech's Sustainable Commitment with Word Cloud
Sustainable Capitalism: The Importance of Long-Term Thinking and Adaptivity
Voting for 2021 #BCAleTrail Best Brewery Experience Award