ABテストが難しい場合の施策効果の評価・推定方法
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン
伊藤直也氏・小野和俊氏に聞いた「エンジニア評価」で重要なことは何ですか？ - リクナビNEXTジャーナル
「マネージャーの間でエンジニアに対する評価基準がバラバラだ」「どのプロジェクトにどのレベルの人が配置されているかわからない」など、ITエンジニアの評価や配置について悩む企業は多いのではないだろうか。 一休のCTOである伊藤直也氏とセゾン情報システムズCTOの小野和俊氏に、エンジニア評価へのデータ活用の可能性を語り合っていただいた。 ▲左から、一休 CTO 伊藤直也氏、セゾン情報システムズ CTO 小野和俊氏 自己評価を文章化することで、エンジニアの納得感は増す お二人ともさまざまな企業でエンジニアをマネジメントされてきた経験がおありなので、こうしたツールへの期待も含めて、エンジニア評価の現状について貴重なご意見がうかがえるのではないかと思います。 まずは、それぞれ現在の会社では、どんな基準や方法でエンジニアを評価されていますか。 小野：アプレッソを含めたセゾン情報グループには約1200人の
エンジニアが成果アピールで意識すると良い4つの観点 | Recruit Tech Blog
はじめに結論 自身やチームの取り組みをアピールする際、以下4つの観点 (Issue度・解の質・革新性・主体性) を意識すると、成果アピールの説得力を高めることができます。 成果 (創出した物事の価値・意義) Issue度: どういった／どのくらいの問題に取り組んだか？ (重要度・規模感・難易度) 解の質: やったこと／結果は、どういった／どのくらいの変化・貢献をもたらしたか？ (価値・意義) プロセス (成果を生み出した理由・背景) 革新性: アプローチ手法の着眼の良さ／工夫点はあるか？ (アプローチ方法) 主体性: アプローチをどのような立場で／どのくらい主体的に推進したか？ (進め方) これらの観点を意識して適切に成果アピールできるようになると、成果面談などの社内イベントのみならず、社内外のプレゼンや転職活動 (レジュメ作成・面接・交渉) など様々な場面で役に立ちます。 そもそもこれは
食べログ3.8問題を検証 - クイックノート
先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食
エンジニアの評価制度、他社は一体どうやってるの！？まとめて紹介！ - paiza times
Photo by Wonderlane こんにちは。倉内です。 ITエンジニアを対象にしたアンケート調査で、今の職場環境や仕事内容に不満を感じていると答えた人が挙げた理由でもっとも多かったのが「仕事上の評価が正当でないと感じるから（給料が安い）」という結果が出ています。 でも正直なところエンジニアの評価って難しいですよね…。技術力で測るといっても、「そもそも技術力とは？」に対して簡単に答えを出せるなら苦労しません。 エンジニアの仕事は短期間で結果が出ないものも多いですし、コードが書ければ業績や経営課題への貢献度を一切考慮しなくていいのかという悩みもあります。ましてや頑張り度なんかで測れるものでもありません。 ただ、最近はさまざまな企業が評価制度を公開していて、技術力をどういった定義で評価しているか、制度としてどのような工夫がされているか…などを知ることができます。 そこで今回は評価制度を公
仕事と給与と評価の関係
ベイジで新評価システムの運用を開始するにあたって作った、仕事と給与と評価の関係を説明した社内向けのスライドです。会社や経営者によって考え方は変わると思いますが、できるだけ分かりやすく、一般化してみました。何かの参考になれば幸いです。
エンジニアの業績評価をやめるべき理由 - 室長のひとりごち
身も蓋もない言い方をすれば、エンジニアの評価なんて必要ない。というか、できない。 できない理由は幾つかある。エンジニアに求められるスキルは広く深さがある。その人を形作る基礎スキルはもちろん、エンジニアが身につけている技術を適用してアウトプットする技術スキルの両方が評価対象となる。 評価対象は、所属する組織の事業により違いがある。事業領域が広ければ、事業として必要とする技術領域は広がる一方、そうした技術の幅は一人のエンジニアでは賄えないから複数のエンジニアでカバレッジをすることになる。結果、同じ事業を一翼を担うエンジニアの担当する技術は違うが、評価は同じ軸で行われる。 そこで持ち出すのが事業への貢献、役割になる。ビジネスでリーダーシップを発揮したか、などを問うようになる。 担当する業務もSI（新規開発）とSO（維持管理）で同等の評価をしない。SIでは新しいビジネス、サービス開発により事業貢献
グレードイメージ具体化のため昇格理由を公開する
スマートロック開発におけるSLI/SLOを用いた解錠体験の改善 / Improving the unlocking experience using SLI/SLO in smart lock development
人事の超プロが明かす評価基準 を読んだ & エンジニアの評価基準について - HsbtDiary(2019-02-27)
■ 人事の超プロが明かす評価基準 を読んだ & エンジニアの評価基準について 去年 @pyama86 さんが読みやすくて面白かったと話していたので買ってシュッと読んだ。 確かに面白くて、コンピテンシーという考え方はなるほどなって感じだった。いろんな立場の人が組織にはいるけど、より管掌や責任の範囲が広い人は狭い人ができることは当たり前とした上で、立場にあった評価の基準が重なっていくという話で、自分も含めて「わかるー」という感じだった。 後、この本では評価を決めるのは影響力というくだりがあって、これは特に専門職に分類される人には読んでもらいたいところなんだけど、エンジニアの場合だとシニアエンジニアは「技術力が高い」から評価されるのはなく「技術力が高いので結果として生み出されるアウトプットの影響力が高い」から評価されると置き換えるとわかりやすいと思う。 「アウトプット」と言われると OSS であ
「頑張ったけどダメでした」が会社を滅ぼす。 - Everything you've ever Dreamed
一応、営業部長なので、良い報告だけではなく、失注や辞退といった、悪い報告も聞かなければならない。不思議でならないのは、案件を失ったとき、コンペで負けたとき、「ベストを尽くしましたが残念ながら４社中２位でした」「頑張りましたが僅差で負けました」という謎のギリギリな敗戦報告をしてくる人が多いこと。「すごいなー。全力を出しても負けたんだ！」と言いたくなるのを押さえながら、順位や僅差の根拠を求めると、「先方の担当者が『今回は残念ながら…』『次点でした…』と言っていたので…」などとモゴモゴ言うばかりで心もとなかったりする。相手が、社交辞令やお世辞を言っているとは考えないのだろうか。失注した全会社が２位になってると思わないのだろうか。随分と育ちがいいのだね。 意地悪はさておき、「頑張ったけど」「全力で挑みましたが」という敗者の弁こそが会社をダメにする元凶なのではないか。大げさではなく、そう思っている。
メルカリ、成果しだいで「無制限昇給」 新卒で年収500万円から800万円へアップも（NIKKEI STYLE） - Yahoo!ニュース
フリーマーケットアプリで急成長し、2018年6月に東証マザーズ上場を果たしたメルカリは、ルールをあまり作らない自由な組織風土で知られる。1月には人事制度を刷新し、昇給幅に上限を設けない珍しい制度を導入した。日本マクドナルドのマーケターからメルカリの人事担当に転身した唐沢俊輔執行役員に制度の狙いを聞いた。 【転職に向かない8つの性格】比較グラフはこちら ――新しい「無制限昇給制」はどんな仕組みですか。 「新卒だから年収500万円と決めるのでなく、年収800万円の先輩と同じだけ仕事をした人には800万円支払うべきだというのが基本です。ほかの会社では、給料の原資が決まっていて、ある人の給料を5％上げるために別の人を1％にするといった相対的な決め方をします。当社は5％アップにふさわしい成果を出した人は全員上げたいと考えています」 「結果を求める絶対評価なので、ある意味厳しいです。ただ、昇給幅ゼロが
A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ分析ブログ
はじめに こんにちは。メディアデータ分析部の飯塚(@zr_4)です。 弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。 左から：LUCRA、ニュースパス、グノシー そのため、記事のランキングに関するA/Bテストをする機会が多々あり「少数のユーザーで高速に有力なパラメータを探したい」というニーズがありました。 今回は上記ニーズを満たすべく、グノシーの本番環境に導入したインターリービングを紹介します。 インターリービングとは 概要 インターリービングは高感度なランキング評価手法です。 実験的に、10倍から100倍従来のA/Bテストよりも効率的であることが知られています。*1 従来のA/Bテストにおいて、2つのランキングリストを評価する際は、ユーザを2つの群に分け各々に別々のランキングリストを提示
オフィス環境の満足度が働き方改革の評価に繋がる--働く環境の変革には世代差
イトーキは、全国の従業員規模500名以上の企業に所属しているワーカーを対象に、「働き方とオフィスに関する意識調査」を実施。7月31日に結果を公表した。調査期間は5月12～14日で、男女計400人を有効回答としている。 自社の働き方改革に対する満足度を質問したところ、「大変満足している」が3.25％、「やや満足している」が40.00％で、「あまり満足していない」が43.50％、「全く満足していない」が13.25％と、過半数のワーカーが満足していないという結果に。 「自社の『働き方改革』に満足しているか」という質問と「自社のオフィス環境に満足しているか」という質問をクロス集計したところ、オフィス環境に満足しているワーカーの約90％が、自社の働き方改革にも満足しているという結果となった。 今後取り組みたい働き方改革の施策は何か、という質問については、「休暇取得の促進（育児・介護休暇、有給休暇など
高プロ（残業代ゼロ法案）の論点がずれていると思う理由 | 株式会社アクシア
残業代ゼロ法案などと批判されることも多い、いわゆる高プロというものについて、どうも色んな人達の話が噛み合っておらず、論点がずれているのではないかと感じることが多々あります。正直な話をするとうちの会社は元々残業がゼロなので、残業代がゼロになろうとはっきり言ってうちの会社には全く関係のない話です。全く関係のない話なので正直あまり興味もないのですが、私のような高プロに全く無関係である程度中立的な立場から意見を述べることも少しは意味のあることかもしれないと思い、高プロ（残業代ゼロ法案）について少しばかり考えてみました。全くの無関係の立場から、特に強い興味があるわけでもない状態で思うがままに意見を書きますので、もしかすると若干無責任な主張となってしまうかもしれないことをご了承ください。 「時間ではなく成果」の方向性は正しいと思う そもそもなぜ高プロという仕組みが検討されているかと言うと、単に長く働い
クックパッド、VOYAGE、メルカリが語るエンジニアにとって理想の制度 (1/4)
3月24・25日に秋葉原のアーツ千代田で開催された「MANABIYA -teratail Developer Days-」（主催：レバレジース）では、クックパッド、VOYAGE GROUP、メルカリの3人が登壇し、「エンジニアにとって理想の制度とはなにか？」を語るパネルディスカッションが行なわれた。アスキー編集部のオオタニのモデレートの元、会場の質問もとりながら、80分に渡って行なわれた討論の模様を詳しくお伝えする。 クックパッド、VOYAGE、メルカリの制度の向き合い方 「エンジニアにとって理想の制度とはなにか？」80分におよぶパネルの趣旨について説明したモデレーターのアスキー編集部のオオタニは、まず参加者の属性を挙手でリサーチ。半分はエンジニア、3割がマネージャー、残り経営・ビジネス側という内訳だった。また、sli.doを用いて、会場からの質問も受け付け、イベントの随所で答えていくとア
フリーランスやめて雇われることにした｜Toru Furukawa
今年の5月、2年ほどやっていたフリーランスを辞めて、雇われの会社員になった。フリーランスになったときには予想してなかったことなので、いまのうちに記録を残すことにする。 フリーランスになって、もっとも自分が困惑をしたのは、プログラマーとしては低く評価されるが、テクニカルディレクターとしては高く評価されるということに気づいたときだった。私は決してスーパーハッカーではないけれど、人を動かしたり人とコミュニケーションを取るのはもっと苦手だった。だから、テクニカルディレクターとして評価されていることに気づいたとき、困惑したのだ。ちなみのここでいう評価というのは、大雑把にいって時間単価のことと褒められ具合/感謝され具合を混ぜたのもを指している。 テクニカルディレクターというのは、清水幹太のベースドラムという文章の、「テクニカルディレクターとはどんな仕事なのか」あたりが参考になると思う。小規模なソフトウ
エンジニアの技術力評価は難しい? - 7年間運用してきた技術力評価制度の改善の歴史 ‒ / technology assessment 2018 04 25 - Speaker Deck
2018年4月25日にはてなさんのオフィスでプレゼンしたときの資料です。 ※このスライドは、2017年1月に公開した資料 ( https://speakerdeck.com/makoga/regional-scrum-gathering-tokyo-2017 ) に「社外評価者」の取り組みなどを追加した内容になってます。 ---- 2018/05/15追記 このスライドを公開後、下記2点を懸念する声がいくつかありました。 ・プレゼンスキルだけが高い人が過剰に評価されるのでは。 ・社内政治やコネを作るのがうまい人が過剰に評価されるのでは。 それを受けて、工夫していることを別ブログとして書きましたので、ぜひ読んでみてください。 適切な技術力評価をするために工夫していること https://note.mu/makoga/n/nfafc523957f3 ---- 2019年2月5日追記 スライドだ
エンジニア評価のズレと育成課題を解消！クックパッドがテックリード制を導入した理由 | SELECK [セレック]
〜「マネジメントが必要ない組織」が理想。エンジニア1人ひとりと抜け漏れなく向き合う体制を構築した、クックパッドの組織づくりを紹介〜 「組織で成果を出す」エンジニアは、どうすれば育成できるのだろうか？ 月間約6,000万人が利用する、料理レシピ投稿・検索サービス「クックパッド」を運営する、クックパッド株式会社。 今やそのエンジニア組織は100名を超える規模となり、また若手の割合が増えたことで、「組織で成果を出すことをどうやって教えるのか」という課題が出てきたのだという。 そこで同社では2017年7月より、「テックリード」と呼ばれる、いわば「ミニCTO」のようなポジションを新設。 各テックリードが、所属するチームのエンジニアのマネジメントに責任を持ち、エンジニア全員がエンジニアによって評価される体制を作ることで、よりチームとしての力を最大化することが狙いだ。 「テックリード制を導入したことで、
![エンジニア評価のズレと育成課題を解消！クックパッドがテックリード制を導入した理由 | SELECK [セレック]](https://cdn-ak-scissors.b.st-hatena.com/image/square/85a4e59373386311cd1e032415484137c60109bc/height=288;version=1;width=512/https%3A%2F%2Fdpd29bjwmgbr8.cloudfront.net%2Fwp-content%2Fuploads%2F2018%2F06%2F08142051%2F210.jpg)
アーキ部：自分のエンジニアスキルを客観的にどうやって知るか - そこに仁義はあるのか(仮)
毎週金曜の定時後に弊社でアーキ部なるものが開催されています(✌'ω' ✌) 9/16のアーキ部は「自分のエンジニアスキルを客観的にどうやって知るか」がテーマでした！ （アーキテクチャの話ではない？！！） 自分のエンジニアスキルの評価として陥りやすい考え方のお話があり、それに対して少人数のグループに分かれて自分はどちらに分類されるかを話あいをしました。 （この会はとりあえず意見を発散する場でした。次回は、今回の話し合いに対しての深堀りなのかな？？） 評価の分類 自己評価は（バランスがとれている人もいるとは思いますが）過大評価をしているか、過小評価をしているかに分かれると思います。 アーキ部の最初に、自己評価の考え方として陥りやすい傾向が二つ紹介されました。 詐欺師症候群 ダニング＝クルーガー効果 詐欺師症候群 参考にしたサイトから説明を抜粋しています！ 詐欺師症候群とは、自己評価が低く、自分
トレタ増井氏×桂対談 - エンジニアが年収700万円台の壁を越えるためには何が必要？（前編）｜転職ドラフトReport
【サイト停止のお知らせ】2023年12月11日（月）22:00～23:00に、メンテナンスのためサイトを停止いたします。 ※写真左から株式会社リブセンス 取締役 桂大介、株式会社トレタ CTO 増井雄一郎 第2回転職ドラフトに株式会社トレタさんが参加します！飲食店向けの予約/顧客台帳サービスを作っているトレタさんと言えば、@masuidriveこと増井雄一郎さんがCTOを務めている会社。エンジニアの年収やそれを上げる方法などざっくばらんにお話を伺います！ エンジニアリングだけでは年収700万円台が壁 桂： こんにちは。今日はいろいろお伺いさせてください。 増井： よろしくお願いします！ 桂： 転職ドラフトでは、企業がユーザーを年収付きでドラフト指名します。そこでまずお伺いしたいのですが、増井さんは、高い評価を受けるITエンジニアってどんな人だと思いますか？ 増井： 自分でいろいろ作った経験
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
