レコメンドエンジン導入までの取り組みとアーキテクチャについて - コネヒト開発者ブログ
こんにちは！MLエンジニアのたかぱい（@takapy）です。 今回は、ママリのアプリ内にレコメンドエンジンを導入したので、導入までの取り組みやアーキテクチャについてご紹介できればと思います。 目次 ママリ内での課題 アーキテクチャ概要 EDAとアルゴリズムについて オフライン検証の失敗と学び A/Bテストについて レコメンドアルゴリズムについて 強調フィルタリング（アイテムベース） Matrix Factorization 最後に ママリ内での課題 ママリはサービスとして6年目を迎え、サービスの成長とともにアプリ内の記事数も増えており、それに伴いユーザーが本来欲しい情報にたどり着くことも難しくなってきました。 加えて「子育て層のユーザー」という切り口1つとっても、0才児のママと1才児のママでは悩みや欲しい情報がまったく異なります。 このような背景から、これまで人的に行っていたルールベースで
機械学習向けデータ前処理の性能検証（数値データ編）（その１） - Qiita
初版：2020/3/10 著者：高重 聡一, 伊藤 雅博, 株式会社 日立製作所 はじめに この投稿では、機械学習モデルを組み込んだシステム設計を行う際の、データ前処理の設計ノウハウとデータ前処理の性能検証結果について紹介します。 第2回目は、Pythonを用いたデータ前処理における性能向上ノウハウと検証結果について紹介します。 投稿一覧： 1. 機械学習を利用するシステムのデータ前処理について 2. 機械学習向けデータ前処理の性能検証（数値データ編）（その１）(本投稿) 3. 機械学習向けデータ前処理の性能検証（数値データ編）（その２） 性能検証で参照したベンチマーク（BigBench）について 設計ノウハウや性能検証結果の紹介の前に、検証でリファレンスとして参照したベンチマークについて紹介します。今回は、ビッグデータ分析用のベンチマークプログラムの１つであるBigBenchを使用しまし
ABテストのための有意性検定 - Qiita
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
一度は聞いたことがある「ABテスト」とは？概要と実施方法まとめ | デジタルマーケティングブログ
IshizuRyo 株式会社デジタルアイデンティティに2018年入社しました。 入社1年目の石津 諒です 好きなことはカメラ、食べることです よろしくお願いします！ 皆さんは「ABテスト」という単語をご存知ですか？あるいは、使ったことはありますか？ 広告配信者やサイト運営者なら一度は耳にしたことがあるのではないでしょうか。 ここでは、「ABテスト」の意味を知らないという方や、単語は聞いたことがあるけれど実際に何をするか分からない、おおむね知っているけれどより詳しく知りたい…という方に向けて、ABテストの概要や方法について解説していきます。 そもそもABテストってなに？ ABテストは、WEBマーケティングにおける手法の一つです。 WEBサイトや広告のバナー等の画像をAパターンとBパターンの2パターンを用意して 「どちらがより良い成果を出せるのか」ということを検証するものです。 場合によっては
ABテストとは？ 今さら聞けないABテストの基礎中の基礎まとめ | 株式会社アッション
ABテストとは、WebマーケティングにおけるCRO（コンバージョン率を最適化）手法の一つであり、このコンバージョン率を最適化していく様々な工程の中の1つとも言えます。また現在表示されている（表示を予定している）情報＝Aパターンと、その情報に変更を加えたもの＝Bパターンを用意し、どちらのパターンをユーザーに表示するのが高いコンバージョン率を得られるかなどの検証方法として用いられています。ABテストが使われる場面としては、Webページ、広告バナー、広告文などが挙げられます。 ※CROとはConversion Rate Optimizationの略 そして、オフライン環境でもABテストは行われており、例えば通販商品に同梱されるチラシもその例の一つです。このようにABテストは実は様々なシーンで使われています。 「CROのプロセスである。」という部分については後に言及致しますが、 ここで「CROの手
これがダイソー!? 100均には見えない奇跡の文房具10選
すべて実際に使用して検証しています 商品のテストについては 「LAB.360について」をご確認ください。 ※「商品の比較検証結果」は監修者と共に実際に使用して評価しています。「選び方」など、その他の部分については、監修者または編集部の知見をもとにまとめたものです。 欲しかったあの文房具 ダイソーにあります かわいくて使いやすい文房具は、いくつあっても欲しくなる！ けれど、何個も買ったらすごい金額に……。そんなときは100均がオススメです。最近は有名文具メーカー顔負けのアイテムが充実しています。中でもイチオシはダイソー。盛りすぎず、かといってモノ足りなさを感じさせない程よいデザインで、セリアやキャンドゥと比べても、そのセンスのすばらしさは抜きん出ています。 今回は、他社の類似品と比べて、その実力のほどを検証しました。 結果は、こちらの ［実力アリまくり！］ ［実力アリ！］ ［実力まぁまぁ］
【100均検証】まるで高圧洗浄機みたい！ ダイソーの「加圧式霧吹き（ペットボトル用）」が100円のくせして予想以上に良い感じ
» 【100均検証】まるで高圧洗浄機みたい！ ダイソーの「加圧式霧吹き（ペットボトル用）」が100円のくせして予想以上に良い感じ 特集 【100均検証】まるで高圧洗浄機みたい！ ダイソーの「加圧式霧吹き（ペットボトル用）」が100円のくせして予想以上に良い感じ GO羽鳥 2019年5月7日 ホムセンに行くたび、まるで “トランペットを眺める黒人少年” のような面持ちで「高圧洗浄機」を眺めている。ほしい。ほしい。超ほしい。 ものすごい勢いで水がドババババーッ!! って出て、汚れをズバババ！ と落としていく高圧洗浄機は長年の夢であり憧れなのだ。でも……高い。1万円以上も出せないのだ。いま出せるとしたら100円なのだ。 ということで、ダイソーで見つけた100円の「加圧式霧吹き（ペットボトル用）」を使ってみたのでレポしておきたい。 中身はシンプル。ポンプ本体と、ストローみたいな管のみ。パケ袋には、
Python3 ウォークフォワード分析の実装：BOT自動売買戦略の堅牢性検証とカーブフィッティング対策｜magito
こんにちは。magito(@magimagi1223)です。 今年も早いもので、2/3が終わろうとしています。その一方で、暗号通貨BOT界隈は、3月頃に盛り上がり始めてから、半年足らずでかなり発展しましたね。様々なストラテジー、ツール、コミュニティなどが登場して、目に見える範囲だけでも驚くほど多様化しており、また技術レベルも格段に上がっているように感じています。 僕も最近は裁定／MM中心にワークしているBOTのブラッシュアップをメインに行いつつ、新しいディレクショナル／テクニカル戦略策定のための基礎勉強も少しずつ続けています。 今回はそのテクニカル戦略に関するnoteです。 テクニカル戦略BOTを作成・運用するうえで最も大きな課題の一つが、「カーブフィッティング（オーバーフィッティング）」ですよね。「バックテストで良い成績を出していたBOTが、実運用では全くワークしなかった、、」という経験
Python: パラメータ選択を伴う機械学習モデルの交差検証について - CUBE SUGAR CONTAINER
今回は、ハイパーパラメータ選びを含む機械学習モデルの交差検証について書いてみる。 このとき、交差検証のやり方がまずいと汎化性能を本来よりも高く見積もってしまう恐れがある。 汎化性能というのは、未知のデータに対処する能力のことを指す。 ようするに、いざモデルを実環境に投入してみたら想定よりも性能が出ない (Underperform) ということが起こる。 これを防ぐには、交差検証の中でも Nested Cross Validation (Nested CV) あるいは Double Cross Validation と呼ばれる手法を使う。 ハイパーパラメータの選び方としては、色々な組み合わせをとにかく試すグリッドサーチという方法を例にする。 また、モデルのアルゴリズムにはサポートベクターマシンを使った。 これは、サポートベクターマシンはハイパーパラメータの変更に対して敏感な印象があるため。
イーロン・マスク、重大な決断の前に自分に問う6つの質問
イーロン・マスク氏はアイデアを出すとき、問題を解決するとき、事業を始めるか否かを決めるときに必ず6つの質問をする。 イーロン・マスク氏は大きな決断の前には、必ず自分に6つの質問をする。 このやり方を、自己流の科学的な方法として活用している。 発明家でエンジニアであるマスク氏は、4つの10億ドル規模の会社の立ち上げに成功している。ペイパル、ソーラーシティ、スペースX、テスラだ。その際、そして複雑な問題に取り組む際、マスク氏はいつも同じアプローチをとるとローリング・ストーンで語った。 ｢科学的な方法だ｣とマスク氏。｢分かりにくいことを理解するために極めて有効な方法だ｣ マスク氏が語った方法とは以下のようなものだ。 ｢（自分に）質問する｣ ｢可能な限りの証拠を集める｣ ｢証拠に基づいて原理を打ち立て、その原理が正しいかどうかを検証する｣ ｢決断のために、説得力のある結論を導き出す。そのために、原
A/B テストで施策の効果を検証！エンジニアのための R 入門 - クックパッド開発者ブログ
こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows
仮想通貨マイニングに関するまとめ - Gunosy Tech Blog
こんにちは。 新規事業開発室の @mosa_siru です。 ブロックチェーンAdvent Calendar 14日目の記事です。 社内では新テクノロジーに対しての研究を一部で進めており、スマートスピーカーやVR/ARなどに加え、ブロックチェーンを現在調査しています。この研究・調査の一貫でマイニングについて調べてみました。 この記事では、マイニングの基礎知識と概観について、かなり平易に説明します。基本から順に説明していくので、知ってる人はどんどん飛ばして読んでってください。 また、弊社が進めているブロックチェーン技術に関する研究内容は下記のブログで紹介しています。 blockchain.gunosy.io マイニングって？ マイニング報酬 送金手数料 difficultyの調整 ハッシュレートと価格の関係 価格 => ハッシュレート ハッシュレート => 価格 ハッシュアルゴリズムとマシン
レコメンド – アイテムベース協調フィルタリング –
こんにちは江口です。 今回は、先日社内勉強会で以下の内容について発表しましたので、ブログでも共有させて頂きます。 【概要】 ・アイテムベース協調フィルタリング(商品レコメンド) - アイテムベース協調フィルタリングを実装してみた - ユーザーが購入した商品の中からjaccard指数で類似商品を見つけ出す - 対象商品をベースに同じ商品を購入している別のユーザーが購入した別の商品をレコメンド - あとdjango使ってみた ▼技術要件 ・python 3.6.1 ・django1.9 ・heroku ・DB・・・heroku上はpostgress、localはsqlite3 ▼レコメンドアルゴリズムについて 今回試してみたのは、「アイテムベース協調フィルタリング」と呼ばれる、商品が主語となる簡易的なレコメンドアルゴリズムになります。 よく見る「この商品を買った人はこんな商品も〜」みたいにオス
「PoC」の進め方──メンバー選定、環境構築、データ収集と活用、評価まで
「ビッグデータプロジェクトを始めることになった」ら、何をすればいいのか──。本連載は、「ビッグデータプロジェクトの“進め方”」を業務視点／ビジネス視点の両面から具体的に理解し、実践していくための導入指南です。 前回は、ビッグデータおよびビッグデータ基盤の概要について、そしてその第一歩として「小さくても、確実な成功を収めることが重要である」と説明しました。今回はこの第一歩を踏み出すに当たって必要となる、「PoC」（Proof of Concept：導入前実機検証）を、具体的にどう進めていくかを説明します。なお前回も触れましたが、本連載におけるビッグデータ基盤の説明には、業界標準であるオープンソースの分散処理基盤「Apache Hadoop（以下、Hadoop）」を用いることとします。 PoCとは、新規システムの本番導入に先駆けて、小規模なシステムを試験的に導入し、ビジネスにおける有効性を調査
読書の秋に読みたい！考える力が身につく本 厳選11冊｜SUKIMANO
考える力は生まれつき決まっているものではなく、後天的に鍛えることができる力です。 しかし、闇雲に何かを考えていれば鍛えられるというものでもありません。 筋力トレーニングと同じように、鍛え方によって効率が変わってきます。 正しい方法を知り、それを実践することによって、考える力を効果的に成長させられます。 今回は、「ロジカルシンキング」「思考力トレーニング」「アイデア発想」の3つのカテゴリに分け、考える力が身につく本を11冊厳選してご紹介します。 思考力を鍛えたい方はぜひ読んでみてください。 ロジカルシンキング（論理的思考）に役立つ本 1.考える技術・書く技術―問題解決力を伸ばすピラミッド原則 https://www.amazon.co.jp/dp/4478490279/ マッキンゼー社、ペプシコ、オリベッティ、ユニリーバなど、世界的な企業でライティングを教える女性コンサルタント、バーバラ
HTTPSにまつわる怪しい伝説を検証する - Google I/O 2016のセッションから - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今年はGoogle I/Oに初めて社員ではない立場で参加しました。全体の感想は Google I/O 2016まとめ（Web的視点） で公開していますが、今回はその中で、気に入ったセッションの1つである"Mythbusting HTTPS: Squashing security’s urban legends"について書いてみたいと思います。 セッションは大変良くまとまっていますので、YouTubeにあがっている動画を見れる人は動画を見て貰えれば良いのですが、時間が無いという人のために、その内容をまとめました。基本的には文字起こしに近い
問題文の意味がわからない人のための 言語処理100本ノック 第8章 機械学習 - Qiita
第4章 形態素解析、第5章 係り受け解析と言語処理100本ノックをPython3で解いてきました。 私はさしあたって、「第6章: 英語テキストの処理」、「第7章: データベース」あたりの内容は必要としていないので、それらはスキップして「第8章: 機械学習」を進めていきます。 私の知識レベルとしては、Pythonは仕事で使ったことはなく、Courseraで入門的な授業を一つとった程度、自然言語処理/機械学習は全くの素人だが、これから仕事で使おうとしているといった感じです。 この章からは、いよいよ問題文が言っていることを全く理解できなくなって来たので、用語の説明もメモしていきます。 この章で使うデータ 1万件ぐらいの映画の英文レビュー。肯定的なレビューと否定的なレビューがそれぞれ約5千件づつ含まれている。 この章でやっていること 各レビュー文から各レビューが肯定的か否定的かを予想するモデルを作
【決定版】アプリ事業のKPIツリー！ | Growth Hack Journal
はじめに アプリによってビジネスモデルは異なりますが、大多数のアプリがゴール（KGI）にしているのは売上増かと思います。 では、あなたは売上増に向けた指標の把握と整理ができているでしょうか？ この記事ではKPIツリーを使ってアプリの売上に貢献する指標を洗い出し、各指標について説明したいと思います。 1.KPIツリーの重要性 ◆そもそもKPIツリーとは？ KPIツリーとは、例えばアプリのKGIを売上とした場合、売上を構成する要素を分解して施策が実行可能になるレベルまで落とし込まれた指標（KPI）の一覧です。 ◆KPIツリーを作らない場合の問題点 ①ボトルネックとなっている問題がわからない 売上を構成する要素を洗い出さないと、売上増の妨げになっている問題に気づかないことがあります。 ②具体的な施策を考えるのが難しい 売上やアクティブユーザー数など上位の指標を分解しないままでは、「じゃあその指標
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
