「ABテスト」って・・・ - 業界人間ベム
ネット専業系の文化に「ABテストして・・・」という最適化概念があるが、これに関しては、ベムは昔から、「それってAからZまで考えてからABテストしてるのかな？AとBのふたつだけ考えてどっちがいいかなんて、もしかするとどっちが一番ひどいクリエイティブかを選別するYZテストかもしれないよね？」という憎まれ口を叩くことにしている。 トラディショナルな広告コミュニケーション開発をやってきた僕には、表現開発には「まず考えられることを全部書き出してみよう」というプロセスから入るのが習慣づいている。「明日までに100本コピー書いてこい！」というのは、質を求めてはいない。量を求めている。つまりは表現する考え方をいったん網羅して、それから収斂させるというのが、クリエイティブ開発の王道だと思っているし、実際そういうことをやってきた。ブレストも、ＫＪ法・ラダー法もこうしたプロセスに応用するために学んだ。 一方、ネ
B'zの歌詞をPythonと機械学習で分析してみた 〜イントロ編〜 - 下町データサイエンティストの日常
1. 自己紹介 はじめましてpira-ninoです。 2018年4月に某社にデータサイエンティストとして新卒入社したピチピチの新米社員です。 学生時代は様々な企業のデータを機械学習を使って色々な提案をしてました。(単にパッケージを使うだけでなく、モデルの改良もしてました。) まぁそんな訳で、機械学習は最低限広く浅く知ってます。 最近は強化学習を勉強したりkaggleに取り組んだりしてます。Santenderコンペのleakは流石に頭を抱えましたね。。。 2. B'zの歌詞を分析してみた経緯 さて、本題のB'zの歌詞分析について「背景」と「分析概要」について書かせて頂きます。 背景は無駄に長文になったので、読み飛ばしても大丈夫です。 2.1 背景 新卒研修あるあるだと思うのですが、様々なバックグラウンドを持った新卒がいるが故に、ある程度余裕を持ってしまう人も出てしまいます。で、それが私であっ
ディープラーニングの限界 | POSTD
(注：2017/04/08、いただいたフィードバックを元に翻訳を修正いたしました。 @liaoyuanw ) この記事は、私の著書 『Deep Learning with Python（Pythonを使ったディープラーニング）』 （Manning Publications刊)の第9章2部を編集したものです。現状のディープラーニングの限界とその将来に関する2つのシリーズ記事の一部です。 既にディープラーニングに深く親しんでいる人を対象にしています（例：著書の1章から8章を読んだ人）。読者に相当の予備知識があるものと想定して書かれたものです。 ディープラーニング： 幾何学的観察 ディープラーニングに関して何より驚かされるのは、そのシンプルさです。10年前は、機械認識の問題において、勾配降下法で訓練したシンプルなパラメトリックモデルを使い、これほど見事な結果に到達するなど誰も想像しませんでした。
Pythonでデータ分析：ランダムフォレスト - データサイエンティスト(仮)
導入 前回、非線形的な効果を表現することの一例として、決定木回帰を紹介しました。 tekenuko.hatenablog.com 決定木は、ざっくりとしたデータの特徴を捉えるのに優れています*1。しかしながら、条件がデータに依存しがちなため、過学習しやすいという欠点もあったのでした。 この欠点を緩和するための方法として、アンサンブル学習という方法があります。これは、データをサンプリングしてモデルを構築、それらを組み合わせて新たなモデルを構築する方法です。ランダムフォレストは、ざっくりいうと多数の決定木を作成し、それらを平均化する手法です。個々のモデルではデータの変化の影響が大きくても、まるっと平均化したものは影響が少なくなるため、一つの決定木でモデルを作るのに比べて過学習が緩和されやすくなります*2。 ランダムフォレストをより深く理解するためには、ある程度しっかりした機械学習の本を読んだり
実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog
社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクターやエンジニアにとっては、どのような機械学習の理解段階ならばタスクを任せられるかの判断をするのはなかなか困難です。そこで、このエントリでは機械学習を実タスクでやるまでに乗り越えるべき壁だと私が思っているものについて説明します。 第一の壁: 綺麗なデータで機械学習の問題を解ける 講義で扱われるような綺麗なデータを扱える 行列形式になっていて、欠損値や異常値もない 上記のデータを回帰や分類問題として解くことができる 実際に解く際にはライブラリを使って解いてよい 手法を評価する上で何を行なえばよいか(Preci
都立大 自然言語処理研究室 - 自然言語処理を独習したい人のために
東京都立大学自然言語処理研究室（小町研）に入学する人たちは、入学後に自然言語処理・機械学習・プログラミングの基礎勉強会を行なうため、特に事前に学習することはありませんが、入学前に勉強しておいたほうがよいことはあるか、と問い合わせがあるので、自然言語処理の独習用の情報を書いておきます。（主に情報系以外の学部生を対象にしています。） 近年の深層学習の発展に伴ってニューラル機械翻訳をはじめとした深層学習の研究をしたいという人がうちの受験希望者の大半ですが、深層学習の研究をしたい人はプログラミングと数学と英語のすべてがある程度できなければいけません。どれか1つでも足りないものがあれば、ほとんど研究できないと思ってください。これらは現在ほぼ未習の人が入学してから勉強して追いつけるものではないので、深層学習の研究がしたい、という場合はよくよく考えたほうがいいです。東大中山研の深層学習の研究がやりたい人
機械学習をゼロから1ヵ月間勉強し続けた結果 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 追記 2018年の機械学習勉強法などをまとめました！ 2018年版もっとも参考になった機械学習系記事ベスト10 はじめに 2016/12/14 から約1ヵ月間、機械学習の勉強をし続けました。これは会社の自由研究という制度を利用させて頂いて、1ヶ月間は業務から離れて、機械学習の勉強だけをやり続けた記録です。 勉強してきたもののうち教師あり学習までは、Qiita にその記録をまとめましたので過去記事一覧からご覧ください。 過去記事一覧 1日目 とっかかり編 2日目 オンライン講座 3日目 Octave チュートリアル 4日目 機械学習の第一
Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita
みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
機械学習キャンバス0.1
3. 機械学習キャンバス ver. 0.1 3 (1) Customer Happiness：顧客は何がどうなるとうれしいのか (2) Solution by hand：人手でそれを実現する方法 (3) Input：使え る入力データ (5) Output：得 たい出力データ (7) Solution by computer：コンピュータで実現する方法(素朴な アルゴリズム、ルールベースなど) (10) Solution by ML/AI：機械学習や人工知能で実現する方法 (8) Training data：正解データ の獲得方法・量 (9) Target Function：評価関数 (出力がどうだと好ましいのか) (4) 入力データ をどう得るか (6) 出力データ をどう顧客価値 に結びつけるか 5. スパムフィルタ 5 (1) Customer Happiness：顧客は何がどうなる
機械学習の初心者が数式に困惑したら。解決への指針 - HELLO CYBERNETICS
前回機械学習を学ぶなら数学が必要だという話をしました。 s0sem0y.hatenablog.com それと同時に、数学を極めてから機械学習をやるのではなく、機械学習をやりながら必要に応じて数学を学んでいくというスタイルをオススメしました。しかし、今から機械学習を学んでいこうという人にとって、機械学習の数式がわからないとき、果たしてどの数学を学べば改善が見込めるのかを判断するのは難しい問題かと思います。 そこで機械学習に現れる数式を実際に取り上げ、ケースごとにどの数学分野を補強すべきかの指針をまとめてみたいと思います。また、少しの定性的な理解を深める解説も載せておきます。今後のヒントになれば嬉しいです。 パーセプトロンでのケース 全て同じ意味、式変形が分からない人へ 入力ベクトルに対して、 という数式が現れます。この数式を大抵の本は以下のように変形します。 最初の式と、この式が全く同じ計算
数学の教科書について - HELLO CYBERNETICS
はじめに s0sem0y.hatenablog.com この記事で数学に関して勉強したいという場合に参考になる本を紹介したいと思います。 しかし個人的には数学の本を一冊ガッツリやって機械学習に移るというよりは、機械学習を学びながら必要な数学は調べていけばいいかなと思っています。もちろん数学を一通りやっていたほうが勉強は楽であるのは間違いありませんが、数学を今からやらなければならないというのは結構な重労働です。数学の様々な知識や公式は、今の時代ならばネットでも十分見つかりますから、適宜調べるというスタイルで構わないと思いますが、具体的な書籍があると頼もしいという場合の参考にしてください。 当然これから紹介する書籍の中身を完全に把握しておく必要はありません。 ただ、個人的には数学も単純に面白いと思います。（純粋数学は知りませんが） はじめに 線形代数 教科書 微分積分・ベクトル解析 文庫本、微
Web開発におけるコンピュータサイエンス - 機械学習編2 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook 機械学習編1（基礎編）では、最も初歩的な分類器である単純パーセプトロンを題材に、機械学習の基本について勉強しました。機械学習編2（実用編）では、実問題に機械学習を適用する上でのコツや、各種の機械学習アルゴリズムの使い分け、高次元データへの対処法、といったトピックについて解説していきます。 実問題に機械学習を適用する タスクを定義する データを特徴ベクトルに変換する 評価方法を決める 正解データの正例と負例は均等に ベースラインとなる手法を実装する 実データに向き合うときの心構え 機械学習のワークフロー 1. 前処理 データセット作成 サンプリング 特徴抽出 欠損値・欠測値への対応 値のスケーリング 特徴選択 次元削減 2. 学習 モデ
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
2. Copyright Shiroyagi Corporation. All rights reserved. 自己紹介 堅田 洋資 (データサイエンティスト＠白ヤギコーポレーション ) 日本では数少ない米国大学のデータサイエンス修士号を保有。 白ヤギコーポレーションにて、社内のデータはもちろんクライアントのデータ分析を 支援するコンサルタントとして活躍。 これまで機械学習を用いたレコメンデーション、アプリユーザーの行動分析や機械 学習を用いたプッシュ通知の最適化、交通系IoTのデータ分析などを担当。 白ヤギコーポレーション参画前は、監査法人トーマツにてデータ分析コンサルタン ト、生体センサスタートアップでサービス・アルゴリズム開発の取締役、KPMG FAS にて事業再生コンサルタント、外資系メーカーでの経理・マーケティングなど幅広い 経験を持つ。 学歴 ● University of
決定木とランダムフォレスト - Qiita
決定木とは 目的変数に属する確率を複数の説明変数の組み合わせで算出する方法。 イメージは以下で、Yes/Noなどの条件に属するかどうかで確率を算出する。 ランダムフォレストとは ランダムフォレストは、アンサンブル学習法(複数の分類器を集めて構成される分類器)の一つ。 決定木を複数集めて使うので、木が集まってフォレスト（森）として使う。 やってみる(sklearnでの決定木) データ用意 ランダムに作ったデータを用意する。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn %matplotlib inline from sklearn.datasets import make_blobs # ダミーデータの生成用 X, y = make_blobs(n_samples=5
pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm
scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。 どちらかっていうとよく使う機能の紹介的な感じです。 英語が読める方は公式のチュートリアルがおすすめです。 scikit-learnとは？ scikit-learnはオープンソースの機械学習ライブラリで、分類や回帰、クラスタリングなどの機能が実装されています。 また様々な評価尺度やクロスバリデーション、パラメータのグリッドサーチなどの痒いところに手が届く機能もあります。 インストール scikit-learnの他にもnumpyとかscipyとかが必要です。 Windows 64 bit版の人は以下のURLに色々なインストーラーがおいてあるのでおすすめ Python Extension Packages for Windows - Christoph Gohlke その他の人は以下のURLを見て
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://geechs-magazine.com/tag/lifehack/20161121_2
経験ゼロのWeb企業が機械学習に取り組んだ話
R による文書分類入門
scikit-learnを用いた機械学習チュートリアル
