データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
機械学習のためのPython入門 クラスとメソッド編 - Beginning AI
機械学習にどのようなPythonの知識が必要かは、Python機械学習プログラミングの監訳者福島 真太朗（ふくしま しんたろう）さんが以下のように述べられています。 Pythonの文法については、リスト、タプル、ディクショナリなどの基本的なデータ構造、forループ、print関数、zip関数、enumerate関数、関数やクラスの作成方法などが理解できていれば十分です。 thinkit.co.jp そこで今回はPythonで書かれた機械学習のコードを読めるように、リスト、タプル、ディクショナリなどの基本的なデータ構造、forループ、print関数、zip関数、enumerate関数、関数やクラスの作成方法について学んでいきます。 従ってこの記事は、Pythonを一度もやったことがなく、機械学習のためにPythonを学びたいという人向けです。 今回読み解くPythonコードについて 今回は題
機械学習に使える、オープンデータ一覧 ※随時更新 - Beginning AI
機械学習をやりたいんだけど、データがない！他のデータ使ってみたい！ そんな方のために、機械学習に使えるオープンデータを集めました。 他にも、このデータセットオススメ！というものがあれば、是非ご紹介して頂けると嬉しいです。m(__)m UC Irvine Machine Learning Repository カリフォルニア大学アーバイン校が公開した、データセット。351件のデータセットがあり後述する DATA GO に比べれば少ないが、ほとんどがMachine Learning用のデータ・セットなので、かなりオススメ。 UCI Machine Learning Repository かの有名なあやめの花（iris）のデータセットもここから見ることができます。 国立情報学研究所 情報学研究データリポジトリ データセット一覧 yahoo,楽天,ニコニコなどのデータがあります。 DATA.GO.
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee
応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ
Deep Learningと画像認識� �～歴史・理論・実践～
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include: 1. Masked prediction tasks that predict masked patches of the input image. 2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image. 3. Self-distillation methods like DINO that distill a teacher ViT into a st
誤差逆伝播法（バック・プロパゲーション）
トップページ→研究分野と周辺→ニューラルネットワーク→ 誤差逆伝播法（BP：バック・プロパゲーション）は1986年、米スタンフォード大学のラメルハート教授らが発表した多層階層型ニューラルネットワークの学習方法。入力層へ或る情報が与えられたら、出力層はそれに対応した或る情報を出力しなければならない場合の学習方法となる。 最初は入力層→中間層→出力層への結合係数はランダムに与えられるので、或る入力情報に対し、出力層はそれに対応した出力をするとは限らない。望ましい出力との誤差を教師信号として与える事により、次第に結合係数を変化させ、最終的に正しい出力が得られるようにする。ここでは、結合係数を変えて行く事を学習と呼ぶ。 この学習方法には、最急降下法（勾配法）という計算方法が使われる。 最急降下法（勾配法） 図の２次関数でｙの極小値を与えるｘが２である事は、計算で求められる。しかし、ここでは敢えて別
サポートベクターマシンとは［カーネル法による非線形サポートベクターマシン］ - verum ipsum factum
ここからはこれまで述べてきたサポートベクターマシンにカーネル法を適用することにより非線形サポートベクターマシンへ拡張することを考えます。 カーネル法の導入 これまで述べてきたサポートベクターマシーン分離面が超平面であることを前提としていました。しかし、実際の問題では正例データと負例データの境界が超平面であるよりは、複雑に入り組んだ超曲面である可能性が高いことが想定されます。 このようなデータに、これまで述べてきたようなクラス境界を超平面とするサポートベクターマシーンを適用しても、高い分類性能を期待することは難しそうです。 たとえば下図のような単純なケースでさえ正例データ（○）と負例データ（×）を分ける直線は存在しないため、１００％の分類性能は達成できません。 しかし、このようなデータでも線形分離が可能になるような別の空間へ変換できれば、変換先の空間ではクラス境界が超平面になるのでサポートベ
非線形SVM 〜詳細説明〜
非線形SVM 〜 詳細説明 〜 戻る 問題が線形分離できないような場合，やっぱり非線形なモデルを考えたいわけで，常套手段はなんといっても，元の特徴空間を線形分離可能な別の特徴空間に変換してやってから線形分離してやる，っていう方法だよね．非線形SVMも例に漏れずこの方法を使う． 元の特徴空間におけるベクトルを，別の次元特徴空間に変換する関数を考える．は，スカラーを出力する任意の個の非線形関数を要素とするベクトルと定義する． (2.1) これを使って，非線形SVMの識別関数を次のように考える． ただし (2.2) 学習データは個与えられているとし，と表す．これらのデータを2つのクラスおよびに分離することを考える．この学習データ集合に対して，が次の条件を満たすようにパラメータを調節することを考える． (2.3) ここで学習データに関する教師信号をとし，次のように定義する．
コカ・コーラの100周年ボトル、MS年齢当てサイトとコラボ。画像認識で「100歳」と判定 | DIGIDAY［日本版］
2015年11月16日で、おなじみのガラスボトルが誕生100周年を迎えたコカ・コーラ。 このアニバーサリーを祝うため、同社はマイクロソフトの年齢当てサイト「How-Old.net」とコラボしたキャンペーンを開始した。画像認識ソフトウェアによって、被写体の人物の年齢を推測する同サイト。アップロードされた写真に、コカ・コーラの瓶が写り込んでいると「100歳」として認識されるという。 ちなみに「How-Old.net」にとって無生物の認識は、初の試みだ。 2015年11月16日で、おなじみのガラスボトルが誕生100周年を迎えたコカ・コーラ。 このアニバーサリーを祝うため、同社はマイクロソフトの年齢当てサイト「How-Old.net」とコラボしたキャンペーンを開始した。画像認識ソフトウェアによって、被写体の人物の年齢を推測する同サイト。アップロードされた写真に、コカ・コーラの瓶が写り込んでいると「
やる夫で学ぶ機械学習シリーズ · けんごのお屋敷
これは、機械学習に関する基礎知識をまとめたシリーズ記事の目次となる記事です。まとめることで知識を体系化できて自分自身の為にもなるので、こういうアウトプットをすることは大事だと思っています。ただ、普通にブログ記事を書くのも面白くないので、ちょっといつもとは違う方法でやってみようというのが今回のシリーズ記事。 2 ちゃんねるのキャラクターが登場人物として出てきて、彼らが会話して話が進んでいく「やる夫で学ぶシリーズ」という講義調の形式のものがあります。個人的にはやる夫で学ぶシリーズや 数学ガール のような会話形式で話が進んでいく読み物は読みやすいと思っています。さらに、先日みつけた やる夫で学ぶディジタル信号処理 という資料がとてつもなくわかりやすく、これの真似をして書いてみようと思い至りました。記事中のやる夫とやらない夫のアイコンは http://matsucon.net/material/m
機械学習の基礎知識としての数学 - learning.ikeay.net
私がAI（人工知能）や機械学習って難しいナーと感じるところは、数学の前提知識がある程度必要なところです。 GoogleからTensorflowが出たときに、私もいっちょやってみるかなんて思ったのですが、参考にした記事もなかなか難しくてあんまり理解できなかったのを覚えてます。途中まで理解出来てたのに、急に数式が出てきて「なるほどわからん！」ってなることが多かったですね。 「というかエンジニアなのに数学苦手なのｗ」とビックリされる方もいらっしゃると思いますが、エンジニアっつったって、今の御時世理系出身エンジニアばかりじゃないんです。でもエンジニア女子やってると自動でリケジョ扱いされるから面白いですね。 当面の目標としては、AIの中でも機械学習を学んでいきたいので（DeepLearningできるようになりたい！）、あると嬉しい数学の知識としては以下です。 線形代数 確率・統計 微分・積分 AIの
人工知能が小説執筆 文学賞で選考通過 NHKニュース
小説を書く人工知能の開発を目指す研究プロジェクトの報告会が２１日、東京で開かれ、実際に人工知能を使って書かれた小説が紹介されました。 ２１日に東京・港区で開かれた報告会には、プロジェクトに参加する人工知能の研究者らおよそ１５０人が参加しました。 報告会では、プロジェクトを統括する公立はこだて未来大学の松原仁教授が現状を紹介し、人工知能を使って書いたショートショート４作品を星新一さんにちなんだ文学賞、「星新一賞」に応募したところ、受賞はならなかったものの一部が一次選考を通過したことを明らかにしました。 松原教授は「一次選考を通過したことは快挙だ」としながらも、「現在の人工知能ではあらかじめストーリーを決めるなど人間の手助けが必要な部分が多く今後、さらに研究が必要だ」と述べました。 また、応募作に使われた人工知能を開発した名古屋大学の佐藤理史教授は、「人工知能が一から小説を書いたと言い切れるま
第1回 IkaLog誕生前夜 | gihyo.jp
2015年5月に発売された大人気ゲームスプラトゥーン、皆さんはプレイしていますか？ 著者のまわりでは多くのコンピュータエンジニアが楽しんでいます。私は、スプラトゥーンの動画をリアルタイムに分析するソフトウェアIkaLogを開発し、オープンソースとして公開しています。本連載では、IkaLogの開発秘話（？）や画像認識に使っているアルゴリズム、開発の過程などについて紹介します。 今回は連載第1回目として、私（たち）がどのようなきっかけからIkaLogを開発し始めたのかを紹介し、次回以降では具体的にどのような検討を経てIkaLogが実装されてきたかを説明します。 スプラトゥーンとの出会い 私がスプラトゥーンというゲームを知ったのは、発売が数日後に迫った日にインターネット上でトレイラームービーを見かけたときでした。スプラトゥーンは、三人称視点（TPS）でプレイヤーのインクリング（イカ人間）を操作し
多人数不完全情報ゲームにおける 最適行動決定に関する研究
修 士 論 文 多人数不完全情報ゲームにおける 最適行動決定に関する研究 Research on decision making in multi-player games with imperfect information 指導教員 近山 隆 教授 東京大学大学院 工学系研究科 電気系工学専攻 氏 名 37-086521 三木 理斗 提 出 日 平成 22 年 2 月 9 日 概 要 多人数不完全情報ゲームでは，囲碁や将棋などの二人完全情報ゲームで有効であるとされている従来 手法をそのまま適用することが困難であることが多い．本研究では，多人数不完全情報ゲームである 麻雀の打牌を決定するための手法として，UCT 探索を利用した打ち手の探索と，大量の補助問題を 利用した評価関数の学習を行った．UCT 探索の応用では麻雀に適応できるようにアルゴリズムを変 更し，パラメータの調整によって
［脳に挑む人工知能18］なぜ囲碁AIは10年早くプロ棋士に勝てたのか
「（ハンディキャップなしでプロ棋士に勝つには）たぶん10年はかかるだろう」――Wired Magazineは2014年5月掲載の記事で、こんな囲碁AI作者の談話を紹介した。 それからわずか1年半。米グーグルのAI研究部門であるGoogle DeepMindは、2016年1月27日に発表した英Nature誌の論文で、同部門が開発した囲碁AI「AlphaGo」が2015年10月に欧州チャンピオンFan Hui氏と5回対戦し、全勝したことを明らかにした。Fan Hui氏はプロ2段で、欧州の囲碁大会で2013年、2014年、2015年と優勝していた。 DeepMindの研究チームは論文中でWiredの記事を引用し、「以前は少なくとも10年かかると思われていたが、コンピュータが史上初めて、囲碁のプロ棋士にハンディキャップ（置き石）なしで勝った」と勝利宣言してみせた。AlphaGoは2016年3月9日
「正答率100%」になってしまう機械学習モデルの例を挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
何か僕がシンガポールに出張している間に妙なニュースが流れていたようで。 京大ビッグデータ副作用論文。機械学習知らない私でも疑問なのは、@sz_drさんも指摘してるが y'=a1*SCORE+a2*ACT+a3*GeneID+b (1) という式で、GeneIDという定量的に性質を示す値でないものを線形結合に加えているところだと思う。詳しい人教えて— torusengoku (@torusengoku) 2016年1月25日 （※記事そのものへのリンクは控えました） 見る人が見れば「ああこれはleakageだな」と一瞥して終わるところなんですが、そもそもleakageってどういうことなのかピンと来ない人もいるかと思いますので、以前取り上げたデータ分析題材を例にとって実演してみようと思います。お題はこちら。 何故これを選んだかというと、このテニス四大大会データには上記で話題になっていた"Gen
自称有識者()が例の副作用100%予測にがんばって答える - 驚異のアニヲタ社会復帰の予備
ちょっとアレなので非公開になりました。 結論 cross validation くらいしよう。
厚みと模様とAlphaGo - あんちべ！
GoogleのAlphaGoというプログラムが、韓国のプロ棋士であるFan Hui氏と囲碁で対局して勝利したというニュースが世界を駆け巡りました。 それについての参考資料のまとめと、思ったことをつらつらと。一点注意ですが、AlphaGoのアルゴリズムを解説するという内容では一切ありません。 紹介記事 ついにコンピューターが囲碁でプロ棋士に勝利、倒したのはGoogleの人工知能技術 - GIGAZINE Google Japan Blog: AlphaGo: マシンラーニングで囲碁を AlphaGo | Google DeepMind 論文 Mastering the Game of Go with Deep Neural Networks and Tree Search https://storage.googleapis.com/deepmind-data/assets/papers/d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF]機械学習の理理論論と実践
ベイズ階層言語モデルによる 教師なし形態素解析