Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～ - Qiita
Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～PythonKaggle 事業会社でデータサイエンティストをしているu++です。普段ははてなブログ1で、Kaggleや自然言語処理などデータ分析に関する記事を定期的に書いています。 Kaggleでは2019年に「PetFinder.my Adoption Prediction」2というコンペで優勝（チーム）し、「Santander Value Prediction Challenge」3というコンペで銀メダルを獲得（個人）しました。「Kaggle Master」と呼ばれる称号4を得ており、Kaggle内ランクは、約16万人中最高229位です5。 本記事では「Kaggleに登録したら次にやること」と題して、Kaggleに入門したい方に向けて次のようなコンテンツを掲載します。
【統計学】尤度って何？をグラフィカルに説明してみる。 - Qiita
統計学や機械学習をを勉強していると「尤度」という概念に出会います。まず読めないというコメントをいくつかいただきましたが、「尤度（ゆうど）」です。「尤もらしい（もっともらしい）」の「尤」ですね。犬 じゃありませんw 確率関数や確率密度関数を理解していれば数式的にはこの尤度を処理できると思うのですが、少し直感的な理解のためにグラフィカルに解説を試みたいと思います。 コードの全文はGithub( https://github.com/matsuken92/Qiita_Contents/blob/master/General/Likelihood.ipynb )にも置いてあります。 正規分布を例にとって 正規分布の確率密度関数は f(x)={1 \over \sqrt{2\pi\sigma^{2}}} \exp \left(-{1 \over 2}{(x-\mu)^2 \over \sigma^2
競馬の解析をガチでやったら回収率が100%を超えた件 - stockedge.jpの技術メモ
記事のタイトル通り、競馬で回収率100%を超える方法を見つけたので、その報告をする。 ちなみに、この記事では核心部分はぼかして書いてあるため、読み進めたとしても「競馬で回収率100%を超える方法」が具体的に何なのかを知ることはできない。（私は本当に有効な手法を何もメリットが無いのに公開するほどお人好しではないので） 本当に有効な手法を見つけたいのであれば、あなた自身がデータと向き合う以外の道は無い。 ただし、大まかな仕組み（あと多少のヒントも）だけは書いておくので、もしあなたが独力でデータ解析を行おうという気概のある人物なのであれば、この記事はあなたの助けとなるだろう。 ちなみに、これは前回の記事の続きなので、読んでない方はこちらからどうぞ。 stockedge.hatenablog.com オッズの歪みを探す さて、前回からの続きである。 前回の記事のブコメで「回収率を上げたいならオッズ
機械学習エンジニアになるには？｜未経験から機械学習スキルを身につけてエンジニア、プログラマーがAI(人工知能)xデータ解析のエキスパートへ。ML（Machine Learning）エンジニアを目指せ - テクニティノイモシニ
機械学習エンジニアへ転職、就職する方法をお伝えします。 機械学習エンジニア（ML Engineer）とは？ 大手企業含む多くのIT企業が機械学習エンジニアを求めている時代 そもそも機械学習とはなに？ データサイエンスから見た機械学習エンジニアに必要なスキル ①データを化学するスキル ②データを操作するスキル エンジニアからAIエンジニア・機械学習エンジニアを目指すならAidemy 機械学習エンジニアはどんなエンジニアがなるべきか？ 機械学習エンジニアの年収比率・給料はスタンバイ2017プログラマー年収ランキングのPythonと同じ程度 企業内部データを活用 => 利益へと繋げたいニーズは強まり続ける キャリアアドバイザーに良いAI企業を見つけてもらう。 機械学習エンジニアの転職サイト選びのコツ 第１位 エンジニアのAI業界転職満足度・転職成功率No.１ :レバテックキャリア 第２位 未経験
準ニュートン法アプレット（非線形計画法）
制約なし最適化問題に対する準ニュートン法 （非線形計画法） 製作者：向 譲治 制約なし最適化問題は次のように表す。 この問題の解法としてニュートン法、準ニュートン法などがある。 ニュートン法 ニュートン法は反復法の一種である。反復法とは、適当な初期点 から出発して、 によって次の点列を生成し、最終的に最適解に収束するものである。ここでを探索方向という。 ニュートン法では、各反復において、関数 f を でテイラー展開して得られる２次関数
Deep Learningの技術と未来
PFIセミナー2013年6月6日分です。Deep Learningの技術的基礎からBengioの怪しげな妄想まで。Read less
ビジネスデータからの知識発見・活用ソリューション -- リンク集
統計分析、多変量解析、データマイニング、その応用例を調べるにあたって参考となるページを紹介します。基礎知識の補完にご活用ください。
「ビッグデータ」がもたらす「因果関係」から「相関関係」へのシフト—理由なんてどうでもいいんです｜イケハヤ大学【ブログ版】
ビッグデータ関連では非常によくまとまった一冊。とりあえずこれ読んでおけばOKでしょう。「MAKERS」のような、新しい価値観を提示してくれる系です。 ビッグデータが世界を変える ・Googleは、合計4億5000万にも上る膨大な数式モデルを使って検索語を分析し、CDCが提供している2007年、2008年の実際のインフルエンザ症例とGoogleの予測を比較検討した。そこで彼らは大変なことに気づく。特定の検索語45個と、ある数式モデルを組み合わせたとき、Googleの予測と公式データの間に高い相関関係が見られたのだ。 ・現時点でビッグデータの捉え方は、次のようにまとめることができる。「小規模ではなしえないことを大きな規模で実行し、新たな知の抽出や価値の創出によって、市場、組織、さらには市民と政府の関係などを変えること」。それがビッグデータである。ただし、これは始まりにすぎない。 ・確率や相関関
ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
PRML 読んでやってみた（上巻編） - 木曜不足
今までに書いた「 PRML を読んで、やってみた」系の記事をまとめてみた。何か参考になれば幸い。 根本的にとても疑り深い人(教科書の類に対しては特に)なので、「こんなん書いてあるけど、ほんまかいな〜？」という姿勢が目立つ。 また、よく「手触り」という言葉が出てくる。なんというか、「感触」がわからないと気持ち悪いのだ。基本的な道具類は目をつむっていても使えるのが理想、と言えば、なんとなくでもわかってもらえるだろうか。 あと、言葉使いに無駄に小うるさい(苦笑)。多くの人にとってはどうでもいいところで妙にこだわっているかも。 下巻編はこちら。 PRML 読んでやってみた（下巻編） http://d.hatena.ne.jp/n_shuyo/20110519/prml １章＆２章 特に実装とかしてない。 ディリクレ分布のパラメータが0のとき http://d.hatena.ne.jp/n_shuy
PRML の読む章・飛ばす章(私家版) - 木曜不足
機械学習の定番教科書の1つと言われ、各地で読書会が開かれる「パターン認識と機械学習」(PRML)。読み解くにはある程度の解析と線形代数の知識が必要なため、数学が苦手な学生さんや××年ぶりに数式を目にしたというエンジニアたちを次々と「式変形できない……」という奈落に叩き込んでいるという。 サイボウズ・ラボの社内 PRML 読書会でもその現象が発生。見かねた同僚の光成さんが PRML で使われている数学の解説だけではなく、PRML の中で省略されている式変形の過程も含めて書き下したメモ（社内通称：アンチョコ）が暗黒通信団から「機械学習とパターン認識の学習」という同人誌として出版され、全国のジュンク堂で購入可能となるとちょっとしたムーブメントががが。 現在はアマゾンでも購入可能となっているが、もともとのアンチョコも PDF で無料公開(CC-BY ライセンス)されているので、紙の本でないと勉強す
PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足
放課後の学食は、普段なら常時腹を空かせた運動部の連中があちこちにたむろっているのだが、今日は珍しく先客は一人きりだった。 静かな様子にほっとしたカズは、まったり休憩でもしようとジュースを片手に奥の目立たない席を目指す。が、学食で筆記用具を広げている女子生徒の横を通り過ぎたところで突然立ち止まった。 振り返ってその先客をよく眺めると、ツインテールの頭をどこか見覚えのある黄色い本に乗せて、机に突っ伏すようにして寝ていた。カズは思わず近寄って、本の正体を確認するためにのぞき込もうとしたそのとき。 「やっぱ、わかんない！ ……って、ひゃあ!?」 「わわっ」 突然跳ね起きたその生徒は、目と鼻の先にいたカズの姿にびっくりして悲鳴を上げた。カズもやはり驚きうろたえてしまった。 二人してしばらくそのまま息をのむようにして顔を見合わせていたが、そのうちどちらともなくぷっと吹き出した。 「あはは、ごめん……す
k近傍法 - Wikipedia
k近傍法（ケイきんぼうほう、英: k-nearest neighbor algorithm, k-NN）は、入力との類似度が高い上位 k 個の学習データで多数決/平均するアルゴリズムである[1]。 パターン認識（分類・回帰）でよく使われる。最近傍探索問題の一つ。k近傍法は、インスタンスに基づく学習の一種であり、怠惰学習 の一種である。その関数は局所的な近似に過ぎず、全ての計算は分類時まで後回しにされる。また、回帰分析にも使われる。 k近傍法は以下の手順からなる： 入力と全学習データとの類似度（距離）測定 類似度上位 k 個の選出 選出されたデータの多数決あるいは平均 すなわち「入力とよく似た k 個のデータで多数決/平均する」単純なアルゴリズムである[1]。 例えば環境（気温/湿度/風速）から天気（雨/曇り/晴れ）を予測する分類問題を考える。k=5 のk近傍分類では、過去100日の環境-天
次元の呪い - Wikipedia
英語版記事を日本語へ機械翻訳したバージョン（Google翻訳）。 万が一翻訳の手がかりとして機械翻訳を用いた場合、翻訳者は必ず翻訳元原文を参照して機械翻訳の誤りを訂正し、正確な翻訳にしなければなりません。これが成されていない場合、記事は削除の方針G-3に基づき、削除される可能性があります。 信頼性が低いまたは低品質な文章を翻訳しないでください。もし可能ならば、文章を他言語版記事に示された文献で正しいかどうかを確認してください。 履歴継承を行うため、要約欄に翻訳元となった記事のページ名・版について記述する必要があります。記述方法については、Wikipedia:翻訳のガイドライン#要約欄への記入を参照ください。 翻訳後、{{翻訳告知|en|Curse of dimensionality|…}}をノートに追加することもできます。 Wikipedia:翻訳のガイドラインに、より詳細な翻訳の手順・指
脳を理解するための情報源メモ
脳を理解し BESOM モデルを拡張するために必要な知識の 良質な情報源を、独断で選んで紹介します。 （ 2014-06-04 更新） （2013-02-07: 内容が一部古くなっています。 また、少し敷居を上げ過ぎた感があるので、もう少し絞り込んで整理し直したいと思っています。） ★★★・・・ 必読。脳を理解しようとする人は必ず目を通すべきだと思います。 ★・・・ おすすめ。大変役に立ちます。 * こちらもご覧ください。 「脳を理解するための情報源メモ」更新予定メモ 目次 脳科学全般 機械学習 パターン認識、 自己組織化マップ、 ベイジアンネット、 独立成分分析、 主成分分析、 強化学習、 特徴選択、 正則化、 フレーム、 Deep Learning 認知科学・心理学 遂行機能、 事象関連電位、 アフォーダンス、 選択的注意 神経科学 神経解剖学、 計算論的神経科学 哲学 意識、 自由意
過学習と局所解 - 職業としてのプログラミング
もし、私が電気の専門家であったなら、電話を発明することはできなかっただろう。 何故なら、そんなものは最初から不可能だと決め付けたであろうから。 冒頭の引用にあるベルの言葉※1は、たまたま見たテレビ番組で取り上げられているの見て初めて知りました。非常に印象的な言葉でした。 技術者として仕事をしていると、無理難題とも言える仕様、無理なスケジュールを突きつけられることが良くあります。そんな時、ついつい「無理を言うのは技術を分かっていないからだ。無理を言われても困る」と考えがちです。しかし、実際は中途半端に技術を理解しているがために視野が限定され、結果として発想力に乏しくなっているのは技術者の側、ということもあるのではないでしょうか。ここで、学生の頃かじったニューラルネットワーク(Neural Network)や遺伝的アルゴリズム(GA)のことを思い出しました。 ニューラルネットワークとGA。どち
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計科学・機械学習の講義
機械学習チュートリアル@Jubatus Casual Talks
サービス終了のお知らせ
サービス終了のお知らせ