実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
R言語による時系列予測とクロスバリデーション法による評価 | Logics of Blue
時系列データへのクロスバリデーション法を用いて、予測精度の評価を行う方法を説明します。 R言語のforecastパッケージのtsCV関数を用いると、効率的な短いコードで実装が可能です。 この記事では、時系列データの前処理～モデル化～予測～予測の評価、といった一連の流れをすべて通して解説します。 今回は標準的な時系列モデルであるSARIMAモデルを用いますが、このモデル以外でもおおよその手順は変わらないと思います。 予測の評価における基本的な事項は『予測の評価方法：誤差の指標とナイーブな予測』も合わせて参照してください。 コードはGitHubから参照することができます。 スポンサードリンク 目次 分析の準備と前処理 SARIMAモデルの構築 SARIMAによる予測 テストデータを使った予測の評価 クロスバリデーション法による予測の評価 スライド型のクロスバリデーション法の実行 後記 1．分析
ランキング設計はどうあるべきか？ その2｜深津 貴之 (fladdict)｜note
前エントリで論じられた、正しいランキング設計の考察の続き。第2回は、ランキングの収奪性、格差の固定性を軽減する手段を、具体的に論じてみる。 前回の記事へのTwitter上のフィードバックは、Togetterにまとめてある。こちらもご興味があれば、一読の価値がある。いくつか被ってしまったものもあるけれど、諸々の後半記事。 「ランキング」以外の名称を用いるこれはほぼ確定。ランキングという名前は、「noteとして競争原理を推奨する」という強いメッセージを発する。noteの全てのユーザーが、競争原理で動いているわけではないので、これは望ましくない。 おそらく最終的には「注目」「人気」などの名称を使うことになるかと思われる（「オススメ」はパーソナライズ用にとっておく）。また、「ランキング」という名称やスタンスをやめることで、後述するようないくつかの公平性のための施策を行う余地が生まれる。 時間による
深層学習による自然言語処理 - RNN, LSTM, ニューラル機械翻訳の理論
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
Rによる機械学習：caretパッケージの使い方 | Logics of Blue
ニューロンの個数を2パタン。 データへの依存度を3パタン用意すると、2×3＝6パタンも試さなければなりません。 大変に面倒ですが、このハイパーパラメタを雑に設定すると予測精度が落ちてしまうこともよくあります。 めんどくさいですが、なるべくやったほうがいいです。 4．モデルを使って予測する これは簡単。単に予測をするだけです。 パッケージを使っていれば、たいていは予測用の関数が用意されています。 5．予測の評価をする 最後は評価です。 評価をすることによって、 ・どの手法の ・どのパッケージの ・どのパラメタを 採用すべきかを判断します。 で、一番予測精度がいいやつを使って予測することになります。 たくさんの手法、たくさんのパッケージ、たくさんのパラメタの組み合わせをしらみつぶしに評価する。 普通にこれをやろうと思うと、気が遠くなってしまいますね。 そこで登場するのがパッケージ「caret」
機械学習を用いた予測モデル構築・評価
質的変数（順序尺度）に有用なポリコリック相関係数を紹介しています。 また、ポリコリック相関係数を使った因子分析の方法も説明しています。
いまさら聞けない機械学習の評価関数 - Gunosyデータ分析ブログ
アライアンス事業開発部の大曽根(@dr_paradi)です。 ニュースパスというアプリの分析と開発を行っております。 今回は機械学習の評価関数のお話をします。 内容は、【FiNC×プレイド】Machine Learning Meetup #1 - connpassで発表したものになります。 発表資料 いまさら聞けない機械学習の評価指標 from 圭輔 大曽根 www.slideshare.net 機械学習における評価 現在は機械学習ライブラリが充実しており、また、Webサービスの普及により学習に必要なデータの獲得も以前と比較して容易になっています。 そのため、機械学習のビジネス利用への敷居が下がっています。 予測や分類といった問題を解く際には、設定した課題に対してどのモデルが最も適しているかを評価するための指標(評価関数)が必要になります。 Kaggle*1などのコンペティションではあらか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
