サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
衆院選
hokuts.com
今回書くこと この記事では、特に画像識別で大きな成果を挙げた畳み込みニューラルネットワーク1の概要について書きます。 数式にはあまり触れませんので、そのあたりまで踏み込みたい方は専門の資料をご覧ください。 多層パーセプトロンで画像識別 前回までに触れた多層パーセプトロンは、画像の学習器としてはあまり強力ではありませんが、ごく小さな画像なら下記のようにすると学習できることがあります。 各ピクセルの色濃度を多層パーセプトロンの入力値とし、出力が正解ラベルに近づいていくように学習していきます。 ただ、この方法は2次元の画像を1次元の配列に変換しているので、例えば画像に写っているものがたった1ピクセルずれただけでも入力が大きく変わってしまいます。 これではあまり性能のいい識別器になりません。 今回説明する畳み込みニューラルネットワークという学習機械では、この問題が解決されています。 畳み込み行列に
はじめに 多層パーセプトロンの重みを更新する理論について解説します。 更新すべき重みがたくさんあるので単純パーセプトロンより難しいですが、ここがわかると近年流行したディープラーニングを理解するための基本ができあがります。 ただし、結構長いので、「理論はざっくりでいいから最終的に使える重み更新式が知りたい」という人は、別のサイトや本を読むのをお勧めします。 なお、記事中で使われる各種記号の定義は前回やりましたので、わからなくなったらそちらを参照してください。 数学の前知識 今回は数式がけっこう出てきます。 そこで必要な数学知識について、いくつか説明を書いておきます。 簡単のため前提条件を少し省略しているので、数学的に厳密ではない箇所はご容赦ください。 偏微分 偏微分は以前の記事でも出てきましたが、僕が誤解してまして、高校数学の範囲には含まれていないようでした。 そんなに難しいことではなく、複
前回からだいぶ時間が空いてしまいました。 誰も見てないものかと… 多層パーセプトロンの学習法として使われる誤差逆伝播法について書いていきますが、この記事シリーズのルール「長いけど平易」を守るとけっこうな長さになったので、分割して掲載します。 今回は一言で言えば誤差逆伝播法の理論で使う記号の定義をするだけです。 しかし僕のような数式に慣れていない人間にとっては、実はここが一番の難関かも知れないとすら思っているので、腰をすえてじっくりやろうと思います。 正念場です。 活性化関数 先にこの項のまとめを書いておくとこうです。 多層パーセプトロンの活性化関数は微分できることが重要 有効な活性化関数にはいろいろある ひとまずこの記事では活性化関数を 、その導関数を と一般化して記述する それだけなのですが、せっかくなのでそのあたりの現状に軽く触れておこうと思います。 活性化関数とは、ユニットの出力値を
今回書くこと この記事では、特に画像識別で大きな成果を挙げた畳み込みニューラルネットワーク1の概要について書きます。 数式にはあまり触れませんので、そのあたりまで踏み込みたい方は専門の資料をご覧ください。
XOR問題：単純パーセプトロンの限界 単純パーセプトロンの学習によって論理演算（ANDやORなど）の役割を果たす識別器を作ることを考えます。 真 = 1, 偽 = 0 とおき、, それぞれでいずれかを入力します。 パーセプトロンを通過した結果、それらを論理演算した値（0または1）が出力されるようにします。 0か1の出力なので、活性化関数 として単位ステップ関数を利用します。 単純パーセプトロンにおける重みベクトルの学習手順は前回説明したとおりですので、以下、学習によって具体的にどのような重みになってほしいか？という観点で話を進めます。 以下のようなアプローチで考察ができるのは2次元（入力が2つ）ならではです。 OR（論理和） まず、ORの役割を果たす単純パーセプトロンについて考えます。 OR の定義は下表のような感じですよね。 OR 1 1 1 1 0 1 0 1 1 0 0 0 入力値
教師あり学習 大量のメールがあって、それぞれ人間の目でSPAMかどうかが判定済みであるとします。 それらのメールの何となくSPAMっぽい2単語「主人」「オオアリクイ」に注目し、各メールにそれらの単語が何回出てくるかを数えてグラフにプロットしたら下記のようになったとします。 （「主人」出現回数を、「オオアリクイ」出現回数をとおきます。） 何だか、グラフ中に直線を引けばSPAMとそうでないメールを分けられそうだと思いませんか。 そしてその直線を基準にすれば、未判定のメールがSPAMなのかどうかも判断できそうな気がしませんか。 これが識別関数による教師あり学習の基本です。 教師あり学習では、教師データと呼ばれるデータをたくさん読み込ませて機械に学習させます。 教師データというのは「パラメータと正解ラベルの組」です。今回の例でいくとパラメータとは「主人」「オオアリクイ」という単語の数、正解ラベルと
はじめに ディープラーニングとか熱いですよね。 ライブラリやネットサービスを使えばそういう技術を試すことはできるのですが、基本的な理論を知っておくのは大切なんじゃないかと思います。 しかし、本やネットの情報は大学初等レベルの数学の知識を前提としているものが多く、高卒の僕なんかには大変つらいです。 そこで、この記事シリーズでは、「こう言ってくれれば僕でもわかった」という観点で、機械学習の基本について説明みたいな事を書いていこうと思います。 「長いけど平易」な感じを目指します。 想定する読者層 読み手としては下記のような方を想定しています。 簡単な機械学習をスクラッチで実装できる程度の理解がほしい 高校くらいまでの数学の知識が何となくある 大学の初期で学ぶレベルの線形代数の知識がない 基礎を知ることで、ディープラーニングの本とかが読めるようになるといいな、と思ってます。 書くこと 下記の記事に
単純パーセプトロン 動物の神経細胞（ニューロン）は、樹状突起という部位で他の細胞から複数の入力を受け取り、入力が一定値以上に達すると信号を出力する（これを「発火する」と言ったりします）とされており、それをモデル化したものとして形式ニューロンというものが提案され、さらに応用してパーセプトロンというモデルが発明されました。1 と、難しそうなことを書きましたが、ざっくり絵にするとこんな感じです。 絵では入力が3つになっていますが、実際にはいくつでも構いません。 前回の の問題は、このモデルにあてはめることができます。 入力ノードが 、入力途中の矢印が に対応しています。 を入力として受け取り、それぞれに を掛けた後、中心のノードですべて足し合わせます。 この値を とします。 前回のSPAMの例だと、正しく学習された後であれば、SPAMの場合 、非SPAMの場合 となるはずですね。 このようなモデ
勘違いしている人をたまに見るが、給与や報酬は「辛い思いをした対価」ではない。 誤解を生む遠因として、労働力の需要と供給の関係があると思う。 「五体満足なら誰でもできるが、誰もやりたがらない仕事」というものがある。 学生時代に“危ないバイト”の噂で盛り上がった経験のある人も多いはずだ。 果敢にもそれらを実践したことのある人もいるだろう。 そういった仕事には労働者が集まらないので、雇用者は報酬をできる限り高く設定するしかない。 つまり、労働力の供給が需要に対して少ないために価格が上がるというものである。 労働力の供給が少ないパターンとしては、「誰もやりたがらない」のほかに「そもそもできる人が少ない」というものがある。 つまり特殊技能や経験がないとできない類いの仕事で、これは習得のために一定の努力が必要である。 「誰もやりたがらない仕事」、「できるようになるのに努力が必要な仕事」、どちらも辛いか
すいません、「書く」と言ってからだいぶ経っちゃいましたが… と言いつつ「前置き」。 一昨年くらいから、Future Sync vol.1〜vol.3、HTML5 Carnivalと、福岡では大きめと言える、数百人が参加するカンファレンスイベントに主催級で関わらせて頂く機会が続きました。 そういえば2010年には、HTML5 Tech Talk Fukuokaというのもやりました。 実は自分自身がコンテンツを提供する側になれないことにやきもきしながらも、運営の中で素晴らしい方々と良い関係が築けたり、アンケートなどで参加者から感謝のお言葉を頂けたり、そういうものに感激しながら、ボランティアを続けてきた形です。 で、僕を含め、これらのイベントのスタッフは皆、イベント運営に関しては素人1ですが、そういう人間が集まってそれなりの規模のイベントをやった経緯や手法は、一般に公開するべきだと、ふと思
イベント運営方法、第2回です。 その0 – 前置き その1 – 必要なもの 今回は、お金周りの話について書いてみます。 ある程度以上の規模のイベントだと、開催するまでにいろいろなところでお金がかかってきます。 その費用を個人が負担するのではなく、うまくイベントの中で捻出して完結させる必要があります。 無償で頑張った挙げ句に借金を背負うことになったら非常にツライので、これに関してはもっといろいろなイベントの情報が出てきて欲しいなぁ、ということで、自分達の経験も公開します。 けっこうデリケートな話ではあります。 かかりうる費用 まずは、どういったものにお金がかかるか？について。 ゲスト 交通費・宿泊費 懇親会費 報酬 会場費 印刷費 備品 これらの詳細と、それぞれの出費を抑えることはできるのか？について考えていきます。 ゲスト招待の費用 ここで「ゲスト」とはカンファレンスイベントにおけ
イベント運営方法の1回目です。前置きはこちら。 Future Sync の vol.3 は、下記のようなスケジュールで準備されました。 本番は2013年5月11日だったのですが、今回ちょっと準備期間長すぎたかもねーって話になったりしてます。 これを守ったり守らなかったりしながら進めていたわけですが、今日は、このあたりの準備までにどのようなものが必要か、という視点で記事を書いてみます。 僕なりに振り返って、必要だったと思うものを挙げます。 前提 情熱 確信 協力者 本番に向けて コンテンツ 場所 運営の仕組み 前提 情熱 何だかこっ恥ずかしい1言葉から始まって恐縮ですが、これがないと何も始まらないと思っています。 本職の合間の時間（本来は趣味とか休息とかに充てるような）を見つけてはイベントの作業を進めることになるので、少なくともコアスタッフには、漠としたものであれ「こういうことをやりた
このページを最初にブックマークしてみませんか？
『頭の中に思い浮かべた時には』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
