タグ

masatoiのブックマーク (1,109)

  • 定番のConvolutional Neural Networkをゼロから理解する

    Convolutional Neural Networkとは何か CNNで解決できる問題 Convolutional Neural Networkの特徴 畳み込みとは 合成性 移動不変性 Convolutional Neural Networkの構成要素 ゼロパディング(zero padding) ストライド Fully Connected層 Fully Connected層の問題点 Convolution層 Pooling層 TensorFlowによる実装 TensorFlowのインストール CNNでMNIST文字認識する 参考 近年、コンピュータビジョンにおける最もイノベーションと言えるのはConvolutional Neural Networkといっても過言ではない。 コンピュータビジョンの業界におけるオリンピックとも言えるコンペティションがImageNetである。 そのコンペティシ

    定番のConvolutional Neural Networkをゼロから理解する
    masatoi
    masatoi 2018/01/15
  • 論点:日本の研究力の危機 | 毎日新聞

    の研究力に黄信号がともっている。ノーベル賞の自然科学分野での日の受賞者(米国籍を含む)は2000年以降、17人を数え、欧米諸国と肩を並べたかのように見える。だが、日発の論文数は減り、学生にとって「研究者」は魅力的な進路でなくなっているのが実情だ。科学技術立国・日の復活には何が必要か。 「選択と集中」による弊害 小林信一・科学技術政策アナリスト 「日の研究力低下」は今に始まった指摘ではない。10年以上前から「かなり危ない」と言われ続けてきた。発表された研究論文数や、引用される論文数といった各種指標で日のピークは1997年前後だった。その後、中国が急激に伸び、主要な欧米諸国も指標がそれほどには落ちない中、日だけがずるずると落ちていった。 つまり、日は20年間手を打たなかった、あるいは何か失敗があったということだ。「失われた20年」の間に何があったか。皮肉にも、日の科学技術

    論点:日本の研究力の危機 | 毎日新聞
    masatoi
    masatoi 2018/01/12
    誰もやってない研究をするべきなのに誰もやってないからという理由で予算を削られるのか…(困惑)
  • AutoEncoder by Forest: ランダムフォレストをオートエンコーダとして使う

    この前のShibuya.lispの懇親会で教えてもらった論文(AutoEncoder by Forest)を読んだのでcl-random-forest (解説記事)で再現してみた。 どうやらDeepForestの研究グループらしい。 どのような内容なのか一言でいうと、入力データがランダムフォレストの各決定木のどの葉ノードに入るかが分かれば、元の入力を再構成できるという話だった。つまり、エンコードは入力データから各決定木の葉ノードのインデックスを調べ、そのベクトルを出力することに対応する。逆にデコードは葉ノードから根ノードへ逆に辿っていき、入力の範囲を制限していき、最後にそこから代表値を選ぶことに対応する。エンコーダの訓練は通常のランダムフォレストでモデルを作るだけなので、GPUを使ったニューラルネットのオートエンコーダよりも100倍速いと主張されている。(なおデコード速度では負けている模様

    masatoi
    masatoi 2018/01/10
    ブログかきました
  • AI ハリー・ポッターの衝撃 - 山形浩生の「経済のトリセツ」

    『ハリー・ポッターと巨大な灰の山らしきものの肖像』 AIにハリポタ全巻喰わせて、新作を生成させたそうな。まあご覧あれ。 Botnik Studios こいつを見て、あまりに感動してしまいました。この支離滅裂、異常な構想力、唐突な破綻ぶり。デスイーターたちが何だか知らないけど無意味にやおいらしきものを始めるところ。人工知能には創造性がないとかいっている連中がいるけれど、これでも、あるいはアルファゼロの囲碁でもそうだけれど、むしろ人工知能が明らかにしているのは、ぼくたち人間の知能や創造性と称するものがいかに制約されていて、型にはまっているかということだと思う。ウィリアム・バロウズが人間の矮小な構成力とキャパシティでほんの片鱗だけやってみせたことを、人工知能は鼻くそほじりながら(比喩的に)一瞬でやってのけている。 追記:このプロセスについてもう少し詳しく見た人がいる。これは当にほぼカットアップ

    AI ハリー・ポッターの衝撃 - 山形浩生の「経済のトリセツ」
    masatoi
    masatoi 2018/01/09
    ロンのロンシャツはロン自身に負けないほどひどいものでした。
  • Common Lispで動くブルームフィルタ作った - Lambdaカクテル

    ブルームフィルタとは,そのフィルタに要素が登録されているかを確率的に判定し,そのフィルタに要素が登録されていないことを確実に判定できるデータ構造である.ブルームフィルタは要素が登録されているかを判定することはできるが,その要素を取り出すことはできないという特徴を持っている.なので「フィルタ」である。 今回このブルームフィルタをCommon lispで実装した.実装したとはいっても以下のエントリの実装を真似ただけのものである. postd.cc Murmurhash3の実装がなかったので,ハッシュ関数にはひとまずIroncladのadler32を採用した.Ironcladを使った理由は,手頃で一般的なライブラリであること,adler32を使った理由は,そこそこ早いという話をどこかで聞いたからで,大した理由はない. github.com インストール quicklispに登録していないので,b

    Common Lispで動くブルームフィルタ作った - Lambdaカクテル
    masatoi
    masatoi 2018/01/02
    ブルームフィルタおもしろいなー
  • Roswell scriptで良い感じのREPLを書いた(書きたい) - Qiita

    はじめに Common Lispは流行っていません.流石に数あるLisp方言の中では最も使われている部類と思いますが,それでも流行っているとは言いがたいと思います.なぜCommon Lispが流行らないかというと,S式がどうとかカッコがどうとか以前にインフラストラクチャが整っていない(ように見える)からだと個人的には考えています.例えばパッケージマネージャのデファクトスタンダードはQuicklispですが初心者にとって馴染みやすいものではないと思います. しかしながら最近はRoswellの登場もあってかなり改善されていて,以前に比べればCommon Lispを始めるハードルはほとんど近代的な言語(例えばPythonRuby)のそれに追いついてきているように思います.また,Roswellのおかげでポータブルなスクリプトも書きやすくなりました. それではRoswellがもっと浸透すればCom

    Roswell scriptで良い感じのREPLを書いた(書きたい) - Qiita
    masatoi
    masatoi 2018/01/02
    ちょろっと使ってみたんだがlemのREPLを起動時に出すように設定しておけばいいかな・・・
  • 2017年のディープラーニング論文100選 - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これはFujitsu Advent Calendar 2017の18日目の記事です。 掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました[リンク]。なお、内容の正確性には注意を払っていますが、無保証です。 はじめに この記事では今年発表されたディープラーニング論文(ArXivでの発表時期、発表された国際会議が2017年開催またはジャーナル掲載が2017年のもの)から私が個人的に重要だと思った論文を収集しています。また、2016年末ごろの論文も重要

    2017年のディープラーニング論文100選 - Qiita
    masatoi
    masatoi 2018/01/02
  • Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes

    We demonstrate that training ResNet-50 on ImageNet for 90 epochs can be achieved in 15 minutes with 1024 Tesla P100 GPUs. This was made possible by using a large minibatch size of 32k. To maintain accuracy with this large minibatch size, we employed several techniques such as RMSprop warm-up, batch normalization without moving averages, and a slow-start learning rate schedule. This paper also desc

    masatoi
    masatoi 2018/01/01
    1024個のP100でResNet-50を15分で学習したとかPFNどれだけお金あるの
  • Best of arXiv.org for AI, Machine Learning, and Deep Learning - November 2017 - insideAI News

    Best of arXiv.org for AI, Machine Learning, and Deep Learning – November 2017 In this recurring monthly feature, we filter recent research papers appearing on the arXiv.org preprint server for compelling subjects relating to AI, machine learning and deep learning – from disciplines including statistics, mathematics and computer science – and provide you with a useful “best of” list for the past mo

    Best of arXiv.org for AI, Machine Learning, and Deep Learning - November 2017 - insideAI News
    masatoi
    masatoi 2018/01/01
  • 関西Lispユーザ会 Advent Calendar 2017 - Adventar

    関西Lispユーザ会アドベントカレンダー 次回の例会まで、少し間が空いてしまう予定の会ですが、せっかく盛り上がってきたのに何もしないなぁというのもどういうものかということで、アドベントカレンダーやります。 内容 内容としては、会の趣旨と同じくLispに少しでも関係があれば何でもどうぞ。 また、執筆は、会の会員(参加者)だけでなく、関西のLisperに知らせたい情報をお持ちの方もどうぞ。 例) 関西らしくLispダジャレ 自身のプロダクトの紹介 Lisp初心者応援記事 関西のLisperが広めたいこと 関西のLisperに広めたいこと 関西Lispユーザ会とは 関西を注進に活動しているLisp(プログラミング言語)に興味がある人のための集まりです。今年の春に発足し、3回ほど発表形式のイベントを行いました。イベントの会場は関西圏ですが、関西在住の方々だけでなく、広くLispに興味のある方

    関西Lispユーザ会 Advent Calendar 2017 - Adventar
    masatoi
    masatoi 2018/01/01
    関西lispのAdvent Calendarあったの知らなかった
  • CommonLispの例外処理機構 - Qiita

    この記事は関西Lispユーザ会アドベントカレンダー2017の23日目です。 CommonLispを触っていて、例外処理まわりが面白いと感じました。 CommonLispには"Condition System"という例外処理機構があります。Condition Systemの基は、Conditionの通知とハンドリングです。 基 Conditionというのはエラーや警告、何らかの通知を表すものです。実際にはconditionクラスを継承したクラス(CLOSのクラス)のことを指します。conditionクラスのサブクラスとしてerror, warning, simple-conditionクラスなどがあり、通知の重要度や内容によって使い分けます。もちろん、これらを継承して独自のConditionクラスを定義することもできます。 Conditionクラスの定義にはdefine-conditio

    CommonLispの例外処理機構 - Qiita
    masatoi
    masatoi 2018/01/01
    restart使ってみたい
  • Common Lispで遅延評価を作って遊ぶ(1) - eshamster’s diary

    目標:無限長数列 遅延評価というものを始めて耳にしたのはHaskellの入門書*1ですが、印象的だったのはやはり"[1..]"、ご存知無限リストですね。CやC#の世界で平和に暮らしていた人間にとっては中々衝撃的でした。 ということで、Common Lispで遅延評価(Lazy Evaluation)を使って無限長数列で遊ぶことを目標にします。まず今回は、基的な遅延評価ライブラリから無限長数列を作るところまで。 遅延評価ライブラリ Common Lispは遅延評価ベースな言語…では全然無いですが、クロージャとマクロを使って20~30行もあればベース(lazy, force, lcons, lcar, lcdr)ができあがります。こうして世の中で何千何万と作られたと思われる遅延評価ライブラリ群*2にまた一つのライブラリcl-lazy(名前衝突が起きている気しかしない)が加わりました。 esh

    Common Lispで遅延評価を作って遊ぶ(1) - eshamster’s diary
    masatoi
    masatoi 2017/12/27
    遅延シーケンスCommon Lispにも導入したい
  • Clojure の日本語ガイド — Clojure の日本語ガイド

    Clojure の日語ガイド¶ このドキュメントは Clojure 初学者の方やこれから始めてみたいという方を対象に書いています。

    masatoi
    masatoi 2017/12/26
  • Clojure/conj 2017に見るClojure界のトレンドとこれから - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Clojure/conjは、Clojureの生みの親であるRich Hickeyも所属しているCognitectが主催している、Clojure界では最大のカンファレンスです。毎年アメリカのどこかで開催されており、今年はメリーランド州ボルチモアで行われました。今年はClojureが初めてリリースされてから10周年で、記念すべき回となっていたようです。 今年のClojure/conj 2017では、私も念願の初参加かつ初発表をしてきました。アメリカは遠いですからね…ずっと行ってみたかったのですが、なかなか気軽に見に行くことはできま

    Clojure/conj 2017に見るClojure界のトレンドとこれから - Qiita
    masatoi
    masatoi 2017/12/26
    Clojure使いでなくてもためになる発表が多い
  • 朝日新聞・高橋純子氏 「安倍政権の気持ち悪さ伝えたい」|注目の人 直撃インタビュー

    新聞記者は、ウラを取って書けと言われるが、時に〈エビデンス? ねーよそんなもん〉と開き直る。政治部次長だった時に書いた朝日新聞のコラム「政治断簡」をまとめた著書「仕方ない帝国」(河出書房新社)が評判だ。キチッとした優等生の文章が当然の朝日において、時に〈『レッテル貼りだ』なんて… この記事は有料会員限定です。 日刊ゲンダイDIGITALに有料会員登録すると続きをお読みいただけます。 (残り3,408文字/全文3,548文字) ログインして読む 【ログインしていただくと記事中の広告が非表示になります】

    朝日新聞・高橋純子氏 「安倍政権の気持ち悪さ伝えたい」|注目の人 直撃インタビュー
    masatoi
    masatoi 2017/12/26
    安倍政権の気持ち悪さを伝えるつもりが自身の気持ち悪さを全力で伝えてしまった
  • Common Lispのお宅拝見: CMU Common Lisp篇 — #:g1

    masatoi
    masatoi 2017/12/22
    ORMのDAOからJSONを出力したいがクラスのスロット名を集める方法がいまいち無い…と思っていたらfare-mopを使うらしい
  • NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ

    NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID

    NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
    masatoi
    masatoi 2017/12/20
    その他にも3項のNVIDIAに対する訴訟などに参加したら懲罰としてドライバを使えなくするというのもなかなかに凶悪だな…
  • Iris - A ISLisp Implementation

    ISLisp in JS/Go: Standards-compliant Lisp smaller than Common-Lisp Features Implementation on Go and JavaScript Strong Extensible FFI (by Go Plugin & CGO) Cross Platform (Windows / macOS / Linux / Web) Download Language Project Version Go

    masatoi
    masatoi 2017/12/20
    おーISLispのGo実装IrisのJS版だ
  • Common Lispのランダムフォレストライブラリcl-random-forestで特徴量の重要度を出してみる

    概要 UCIのAdultデータセットを予測する LIBSVM形式への変換 ランダムフォレストを構築 ランダムフォレストから特徴量の重要度を出す 番外: scikit-learnの場合 メモ: 上の図の作り方 (Lisp Advent Calendar 2017参加記事) 概要 ランダムフォレストは多くの特徴量を持つような大きなサイズのデータセットを現実的な計算量で学習できる便利なモデルであるが、その重要な特徴の一つに、「特徴量ごとの重要度を推測できる」というものがある。 Random Forestで計算できる特徴量の重要度 Selecting good features – Part III: random forests 特徴量の重要度の推測の方法にも色々あるが、これらの記事では、MeanDecreaseAccuracyとMeanDecreaseGiniという2つの方法が紹介されている。

    masatoi
    masatoi 2017/12/18
    Lisp Advent Calendar 2017の18日目の記事になります
  • http://www.gnuplot-cmd.com/axis/format.html

    masatoi
    masatoi 2017/12/18
    gnuplotで軸の目盛に文字列を表示する方法