2017年6月22日(木曜日) （はじめに） 玄田有史東京大学教授の編集で『人手不足なのになぜ賃金が上がらないのか』（慶應義塾大学出版会）という書物が出版された（以下、本書と呼ぶ）。この本の帯にもあるように、これはまさに現在の日本経済の「最大の謎」に挑む試みだと言えよう。実は筆者自身も、このオピニオン欄などで何回か雇用と賃金の問題に取り組んできた(注1)。ただし、従来の筆者の考察は主に「日本的雇用」（大企業の正社員を中心としたメンバーシップ型雇用）に焦点を当てたものである一方(注2)、現実の日本の労働市場は遥かに複雑で多面的なものである。 この点、本書の大きな特徴は、敢えて書物としての見解の統一性に拘ることなく、総勢20名以上の研究者を動員することで、序と結びを併せて18章にも及ぶ多様な観点からこの「謎」に挑んだことにあろう。具体的には、正規・非正規雇用の違いに注目しつつ（【正規】）、正統
---【追記：2022-04-01】--- 「基礎線形代数講座」のPDFファイルをこの記事から直接閲覧、ダウンロードできるようにしました。記事内後半の「公開先」に追記してあります。 --- 【追記ここまで】--- みなさん、はじめまして。技術本部 開発技術部のYです。 ひさびさの技術ブログ記事ですが、タイトルからお察しの通り、今回は数学のお話です。 ＃数学かよ って思った方、ごめんなさい（苦笑） 数学の勉強会 弊社では昨年、有志による隔週での数学の勉強会を行いました。ご多分に漏れず、コロナ禍の影響で会議室に集合しての勉強会は中断、再開の目処も立たず諸々の事情により残念ながら中止となり、用意した資料の配布および各自の自学ということになりました。 勉強会の内容は、高校数学の超駆け足での復習から始めて、主に大学初年度で学ぶ線形代数の基礎の学び直し 、および応用としての３次元回転の表現の基礎の理解
対談者プロフィール Dain 書評ブログ「わたしが知らないスゴ本は、きっとあなたが読んでいる」（スゴ本）管理人。「その本が面白いかどうか、読んでみないと分かりません。しかし、気になる本をぜんぶ読んでいる時間もありません。だから、（私は）私が惹きつけられる人がすすめる本を読みます」 読書猿 「読書猿 Classic: between / beyond readers」管理人。正体不明。博覧強記の読書家。メルマガやブログなどで、ギリシャ哲学から集合論、現代文学からアマチュア科学者教則本、陽の当たらない古典から目も当てられない新刊までを紹介している。人を喰ったようなペンネームだが、「読書家、読書人を名乗る方々に遠く及ばない浅学の身」ゆえのネーミングとのこと。知性と謙虚さを兼ね備えた在野の賢人。著書に『アイデア大全』『問題解決大全』（共にフォレスト出版）。 谷古宇浩司 株式会社はてな 統括編集長／
Changes集合論中村論理学の知識をベースにして数学の構造を理解し、集合、写像の概念を学ぶ集合論演習師玉公理的集合論を題材に，Mizarと呼ばれる数学証明の自動チェックシステムを用いて,証明法についての演習を行うコンピュータネットワーク山崎コンピュータネットワークの基本的考え方を学ぶ・OSI７階層モデル・通信方式・同期方式・データ伝送制御(ポーリング,トークン,CSMA/CD)・誤り制御・プロトコル(基本型データ伝送制御手順,HDLC)交流理論基礎と実験中村交流回路の知識はコンピュータのインターフェースや伝送系を考えるときに必須のものです.ここでは最低限の知識の習得と、それに伴う実験をしてもらいます. ・交流と複素数による表現・コンデンサーと交流・コイルと交流・各種波形と過渡現象Mizar5-基本群と不動点定理-師玉Mizar3の準備のもとに，基本群や２次元の不動点定理を題材に，位相数学
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
情報処理における全国のエキスパートが一堂に会したリクルート主催の「春の情報処理祭」。HPC（High Performance Computing）研究分野の専門家である、京都大学の中島浩教授は、HPCの役割や速さの秘密について説明するとともに、HPCがビジネス全体にもたらす影響を語ります。コンピュータの性能を生かすために知っておくべき、HPCの基礎知識とは？（春の情報処理祭in京都より） ハイパフォーマンスコンピューティング(HPC)とは 中島浩氏：（BGM「Let It Be」を流しながら登場）さすがにビートルズの「Let It Be」ぐらいは知っているかな。皆さんが生まれるずいぶん前の歌ですけれども。 『アナ雪（アナと雪の女王）』というのがあって、あっちは「Let It Go」なんですね。こっちは「Let It Be」で、何が違うのか。英語のニュアンスはほとんど同じなんですけれども「L
はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は
『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 - 渋谷駅前で働くデータサイエンティストのブログ
こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ
機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - ABEJA Tech Blog
はじめまして。ABEJAでResearcherをやらせていただいている白川です。 先日、化合物の物性推定をDeep Learningをつかって従来手法より300,000倍高速に処理するという論文がでました（[1], [2]）。この論文の手法は、Graph Convolutionというグラフ上に定義されたConvolution演算がベースとなっています。物性推定に限らず、グラフ解析全般を Deep Learning で上手にこなせるようになれば、Deep Learningのアプリケーションの幅がぐっと拡がり、さらなるイノベーションが起きそうな予感がします。 ICMLやNIPSなどの機械学習系の主要国際会議でも数年前からGraph Convolutionについての論文がちらほら出現しはじめており、とくに最近その勢いが増してきている印象があります。個人的にも最近（前から？）にわかにグラフづいてい
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
TinySegmenterはJavascriptだけ書かれた極めてコンパクトな日本語分かち書きソフトウェアです。 わずか25kバイトのソースコードで、日本語の新聞記事であれば文字単位で95%程度の精度で分かち書きが行えます。 Yahoo!の形態素解析のように サーバーサイドで解析するのではなく、全てクライアントサイドで解析を行うため、セキュリティの 観点から見ても安全です。分かち書きの単位はMeCab + ipadicと互換性があります。 デモ 日本語の文章を入力し、解析ボタンをクリックしてください。 ダウンロード TinySegmenterはフリーソフトウェアです. 修正BSDライセンスに従って本ソフトウェアを使用,再配布することができます. Download TinySegmenter version 0.2 使い方 <script type="text/javascript" src
ゲーム作りとかCGとかに関わる数学(初歩)① 今回HIKKYさんのアドベントカレンダーに投稿するにあたって、別の温めてたネタはあったんですが諸事情により封印してしまったので、何か別のテーマにしようと考えました。 で、色々考えたのですが、特に思いつかなかったのでCG数学の初歩的な話をしようかなと思います。実際VKetCloudの中でも基本的な数学は必ず使われてますし。 あと「ゲームメーカーズ」さんの記事でも取り上げていただいた、僕のCEDEC+KYUSHU2023の数学のお話がやたらとウケがよかったため、数学の話で行くことにしました。 で最初に書いておくと、書きたかったことの半分もかけていません。 時間の都合上と、あと数式と頭が多すぎるのか、このドキュメントの編集が何度も落ちるからです。 と言うわけで、今回は概要と三角関数とベクトルの話だけにします。 あとは年末年始休みの間にでも続きを書きま
最近バーチャルユーチュ－バーが人気ですよね。自分もこの流れに乗って何か作りたいと思い、開発をしました。 モーションキャプチャー等を使って見た目を変えるのは かなり普及しているっぽいので、自分は声を変えられるようにしようと開発しました。 やったこと キズナアイさんとねこますさんの、それぞれの声を入れ替えられるようにしました。これによって、ねこますさんのしゃべった内容を、キズナアイさんの声でしゃべらせることができます。(逆も) 機械学習手法の一つであるCycleGANを用いて、変換するためのネットワークを学習しました。 パラレルデータ(話者Aと話者Bが、同時に同じ内容を話した音声)が必要ありません 。YouTubeから拾った音声でも変換ができます。 当然ですが、一度学習すれば、利用時には何度でも繰り返し利用できます。 期待できる効果 見た目だけでなく、声まで美少女になれます。やったね。 他にも
東京大学 杉山・本多研究室
東京大学 杉山・本多研究室：機械学習と統計的データ解析 機械学習の基礎理論の構築と実用的なアルゴリズムの開発，及び，実問題への応用研究を行っています [ English | Japanese ] 研究概要 教科書 機械学習のための確率と統計 イラストで学ぶ機械学習：最小二乗法による識別モデル学習を中心に 統計的機械学習 統計的学習の基礎：データマイニング・推論・予測 パターン認識と機械学習 強くなるロボティック・ゲームプレイヤーの作り方～実践で学ぶ強化学習 学習の種類 教師付き学習 教師なし学習 半教師付き学習 強化学習 機械学習の理論とアルゴリズム モデル選択 不偏モデル選択規準 正則化モデル選択規準 能動学習 単一のモデルに対する能動学習 複数のモデルに対する能動学習 追加学習／オンライン学習 次元削減 教師付き次元削減 半教師付き次元削減 教師無し次元削減 類似度データからの学習／カ
円安を恐れるべきか
現在、数十年振りの円安です。コロナ禍やロシアの侵略戦争によるエネルギー高もあって物価が上昇していますがこれは本当に恐れるべき事なのでしょうか。 私は以下の文を読んで何故円安なのか、それをどう考えればよいか、よく理解出来たので、クローズドなSNSで4月の投稿ですが、書いた人の承諾を得て公開します。 【転載開始】 2001年6月以降の日米のコアCPI（なお日本のコアコアはアメリカのコアに相当）をグラフにしたものです。灰色の細い線はその差です。いずれも日記で紹介している内容で、日頃からデータを取っていればすぐに作れるグラフです。 アメリカはインフレ、日本はデフレとします（今はそうです。）。 両国ともまっとうな金融政策、つまりインフレになれば金融を引き締め、デフレであれば緩和するという政策をとれば、アメリカは金融を引き締めて金利上昇、日本は金融を緩和して金利低下となります。 そうなると、それまで円
大学の「数論」（初等整数論と，代数的数論）の講義ノートPDF。独学用のオンライン参考書 - 主に言語とシステム開発に関して
講義ノートの目次へ 大学の数学で勉強する，数論（Number Theory）の入門に役立つPDF。 （１）整数を扱う初等整数論と， （２）群・環・体を使った代数的数論（Algebraic number Theory） の２つに分類。 前者は，いわゆる「整数問題」というやつの体系と思ってよい。 後者はもっと本格的で，「代数的な数」を扱い，自然な流れでガロア理論が出てくる。 ※群・環・体（抽象代数学）の知識は，こちらのノートで学ぶとよい。 ※数論の続きは，リーマン・ゼータ関数のノートで学ぶとよい。 （１）初等整数論・数論入門の講義ノート しっかり学べる教科書PDF： 数論入門 April 28, 2011 http://www.osaka-kyoiku.ac.jp/~ybaba/... 大阪教育大，６４ページ。 1.自然数について 2.数学的帰納法，整列原理 3.整除法 4.約数，倍数 5.ユ
●テキスト本体（PDF形式406ページ:3.51MB） 2023/09/10更新 （→ミラーサイトからDL）（→GitHubからDL） 言及している主なライブラリ： Kivy, argparse, socket, threading, concurrent, requests, BeautifulSoup, mpmath, subprocess, datetime, time, timeit, tzlocal, zoneinfo, pickle, struct, locale, re, csv, functools, asyncio, sched, schedule, traceback, pprint, platform, base64, collections, itertools, enum, shutil, zipfile, atexit, wave, PyAudio, Tkint
類似度と距離 - CatTail Wiki*
２つのデータが似ている度合いを，類似度の大きさや距離の近さといった数値にしてあらわすことで，クラスタ分析や，k-近傍法，多次元尺度構成法(MDS)をはじめとするいろいろな分析を行うことが可能となる． ここでは，よく知られている類似度や距離について述べる． 類似度という概念は，２つの集合の要素がまさにどれだけ似ているかを数量化したものであり，距離とは，要素同士の離れ具合，従って非類似度とちかい概念と考えてもよい． 参考までに数学における距離の概念の定義を示すと， 距離空間の定義 Sを１つの空でない集合とし，dをSで定義された2変数の実数値関数 d(SxS) → R が，以下の４条件（距離の公理） D1 ： （非負性） 任意のx,y∈Sに対して d(x,y)≧0． D2 ： （非退化性） x,y∈Sに対し d(x,y)=0 ⇔ x=y． D3 ： （対称性） 任意のx,y∈Sに対して d(x
他人の論文や, ソースコードを見ているといろいろと思うことがあるので, 私が正しいと思っている書き方を以下に記す. あくまで自己流なので, 他の方のご意見 (コメント)も参照すると良いかと思います. ,(半角カンマ)や.(半角ピリオド)の後は必ず半角スペースをいれる 日本語論文では, "半角カンマ+半角スペース"の代わりに"全角カンマ"を推奨しているところもある (ピリオドも同様に) 逆に,や.の前に不自然なスペースをいれない ソースコードは見やすいように, インデントと改行を心がける 2回以上改行すると段落が変わるため注意 特別な理由がない限り, ハイパーリンクをつける: こちら 略称は定義して使うこと: (例) Support Vector Machine (SVM) 三点リーダー (・・・)の使い分け \ldots: カンマに使う. $i=1, 2, \ldots, n$ \cdot
DeepLearningは最近ブームであり,その有名なライブラリとしてTensorflowがあります． この記事ではDeepLearningの基本的な部分を数式を使って書き下すこととTensorflowの使い方を紹介します. 今更っていう気もしますが…，そこは気にしないでおくことにします 主な対象はベクトル空間やテンソル積等をある程度知っているけれど，DeepLearningは知らない人です. なので表記も大学の数学でよく出てくるものしています. なおニューラルネットワークの積分表現には触れません. 三層パーセプトロン ニューラルネットワークの基本的な形の一つである三層パーセプトロンを定義します. 定義 (三層パーセプトロン) 行列$W_1 \in M_{n_0 n_1}(\mathbb{R}),W_2 \in M_{n_1 n_2}(\mathbb{R})$とベクトル$b_1 \in \
概要 この記事は数学を学んでない人が書いてます。 その事を書く理由は保身もありますが、間違ってる事とか表現が厳格ではない可能性があることを示唆します。 自分自身が内積を捉えるのに苦労したので「内積分からない人が、分かろうとした過程を残した記事」程度のものだと思ってください。 そして、その過程を通じて、他の人が内積を理解するためのヒントを得られることを目的として書いています。 "完全に"正しい内積を説明するのが目的ではなく、考える過程を通じて理解を深めるのが目的です。 謝辞 phiさん(@phi16)本当にありがとうございました。 phiさん居なかったら内積とはなんなのか全然分からなかったです。本当に助かりました。 この記事はphiさんの言ってる事を馬鹿なりに咀嚼したものなので、phiさんの文章の方がしっかりとした説明になってます。 線形空間のおはなし 内積の抽象概念 (自分の言葉で説明する
日銀の黒田総裁はアメリカ・ワシントンで開かれた金融関係者らが集まる討論会に出席し、日本の物価上昇は賃金の上昇を伴っておらず一時的なものだとして経済を下支えするため、大規模な金融緩和を続ける姿勢を強調しました。 日銀の黒田総裁は、15日、アメリカ・ワシントンで開かれた国際機関や中央銀行など金融関係者らが集まる討論会にスピーカーとして出席しました。 この中で黒田総裁は「日本では、物価上昇率が2％を超えているが原材料費などのコストの上昇によるもので、来年度の物価上昇率は2％を下回ると予想される」と述べ、今の物価上昇はエネルギー価格の上昇などに伴う一時的なものだという認識を示しました。 また、黒田総裁は、欧米の経済はコロナ禍の前を上回る形で回復しているが日本の経済の水準はそこまで至っていないとしたうえで賃金の上昇といった経済の好循環も生まれていないなどと指摘し、利上げを急ぐ欧米との経済状況の違いを
Deep Learning Acceleration勉強会(# DLAccel)に参加してきたのでまとめ - ぴよぴよ.py
今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで、超初心者なので、 おかしな書き方をしているところがあるかもしれませんヾ(´ﾟДﾟ;) [2017/09/04 11:00 追記] 間違いの修正/情報追記 目次 モデルアーキテクチャ観点からのDeep Neural Network高速化 by Yusuke Uchida(@yu4u)さん 資料 よくある高速化の方法 Factorization conv(5 x 5) => conv(3 x 3) - conv(3 x 3) conv(3 x 3) -> conv(1 x 3) - conv (3 x
推薦システムにおいて線形モデルがまだまだ有用な話 | CyberAgent Developers Blog
本記事は、CyberAgent Advent Calendar 2022 19日目の記事です。 目次 はじめに 問題設定 協調フィルタリングのための線形モデル iALS EASE 関連する非線形モデル 実務活用 おわりに はじめに メディア DSC所属の機械学習エンジニアで、タップルの推薦システムを担当している橋爪 (@runnlp)です。 最近、推薦システムを触り始めました。推薦手法は、協調フィルタリング、コンテンツベース、ハイブリッドなど様々ですが、今回は昔から今に至るまで長く使われている協調フィルタリングについてです。 協調フィルタリングではDeep系のモデルがたくさん出る中で、RecSys2022で発表された論文では10年以上前から使用されている線形モデル(iALS)がDeep系のモデルに匹敵する結果であると報告されており興味深いです。また、推薦システムを開発するにあたって、問題設
Fitbitから取得した心拍データで時系列の異常検知を試してみる - About connecting the dots.
井出先生の「異常検知と変化検知」を読んで，自分でも試してみたいと思ったんですが，あいにくちょうどいい時系列データが手元にないなーと思ってました．そんな折，データサイエンスLT祭りの発表の中に，Fitbitデータを可視化するものがあって*1，これはちょうどいいということで試してみましたよというていのエントリになります． 異常検知と変化検知 (機械学習プロフェッショナルシリーズ) 作者: 井手剛,杉山将出版社/メーカー: 講談社発売日: 2015/08/08メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る Fitbitってなによ Fitbitが何かしらない人のために一応説明しておくと，最近はやりの活動量計です．私が持っているのは，心拍が取得できるタイプのやつです．風呂に入るとき以外は一日中つけっぱなしで，睡眠とか運動とかを自動で判定してくれるので，手間がかからず便利です
はじめに 最近はAIや機械学習などの単語がビジネスで流行っていて、世はAI時代を迎えている。QiitaやTwitterを眺めているとその影響を受けて、世の多くのエンジニアがAIの勉強を始め出しているように見受けられる。 さらに、近年では機械学習のライブラリも充実しており、誰でも機械学習を実装することができる良い時代になってきた。 その一方で、特徴選択を行い精度を向上させたり、機械学習の出した答えがどの特徴に基づいて判断されたのかを理解したりするには、モデルに対する理解やテクニックが必要となる場合も多々ある。複雑なモデルになると人間には解釈が困難で説明が難しい。近頃流行りのDeep Learning系のモデルだと頻繁に「なんかよくわからないけどうまくいきました」となっていると思う。 一般的なエンジニアとしては、この点が割と課題なんじゃないかと勝手に思っている。というか、私が課題に感じている。
統計学・機械学習でよく使われる数学記号リスト（主に自分用） - About connecting the dots.
統計学とか機械学習周りの本を読んでいると，何の説明もなくややこしい数学記号が出てきて，そういえばこれはなんだっただろう？ と途方に暮れてしまうことが少なくないので，自分用にまとめなおしてみました，というのが今回のエントリ．あくまで自分用なので，全部の数学記号を扱ってるわけではありません*1． 代数学 記号 意味 用例 用例の意味 備考 総和 要するに足し算 総乗 要するにかけ算 クロネッカーのデルタ i=jなら1，それ以外なら0 要するにブーリアン条件 ナブラ *2 3次元ベクトルの微分 要するに各要素の微分 ラプラシアン 3次元ベクトルの2階微分 要するに各要素の2階微分 下限 のとき与式は0になる との違いは，は当該値を含む必要があるが，はないこと 上限 との違いは，は当該値を含む必要があるが，はないこと 関数値が最大となるような定義域の元の集合 を最大にするような がの下にくる場合も
はじめに 「メルアイコン」と呼ばれる、Melvilleさんの描くアイコンはその独特な作風から大勢から人気を集めています。 上はMelvilleさんのアイコンです。 この方へアイコンの作成を依頼し、それをtwitterアイコンとしている人がとても多いことで知られています。 代表的なメルアイコンの例 （左から順にゆかたゆさん、みなぎさん、しゅんしゅんさんのものです (2020/12/1現在)） 自分もこんな感じのメルアイコンが欲しい！！ということで機械学習でメルアイコン生成器を実装しました！！.......というのが前回の大まかなあらすじです。 今回は別の手法を使って、キャラの画像をメルアイコンに変換するモデルを実装しました。例えばこんな感じで変換できます。 実装したコードはこちら 本記事ではこれに用いた手法を紹介していきます。 GANとは 画像の変換にあたってはUGATITという手法を使って
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
「食と機械学習」のコラボレーションをできないかと最近常々考えています。例えば、「地球上に存在する全ての料理本を何らかのアルゴリズムに入力し、人間にとって『美味しい』レシピとはどういう特徴を持つかを学習し、今まで人類が食べたことのないような斬新なレシピを自動生成する」ことが出来たとしたら素晴らしいとは思いませんか？ レシピの自動生成はさすがに難しそうなので、今回は人気になるレシピに共通する特徴は何かという問いに答えることを目標とします。具体的には、Cookpadのレシピが与えられたとして、そのつくれぽ数を予測する問題に挑戦してみます。レシピが人気になるか否かの要因としては、どういう材料を使用するか、レシピがどれだけ健康的か、またどれだけ手軽に調理できるかなど様々な要因が考えられますが、今回特に興味があるのはレシピの名前や紹介文などの文章の言葉遣いがそのレシピの人気度にどのような影響を及ぼすか
WebGLを使ってブラウザ上で3Dモデルを描画した話 - DMM.comラボエンジニアブログ
皆様、はじめまして！DMM.com Labo システム本部 事業サービス開発部の久野です。この度、社内の勉強会のLTで話した内容をまとめてみました！ 内容はWebGLというJavaScriptのAPIを使って、ブラウザ上で3Dモデルをアニメーション付きで描画するために何を行ったのか、です。 ▼実際に動作するデモです。 テクスチャを大量に読み込まなければならないので表示まで時間がかかるかもしれません。 ▲ブラウザによっては動作しない可能性がありますがデモプログラムなので悪しからず。 WebGLとはなんぞや？ WebGLとはKronos Groupが管理するOpenGL ES 2.0をブラウザ上のJavaScriptから扱えるようにしたAPIです。GPU(グラフィックカードまたはグラフィックボード)の機能を駆使して高度な3D描画を高速に行うことが出来、昨今のPC、スマートフォン等の主要なブラウ
最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ
プリンストン 数学大全 ｜朝倉書店
「数学とは何か」「数学の起源とは」から現代数学の全体像，数学と他分野との連関までをカバーする，初学者でもアクセスしやすい総合事典。プリンストン大学出版局刊行の大著「The Princeton Companion to Mathematics」の全訳。ティモシー・ガワーズ，テレンス・タオ，マイケル・アティヤほか多数のフィールズ賞受賞者を含む一流の数学者・数学史家がやさしく読みやすいスタイルで数学の諸相を紹介する。「ピタゴラス」「ゲーデル」など96人の数学者の評伝付き。 「数学愛好者にとっての優れた道しるべとして」 森重文先生（京都大学教授，国際数学連合総裁，1990年フィールズ賞受賞）ご推薦 「数学愛好者にとっての優れた道しるべとして，プロの数学者にとっては専門外の分野の理解に，本書は頼りになる一冊である．古今東西の数学を見渡し，多岐にわたる分野を網羅して，それぞれ選りすぐりの世界的権威が分
音割れ音源、機械学習で復元したくない？その1 〜短時間フーリエ変換と近接勾配法〜 - cocuh's note
このまえHな講義*1を受けてたあとに、@polamjag 氏とダベってたら 「音割れ音源復元できないか」 みたいな話がでて面白そうだったので趣味研究してみた成果だったりします。 信号解析初経験な上に片手間でやった研究なので、かなり穴だらけだと思うのでお気づきのことがありましたら、ご指摘お願いします。 背景 話によると、そこらへんで買った音源って音割れしてるらしい。 audacityで[view]->[show clipping]をオンにすると音割れ箇所を可視化してくれる。 ノーポイッを見てみた図。 (amazon mp3で購入、買ってない方ぜひ買いましょう。 http://www.amazon.co.jp/dp/B017BAK632 ) あかい。。。 ということで、ｻｰﾍﾞｲするこくたんであった。 目的 音割れしている音源(5分ぐらいの)をいい感じに補完して 人間の耳にやさしく 補完する。
【機械学習初心者向け】scikit-learn「アルゴリズム・チートシート」の全手法を実装・解説してみた - Qiita
scikit-learnのアルゴリズム・チートシートで紹介されている手法を全て実装し、解説してみました。 注釈 本記事シリーズの内容は、さらに丁寧に記載を加え、書籍「AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ」 として、出版いたしました。 概要 scikit-learn アルゴリズム・チートシート 【対象者】機械学習を使用したい方、初心者向けの機械学習本を読んで少し実装してみた方 scikit-learnの説明は英語で分かりにくいし、実装例もシンプルでなくて、よく分からんという方 【得られるもの】模擬データを用いて、各手法を使用したミニマム・シンプルなプログラムが実装できるようになります。 アルゴリズムの詳細な数式は理解できませんが、だいたい何をやりたいのか、意図と心、エッセンスが分かります。 アルゴリズムマップの手法をひとつずつ実装・解説します。
線形代数（行列論と抽象線形代数学）の講義ノートPDF。演習問題と解答付き - 主に言語とシステム開発に関して
講義ノートの目次へ 大学で学ぶ数学の，１年次分の線形代数を，独学でも入門・学習できるようPDF教科書を収集。 行列論の入門から始め， 逆行列 固有値 対角化・2次形式 などを扱い，線形空間の議論に進んでゆく。 そして線形空間の議論では「抽象線型代数」が扱われ， 正規直交基底 内積・ノルム などを学ぶが，これは量子力学や関数解析などの応用分野で必須の前提知識だ。 Web上で無料で閲覧できるリソースを集めた。演習問題と解答を含む。 下記の３つに分けてリンクを記載。 （１）行列論 （２）抽象線形代数 （３）その他 なお，微積分（解析学）の講義ノートPDFはこちら。 また，群・環・体など代数学の続きのノートはこちら。 （１）行列論 行列をテーマに線形代数を論じているノート。線形空間の話も一部含んでいる。 ページ数が多いPDF： 線型代数学入門 - lin_alg.pdf http://www.ma
Deep Learningの学習結果（重み）はブラックボックスで、隠れ層のユニット（特に深い層の！）が一体何を学習したのかがよくわからないと長年言われてきた。しかし、今回紹介する方法を使うとニューラルネットが何を学習したのか目で見える形で表現できる。 畳み込みニューラルネットで学習したフィルタの可視化というと以前やったように学習した第1層のフィルタの重みを直接画像として可視化する方法がある。 しかし、畳み込みフィルタのサイズは基本的に数ピクセル（MNISTの例では5x5ピクセル程度）のとても小さな画像なのでこれを直接可視化しても何が学習されたか把握するのはとても難しい。たとえば、MNISTを学習した畳み込みニューラルネット（2016/11/20）のフィルタを可視化しても各フィルタがどの方向に反応しやすいかがわかる程度だ。 各フィルタが何を学習したかを可視化する別のアプローチとして各フィルタ
行列プログラマー
本書では数学的概念を実装するプログラムで実際に問題を解決しながら、その応用法を探求します。具体的には、図形変換、顔検出、画像圧縮、画像補正、ページランク、機械学習、暗号と秘密共有などの例を使い、ベクトルと行列、それらを動かすアルゴリズムについて学びます。対象は、プログラマーおよび具体計算を通じて線形代数を学びたい学生。厳密な証明が目的ではないので数学に詳しくなくてもかまいません。Python 3プログラムを用いることで図やグラフからベクトルと線形変換を視覚的にとらえることができるため読者はイメージをつかみやすいでしょう。章末の問題を解くことで自分がその章で何を学んだのか、また自分の理解度を確認できます。 関連ファイル サンプルコード サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書
ビジネス実務の現場で有用な統計学・機械学習・データマイニング及びその他のデータ分析手法10+2選（2016年版） - 渋谷駅前で働くデータサイエンティストのブログ
そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定（t検定・カイ二乗検定・ANOVAなど） t検定 カイ二乗検定 ANOVA（分散分析） その他の検定 重回帰分析（線形回帰モデル） 一般化線形モデル（GLM：ロジスティック回帰・ポアソン回帰など） ロジスティック回帰 ポアソン回帰 正則化（L1 / L2ノルム
統計的学習理論と正則化に関するちょっと数理的な基礎 - 横須賀の某Prisonで働く研究者？のブログ
今回は機械学習でよく出てくる正則化の数理的基礎についてまとめたいと思います． ちょっと数理的なお話が多くなりますが， 大学院に居たときも今の職場で話しているときにも，この辺の事を理解している人は意外と多くないのかなと思ったので， 記事にしてみました． なお，本記事の内容の大部分は 金森敬文. (2015). 統計的学習理論 (機械学習プロフェッショナルシリーズ). を参考に書いています． 一般的な学習理論のお話 回帰にしろ分類にしろ，機械学習の理論はある程度統一的に扱うことが出来ます． 目的変数$y$が離散変数であれば分類問題になりますし，連続変数であれば回帰になります． ここでは，回帰・分類を統一的に扱い，学習理論一般に関する説明を少しだけしたいと思います． 入力ベクトルを$\boldsymbol{X}\in \mathcal{X} \subset \mathbb{R}^d$， 目的変数
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『人手不足なのになぜ賃金が上がらないのか』：書評と考察 : 富士通総研
クォータニオンとは何ぞや？：基礎線形代数講座 - SEGA TECH Blog
「スゴ本」の中の人が「読書猿」に聞く ―― 問題解決としての『知』とは？ - はてなニュース
ネット学習教材 - ドキュメント - SUGSI
30分で完全理解するTransformerの世界
計算量はコンピュータ性能論の「入り口」にすぎない--専門家が語る、IT屋に知っておいてほしい基礎知識
ディープラーニングの応用のための具体的方針まとめ - HELLO CYBERNETICS
TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア
ゲーム作りとかCGとかに関わる数学(初歩)① - Qiita
キズナアイとねこますの声を入れ替える機械学習をした - Qiita
Pythonのテキスト作りました - Qiita
LaTeXにおける正しい論文の書き方 - Qiita
数学系向けDeepLearning/Tensorflow入門 - Qiita
内積の持つ表現 - Qiita
日銀 黒田総裁 “物価上昇は一時的 賃金上昇へ金融緩和継続” | NHK
機械学習モデルの予測結果を説明するための力が欲しいか...？ - クソして寝ろ
メルアイコン変換器を作った話 - Qiita
深層学習による自然言語処理 - RNN, LSTM, ニューラル機械翻訳の理論
Cookpadのつくれぽ数を予測する · Naoki Orii's blog
畳み込みニューラルネットワークの可視化 - 人工知能に関する断創録