技術書の執筆、出版の方法が分からない 原稿のビルドやプレビュー、自動文字校正の環境を整備するのが面倒 出版社とのやり取りをする中で原稿と出版物が一致しなくなっていく 著者やレビュアーとの やり取りや取りまとめ、連絡が大変 執筆環境のツールがバラバラで使いにくい、手間が多い ブラウザで技術書の執筆、公開ができるので、誰でもすぐ技術書の執筆ができます エディターがMarkdown、各プログラミング言語のハイライトに対応しています 原稿を書籍と同じデザインでプレビューしたり、Epubをビルドできます 原稿から直接、出版物を作成できるので内容にズレが生じません 執筆中の文字数やページ数を常に知れるので、本の分量を意識して執筆できます さらに、以下の機能を追加予定です オンライン上での共同執筆、共著のための機能 文字校正 (textlint)やルール設定、一括での置換 レビューやコメントをオンライン

R Advent Calendarの20日目の記事です。 今年初めてAdvent Calendarに参加させていただきました。 大した内容を書けず恐縮ですが、生暖かい目で記事みてもらえると助かりますｗ Rはベクトルでの表現であることは周知の通りです。 なので、Rにはそのようなベクトルを求める関数があります。 今回は個人的に学びたかった固有値と特異値分解を行う関数を紹介します。 ■固有値を求める関数 固有値と固有ベクトルに関してはWikipediaに詳細な説明が載っているので、そちらに譲ります。 固有値 Rでベクトルを求める際に使われる関数はeigen関数です。 eigen関数を使って下記の行列の固有値、固有ベクトルを求めてみます。 #ベクトルの固有値、固有ベクトルを求める eigen(A) $values [1] 4.5615528 0.4384472 $vectors [,1] [,2]

◎固有値方程式 > A.eig<-eigen(A) > A.eig $values [1] 4.5615528 0.4384472 $vectors [,1] [,2] [1,] -0.2703230 -0.8719282 [2,] -0.9627697 0.4896337 ◎特異値分解 > D.s<-svd(A) > D.s $d [1] 4.6708301 0.4281894 $u [,1] [,2] [1,] -0.2897841 -0.9570920 [2,] -0.9570920 0.2897841 $v [,1] [,2] [1,] -0.4718579 -0.8816746 [2,] -0.8816746 0.4718579

t-SNEは、高次元のデータを可視化する手法としては、非常に便利ですが、時々不可解な挙動をしたり、誤解を招くような可視化をすることがあります。 シンプルなデータを可視化して動作の仕組みを理解することで、t-SNEのより効果的な使い方を学ぶことができます。 t-SNEは、高次元のデータを調査するための手法として、2008年にvan der MaatenとHintonによって発表 [1] された人気の手法です。 この技術は、数百または数千次元のデータですら無理やり2次元の「マップ」に落とし込むという、ほとんど魔法のような能力を備えているために、機械学習の分野で幅広く普及しています。 このような印象を持っている方が多いのですが、こういった捉え方をしていると誤解を招くこともあります。 この記事の目的は、よくある共通の誤解を解くためでもあります。 t-SNEで可視化できることと、できないことを説明す

データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ

データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ

こんにちは，クラスタリング&可視化おじさんです． 本記事は「機械学習と数学」Advent Calendar14日目です． (ちなみにAdvent Calendar初投稿です．よろしくお願いします) はじめに データ分析とか機械学習やられてる方は高次元データの次元削減と可視化よくやりますよね． この分野の代表選手といえばPCA(主成分分析)とかMDS(多次元尺度構成法)ですが， これらの線形変換系手法には以下の問題があります． 高次元空間上で非線形構造を持っているデータに対しては適切な低次元表現が得られない 「類似するものを近くに配置する」ことよりも「類似しないものを遠くに配置する」ことを優先するようアルゴリズムが働く 1.に関して，よく例に出されるのがSwiss roll dataset(下図)のようなヤツですね． PCAはデータが多次元正規分布に従うことを仮定しているので， その仮定から

今回は、kaggle のOtto Group Production Classification Challenge の上位の方々が次元削除の手法としてt-SNE(t-distributed stochastic neighbor embedding) を使用されていたので調べてみようと思いました。個人的には、pca(主成分分析) ぐらいしか思い付かなかったのですが、それぞれ比較しながら見ていきます。 t-sne の詳細についてこちらを参考にするといいかと思います。 http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf こちらに書かれているようにt-SNE は高次元のものを2 または3 次元に写像するように作られています。とりあえず、R のtsne package を試してみます。(あとでより高速なRtsne

――　特異値分解　―― A （n×p）をランクrの行列とする。 A = ULV’ と分解することができる。 ここで、U（n×r）とV（p×r）はそれぞれ列ベクトルが直行する。U’U = V’V = I、I（r×r）は単位行列。 L（r×r）は、正の値を対角要素に取る対角行列となる。 L = diag(ψ1, ψ2, …, ψr)、ψ1 > ψ2 > … > ψr。 Uを左特異ベクトルと呼ぶ。 Vを右特異ベクトルと呼ぶ。 Lの対角要素（ψ1, ψ2, …, ψr）を特異値と呼ぶ。 ―――――――――――― Uの各列ベクトルは、Aの列ベクトルが張る空間の正規直交基底である。 Vの各列ベクトルは、Aの行ベクトルが張る空間の正規直交基底である。 A’A を考える。 A’A（p×p）は対称行列となる。 A’A = ( ULV’ )’ ULV’ = VL’U’ ULV’ = VL’LV’ = V(L^

この場合、長さ、幅、重さ……などの測定値を 特徴量 、製造所IDを ラベル として何らかの機械学習をすることが考えられます。ただ、多くの場合、この特徴量が多すぎるといった状況が発生します。中には、「製造に要した時間」のようなおおよそ関係なさそうな測定値が入っていたり、重さと体積のような、明らかに相関がありそうなものが入っていたりします。 人間であれば「この特徴量は関係なさそうだな」とあらかじめアタリをつけて表から落としたりもできますが、基本的に機械学習アルゴリズムは与えられた特徴量を公平に評価します。その結果、ラベルと論理的に関係がない特徴量にまで相関を見出してしまう……なんてことも起こってしまいます。 また、特徴量どうしに相関がある場合、それらのモデル内での役割はほぼ同じであり、そこまで多くの情報を持っていることにはなりません。極端な例を挙げると、「長さ」のカラムが表に2つあってまったく