DataScienceCentral.com - Big Data News and Analysis
Blockchain solutions for intelligent transportation system Manoj Kumar | June 6, 2024 at 3:26 pm The transportation system is the most important system that connects worlds and is also very crucial in the transfers of... The critical role of data cleaning Lukas Racickas | June 6, 2024 at 12:37 pm As a product manager, I have closely worked with data engineering teams and witnessed the fantastic wa
Taking the Human Out of the Loop -ベイズ最適化のすゝめ- - Obey Your MATHEMATICS.
こんにちは。タイトルは次の論文から拝借しました; Taking the Human Out of the Loop: A Review of Bayesian Optimization - IEEE Xplore Document という訳で今話題沸騰中(？？？？？？？？)の Bayesian Optimization(ベイズ最適化)についてまとめたいと思います。 また、日本語で「ベイズ最適化」とググるといくつか良い記事が見つかるのでそちらも合わせて参照してみて下さい。いくつかピックアップして、この記事の下の方に”参考記事”としてまとめておきました。 また、佐藤一誠さんの講演動画も導入としてかなり参考になると思います。20分程度なので是非！ www.youtube.com しっかりと数学的なセッティングについて言及した記事があまりないように思われたので、そこにフォーカスして書きたいと思いま
信号解析と機械学習とあとは個人的見解 - HELLO CYBERNETICS
信号解析の基本手法：フーリエ級数展開 フーリエ級数展開 回帰問題とフーリエ級数展開 特徴量抽出としてフーリエ係数 機械学習における基本手法 ニューラルネットワークの回帰 表現力の高さとは 無駄な働きとは 個人的見解 特徴抽出 しっかり学ぶためには 新規のニューラルネット 信号解析の基本手法：フーリエ級数展開 信号解析の基本手法といえばフーリエ解析があります。フーリエ解析は任意の関数を三角関数の和に分解することで対象を解析する手法です。時系列信号に適応すれば、その信号をいろいろな周波数の正弦波の和として表現できるということです。 フーリエ級数展開 フーリエ解析の基本的理念は以下の記事で解説しています。 s0sem0y.hatenablog.com ここでもその理念をおさらいしましょう。 という基本的な信号を準備して、これを適当な重み付けで足しあわせてみます。 いま様々な重み付けで基本的な信号
Theanoの使い方 (2) 自動微分 - 人工知能に関する断創録
Theanoの使い方 (1) シンボルと共有変数（2015/5/9）のつづき。 今回はTheanoの自動微分を試してみる。ロジスティック回帰やニューラルネットなど勾配降下法を使うアルゴリズムではパラメータの更新式にコスト関数（誤差関数） の微分が必要になる。 通常、誤差関数の微分 を紙の上で解いてからその結果の数式を実装する。たとえば、前に実装した多層パーセプトロンによる関数近似（2015/1/22）では、手順 (4) で誤差関数の微分を手計算で求めてから実装している。 しかし、コスト関数が複雑になってくるとこの微分を手で計算するのは面倒くさいし間違いやすい。Theanoの自動微分では、コスト関数とどの変数について微分するかを与えるだけで自動的に微分を計算してくれるのだ。まずは、手計算できる簡単な微分を計算してみよう。 例1 まずは簡単な例で を計算してみよう。手で計算すると となることが
どんなデータでも(※)線形分離可能にしてしまう技術，Vanishing Component Analysis(ICML 2013)を紹介してきました - a lonely miner
急に蒸し暑くなってきましたね．でぶちんなのでけっこうこたえます．タイトルはちょっと釣り気味．ビビっと来た方は是非論文に目を通してみてください:) 例によって，仲間内でやっている小さな勉強会で論文紹介をしてきましたので，そのご紹介です．ぼくの専門というか興味の中心は自然言語処理なので，ふだんはそっち方面を追っているのですが，勉強会では機械学習方面を中心にいろいろ読んでみてます． 今回は岡野原さんのこのツイートで興味を持った以下の論文を読ませていただきました．名前もかっこいい．ヴァニッシングコンポーネントアナリシス！ ICML2013のbestpaper。データ中の集合（例えば画像中の8の字など）が0になるような生成多項式を求める（=集合のコンパクトな表現）効率的なアルゴリズムを提案し教師有学習時の特徴生成などに使える。すごい http://t.co/DedSoyLaJR — 岡野原 大輔 (
LED信号機 の「LED配置」は実はとても面白い幾何学だ | 雑学界の権威・平林純の考える科学
交差点にあるLED信号機をじっくり眺めてみると、ほとんどすべてのLED信号機で、LEDの配置が「規則正しい格子には沿っていない」ということに気づきます。海外ではどうかわかりませんが、少なくとも日本で見かけるLED信号機は、縦と横に一定間隔で規則正しく並べられているのではなく、中央から放射状に（けれど少し不規則に）並んでいることがわかります。そこで、今日は、LED信号機のLED配置のヒミツについて考えてみることにします。 緑・黄・赤といった「丸い信号灯」をLEDを並べて作ろうとするとき、ひとたび「綺麗に丸く見えること」にこだわってしまうと、「縦と横に一定間隔で規則正しく並べるわけにはいかない」ということに気づきます。 普通、信号灯は２００個くらいのLEDを並べて「一個の丸信号灯」を形作っています。２００個くらいのLEDを縦と横に一定間隔で規則正しく並べようとすると、およそ十数個×十数個という
数式をnumpyに落としこむコツ
Tokyo.SciPy #2 にて発表した、数式(あるいは数式入りのアルゴリズム)から実装に落とす場合、何に気をつけるのか、どう考えればいいのか、というお話。 対象は、どうやって数式をプログラムすればいいかよくわからない人、ちょっとややこしい数式になると四苦八苦してしまい、コードに落とすのにすごく時間がかかってしまう人、など。 ここでは実行速度についてはひとまずおいといて、簡潔で間違いにくい、ちゃんと動くコードを書くことを目標にしています。
計算のきまり - d.y.d.
00:41 11/08/04 計算のきまり ( )を使った式の計算には次のようなきまりがあります。 （□ ＋ ○） × △ ＝ □ × △ ＋ ○ × △ （□ － ○） × △ ＝ □ × △ － ○ × △ ... たし算とかけ算には、次のようなきまりがあります。 □ ＋ ○ ＝ ○ ＋ □ （□ ＋ ○） ＋ △ ＝ □ ＋ （○ ＋ △） □ × ○ ＝ ○ × □ （□ × ○） × △ ＝ □ × （○ × △） この考えを使って、くふうして暗算で計算しよう。 小学校算数 5学年 - Wikibooks 分配法則・交換法則・結合法則。 とても当たり前で、当たり前すぎて、ほとんどの人は、もう特に意識することもない法則かもしれません。 でも、プログラミングを知っている僕らは、立ち止まってこの法則の価値に触れることができる。 末尾再帰化 最近のコンパイラは、こんな最適化をします。 i
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
天泣記
2011-03-01 (Tue)#1Excel の罫線で木構造を描いてあるドキュメントを眺めて毒づきつつ、ふと 2次元空間に対する正規表現を思いついた。 正規表現での単一文字のマッチは、「現在の位置」にある文字があることを確認した後、現在位置を「右に」一文字ずらすという動作である。 そして、単一文字のマッチ以外に「現在の位置」をずらす機能はない。 とすると、そこを右だけじゃなくて上下左右にずらせるようにするだけで、2次元に拡張できるのではないか? そうするための拡張方法はとりあえずふたつ考えられる。 単一文字のマッチで位置をずらすのは変えず、ただしエンジン内でずらす方向を保持し、その方向を修正する指示をつくる。 たとえば、1次元正規表現の [:lit, "a"] と同じ意味が 2次元正規表現では [:cat, [:dir, :right], [:lit, "a"]] で表現できるようにする
劣微分を使った最適化手法を紹介しました - 射撃しつつ前転 改
新年明けましておめでとうございます、というのもはばかられるような時期になってしまいましたが、今年もこんな感じでのんびりとやっていきたいと思います。よろしくお願いします。 会社ブログの方で、劣微分を使った最適化手法として、FOBOSを紹介しました。線形識別器とは、というところから話を始めたら、実際の論文紹介にたどり着くまでに4回もかかってしまいましたが、何も知らないところからFOBOSでSVMが書けるというところまで、早足ですが一応一通り紹介したつもりなので、FOBOSに興味があるけどまだ論文読んでない、という人はぜひチェックしてもらえればと思います。使えるカーネルは線形カーネルか多項式カーネルぐらいに制限されてしまいますが、実用的なSVMが簡単に作れるというのは結構大きいですよ。ちなみに、FOBOSのところではSVMしか説明していませんが、第2回ではロジスティック回帰をSGDで最適化、とい
Rubyによる 超準解析 クラス(Kodama's tips page)
Kodama's home / tips. Rubyによる 超準解析 クラス.(HyperRael,MathExt) 超実数体とは,(大雑把に云えば) 実数体にライプニッツ的な無限小を添加して出来る体のことだ. 微分等, 通常の実数では limit を使う場面で, 超実数体内部の四則演算として直接求めることが出来る. 超準的な計算では, 無限小や∞の強さもわかるので 無限小/無限小, 無限小*∞, ∞/∞ 等の計算が矛盾無く解釈可能となる. ただし単なる体なので, 真の0(無限小でなく) については, 0*∞＝0 で, 0/0 や 1/0 は定義されない. この点は IEEE754 的な浮動小数点計算で 1.0/0.0 で Infinity を返すような気持の悪さは解消できる. Ruby で 超実数(HyperReal) の計算を実行する クラスを作成. 興味がある方は polynomia
PB memo(2006-05-23)
★ [Ruby][開発]確実に再現しないバグの修正確認 今日は午後から現実逃避のプログラミング。本当は人事評価とか事務的作業があるのですが、他人の評価は気が重い。 スレッド間の協調に関する障害等タイミングや他のプロセスとの通信や負荷によって発生したりしなかったりするバグの場合、修正してから動作確認の際に充分な試行回数を取って障害が収まったことを保証しなくてはいけません。 このようなバグによる障害発生が確率過程であると仮定すれば、障害の発生確率(p)が決まれば、ベイズ推定により n回の試行で障害再現しない時にバグが残っている確率(p_bug(n))の収束計算ができます。こんな感じかな。 p_bug(n) = (1 - p)*p_bug(n-1) / (1 - p*p_bug(n-1)) これで求める品質水準(ε)を定めて、 p_bug(n) < ε となる最小の n を求めればよいでしょう。
階乗を求める - d.y.d.
22:56 10/09/04 階乗を求める 去年聞いた中で、私が一番感動した式の話。 k! = limn→∞ nk / nCk kの階乗は、「nのk乗 ÷ n個のものからk個選ぶ組み合わせの数」という式で n を無限に大きくしていったときの収束先、である。 特に難しい証明が要るとかではなくて、nCk = n(n-1)(n-2)...(n-k+1) / k! であることを使うと、 limn→∞ nk / nCk = limn→∞ nk k! / n(n-1)(n-2)...(n-k+1) で、n が k に比べて十分大きければ n も n-k+1 もほとんど同じ値なので、 分子も分母もだいたい n を k 個かけているわけでして、 その部分が相殺して、k! が残るという寸法。 （厳密な表現ではないので、気になる人は厳密に証明してください。） 実装 と、この式自体はそんなに不思議ではないのです
双モノイドの簡単な例 -- 自然数の足し算と余足し算 - 檜山正幸のキマイラ飼育記 (はてなBlog)
[追記 date="翌日"]絵を入れて、間違いを修正し、少しだけ文言を変えました。[/追記] エフイチ関係で名前を出したことがあるコンヌ（Alain Connes）やマニン（Yuri Manin）が、最近は計算（computation）やアルゴリズムに興味を持っているようです。場の量子論とかファインマン・グラフなんかと一緒に、原始帰納関数とかルンゲクッタ法とかを話題にしている論文があります。なんだかサッパリ分かりませんわ。でも、道具立てに双代数やホップ代数を使うらしいことは読み取れます。 とりあえず双代数の簡単な例を作ってみようとしたのですが、自明ではなく*1線形代数や群論の知識なしで作れる双代数がなかなか見つかりません。集合圏ではなくて、ベキ集合モナドのクライスリ圏、つまり非決定性写像の圏なら小学校レベルの予備知識で双代数が作れます。自然数（0, 1, 2, ...）の足し算以外は何も使
行列と項書換 - d.y.d.
21:54 10/06/30 行列と項書換 "Termination of String Rewriting with Matrix Interpretations" という論文を読みました。 これは何かというとつまり、 ICFPコンテストの元ネタとして 紹介 されていた論文です。 れ い 年、 冗談９割で、主催者の専門分野にちなんだ問題が出るに違いない！と叫んでいるのですが、 本当に来るとは思わなかった…。 さて。項書き換え (term rewriting) と呼ばれる研究分野がありまして、 例えばこんな問題を調べています。 文字列に対して、「以下の操作のどれかを好きに選ぶ ＆ 実行する」を繰り返します。 abc という部分文字列を de に書き換える （abc ⇒ de と書きます） ef ⇒ g fgh ⇒ ij どんな文字列からスタートしても、最後には、どの規則も使えない状態 （つ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
atpages.jp - このウェブサイトは販売用です！ - atpages リソースおよび情報
New analysis reveals clearer picture of brain’s language areas
「賢者は訊きたがり、愚者は教えたがる」というのは本当ですか？ - なかなか深い言葉ですね。確かに、頭のいい人と悪い人では話し方... - Yahoo!知恵袋
DEA入門・泉恵女学園物語 2010-11-25 - らいおんの隠れ家
