Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
コンピュータが視る高円寺: 高円寺に似てる街は？ - 高円寺を愛するひとへ、ビビッと通電！高円寺のWEBマガジン【Concent】
Warning: Declaration of HSM_PageTitle::load($meta) should be compatible with HSM_Module::load($meta = '') in /home/users/2/concent--e/web/concent_root/wp-content/plugins/headspace2/modules/page/page_title.php on line 62 Warning: Declaration of HSM_Description::load($meta) should be compatible with HSM_Module::load($meta = '') in /home/users/2/concent--e/web/concent_root/wp-content/plugins/headspac
NTT HOME > NTT持株会社ニュースリリース > 世界最速のグラフデータ分析処理技術を開発
（報道発表資料） 2013年2月13日 世界最速のグラフデータ分析処理技術を開発 ～日本の人口規模のソーシャルグラフを3分で分析可能に～ 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下 NTT）は、ビッグデータ分析の新たな潮流であるグラフデータ分析処理※1において、従来技術を数十倍以上高速化する世界最高速の分析技術を開発しました。 本技術によりこれまで膨大な時間を必要とした日本の人口規模のソーシャルグラフ※2をわずか3分で分析可能となります。また、世界最大規模の10億ノードのグラフデータを1時間で分析する事も可能となります。これは友人関係を表すソーシャルグラフ・実世界における様々なグラフデータから、最新データを即座に反映したコミュニケーション支援やリコメンドサービスを提供できることを示しています。今後、本技術の適用領域の拡大を通して医療・公共・社会科学分野へ利用
エデンの園でおきたこと - steps to phantasien
有給を駆使し一足早くクリスマス休暇に突入、ヒャッホイ Ingress やるぜーと 意気込んでいた矢先ノロウイルスにやられダウンした。かなしい。鎮まれ俺の胃袋・・・ そんな腹痛日和の気晴らしとして今日は Garbage Collection Advent Calendar に参加してみることにしました。 Advent Calendar 初体験につきよくわかってないけど勝手に参加していいんですよね？ GC というとジェネレーショナルだのパラレルコンカレントだのといった話が目立ちがちだけれど、 現実の問題というかブラウザを相手にするとそれ以外の細々とした面倒が目につく。 GC つき言語 (JavaScript) のコードと C++ で書かれたコードとの連携は最たる面倒の１つ。 たとえば WebKit の DOM は C++ で実装されており、 C++ のオブジェクトは JavaScript 処理
2012年のSEOに影響を与えたGoogleの変化を総括 - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
2012年も残すところ、後一か月を切りました。今年はGoogleがかつてない規模で数々のアルゴリズム更新を行い、SEO業界も激動の日々でした。ということでサーチエンジンランドからそんな2012年のSEOをいち早く総括した記事を。 — SEO Japan 評判 & 信頼 今年よく目にした、または耳にしたことが多いワードが、評判と信頼であった。と言っても、SEO業者の評判管理サービスではなく、ウェブサイトのコンテンツ、デザイン、そして、外部リンクにおける信頼である。 設立以来、グーグルおよびその他の検索エンジンは、詐欺的な策略を批判し、一貫した質の高さを推奨してきた。しかし、ここ1年間で、グーグルは今まで以上に効率よく、尚且つ広範囲に渡って、劣悪な行動を取り締まることが出来るようになった。ついに本腰を入れたのだ。 声を上げるようになったグーグル 過去、グーグルは、ウェブマスターツールでブラック
世界で闘うプログラミング力を鍛える150問 〜トップIT企業のプログラマになるための本〜 - iwiwiの日記
先行発売のお知らせ (11/7 追記) 以下の店舗で先行発売が行われているらしいです． 紀伊國屋書店 新宿本店 (https://twitter.com/KinoShinjuku/status/265658160222724096) 紀伊國屋書店 新宿南店 (https://twitter.com/kino_Minami/status/265405470548844546) ジュンク堂書店 池袋本店 (https://twitter.com/junkudo_ike_pc/status/265677297430978562) 有隣堂 ヨドバシAKIBA店 (https://twitter.com/yurindo_akb/status/265648944745426945) 丸善 丸ノ内店 なお，電子書籍版の発売も予定しているそうですが，調整中とのことで少し後になりそうです． 原著は既に第5版
Googleが取得した新しい特許は想定外の順位を見せてスパムを判定する
[対象: 上級] スパムを検出するための仕組みに関する新しい特許をGoogleが取得しました。 スパムらしい行為が発見できたものの確信が持てないときに想定外の順位変動をまず見せることで反応を伺い、本当にスパムかどうかの判定に利用するものです。 SEO by the SeaのBill Slawski（ビル・スロースキ）氏がこの新しい特許について解説しています。 僕なりに要点を絞って解説します。 3つのタイプの検索順位 特許では3つのタイプの検索順位を定義しています。 old rank（オールド ランク） target rank（ターゲット ランク） transition rank（トランジション ランク） “old rank”はページの元の検索順位です。 “target rank”は、そのページにランキングを不正に上げようとして加えられたスパムらしき変更、でもスパムとは確定できない変更が加え
『世界でもっとも強力な9のアルゴリズム』で頭を鍛える - HONZ
著者の定義によると、アルゴリズムとは「問題を解決するために必要な手順を正確に規定したレシピ」である。コンピュータ・サイエンスを専門とする大学教授の手による本書は、現在当たり前のように使われている偉大なコンピュータ・アルゴリズムがなぜ必要とされたのか、どのように考え出されたか、そして、それが実際にどのような仕組みで動いているのかを教えてくれる。 このように紹介すると、コンピュータやプログラミングが苦手な人は手が遠のいてしまうかもしれないが、どうかご安心を。本書を楽しむのに、コンピュータプログラミングやコンピュータ科学の知識は必要ない。必要なのはじっくりと考えることだけだ。 一口にサイエンス本といっても面白いポイントはそれぞれに異なるが、本書の面白みは間違いなく、過去の偉人たちの難問への挑戦を疑似体験できるところにある。その面白みを満喫するためにも、頭から煙を出しながらじっくりと考えながら読む
世界一難しい数独、Alloyで解いてみたよ(RocketNews24から) - dec9ue's diary
RocketNews24さんで 本当に解ける人いるの？ フィンランド人数学者が作った “世界一難しい数独” が発表されるという記事があったんで以前のAlloyの記事で使ったモデルを流用して解いてみた。 about alloy Alloy is a language for describing structures and a tool for exploring them. It has been used in a wide range of applications from finding holes in security mechanisms to designing telephone switching networks. 結論：実は自分は数独のルールをわかっていなかった。前回より工夫したところ： 数字をOne,Twoといったような表記ではなく、C01とか数字が入った表現に
木メモ - Negative/Positive Thinking
はじめに 立派な庭師になるために、木についてちょっと調べてみたので、まとめておく。 木(構造)とは 閉路を含まない無向グラフを「森」という 連結な森を「木」という 与えられた頂点が全てつながっていて、閉路を含んでいない 閉路を含まない有向グラフは「DAG(Directed acyclic graph)」という ある頂点を根(Root)としてもつ木を「根付き木」という 2点v,wが辺を持ち、vの方が根に近い場合、vを「親」、wを「子」という 2点v,wについて、根とvとの経路にwが存在する場合、wはvの「先祖」、vはwの「子孫」という 子を持たない頂点を「葉」という 根から各点への経路の長さ(1辺を1とする)を「高さ」という 各点の子の数が常にn子の木を「n分木」という 連結グラフGについて、閉路ができなくなるまで辺を除去し続けると、残ったものは「全域木」となる 根付き木を探索などに用いるこ
プログラミングコンテストでの乱択アルゴリズム
2013/1/9に統数研チャンネルにて、ウェーブレット木の解説をしました。岩波書店より出版されました「高速文字列解析の世界」の解説になっています。
アルゴリズムを学ぼう
関連サイト出版社による関連ページが公開されています。 アルゴリズムを学ぼう (KADOKAWA/アスキー・メディアワークス) 関連書籍本書の続編『続・アルゴリズムを学ぼう』も好評発売中です。 内容紹介本書のテーマは、ガチのアルゴリズムとデータ構造、そして計算量です。 いや、確かに本書は女の子がいろいろでてきたり、小話が入っていたりと、ゆるふわなオーラが漂っています。しかし、あえていいましょう。それは、見かけだけである、と。 プログラミングを学ぶにあたって、アルゴリズムとデータ構造は、どの言語を用いるにしてもすべての基礎であり、避けて通ることはできない道です。アルゴリズムとデータ構造を知らずにプログラムを書くことは、無免許で車を運転するぐらいに危険な行為です。 しかし、アルゴリズムとデータ構造をきちんと理解せずに、プログラムを書いているプログラマーが多数いるのも事実です。それは、アルゴリズム
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
プログラマが解くのに1時間かかる問題を機械学習に放り込む話 | ぱろすけのメモ帳
プログラマが解くのに1時間かかる問題を機械学習に放り込む話 By ぱろすけ on 4月 11th, 2012 皆様、 Twitter やら facebook で数カ月前に爆発的に拡散された以下の問題をご存知でしょうか。 ご存知の方が多いでしょうね。単に、イコールの左側の4つの数字の丸の数の合計がイコールの右側に等しい、それだけですね。とても簡単な問題です。ちなみに僕は解けませんでした。 これについて、昨日このようなエントリが投稿され、話題になっています。 プログラマが解くのに1時間かかるという問題が普通にプログラマな方法で5分で解ける話 http://d.hatena.ne.jp/nowokay/20120410 こりゃあ炎上するでしょうねえ。だって、プログラマも何も関係なく、ふつうに問題を解いているのですから。 先ほどのエントリでは、イコールの左側の数値は変数であり、それを足しあわ
モバイルゲームの歴史を年代別にご紹介します。モバイルゲームの成長と今後について詳しく解説していきます。
モバイルゲーム 物凄い勢いで勃興したモバイルゲーム業界は、いろいろな課題や問題に直面しながらも巨大化し、今日の時点でのスマートフォン向けゲームの市場へと継承されていきます。 モバイルゲームの歴史 2001 Javaアプリと3Dゲームの登場 Javaが利用できるようになったことにより、ダウンロード型のゲームが供給できるようになりました。 2002 携帯電話端末の大容量化・3D化競争 Java搭載携帯電話端末が登場してからごく僅か1年の間に、アプリのサイズに関しては10倍に広大化し、表現方法も2Dから3Dにシフトし始めました。J-PHONEは『ゼビウス』や『スペースハリアー』などといった昔のアーケードゲームを、ドコモはSIMCITYなどパソコンで世界的規模のヒットを飛ばしたゲームを主力商品としていました。 2003 モバイルゲームの一般化 メモリの制限が厳しいJava仮想マシン上ではなく、OS
物理モデルのガンダムを遺伝的アルゴリズムで歩かせたムービーがすごい
3Dと物理エンジンを使っていろいろな実験を行っているむにむにさんが、「ガンダムを遺伝的アルゴリズムで歩かせた」というムービーをニコニコ動画とYouTubeにアップしています。そもそも遺伝的アルゴリズムというのが何かわからなくても、それを説明してくれるムービーも用意されているので、いったいどれだけすごいことを試行錯誤しているのかがわかるようになっています。 YouTubeでのアカウントは「3D Creature Physics(99munimuni)」という名前になっています。 ガンダムを遺伝的アルゴリズムで歩かせた。walked the Gundam By genetic algorithm - YouTube すでに物理エンジンでガンダムを歩行させることに成功したむにむにさんが挑戦したのが、遺伝的アルゴリズムで歩行を改善していくということ。 このザクっぽい単純モデルだとたくさんのモデルを
PhotoShopで最適な画像保存をする為に。ニアレストネイバー法やバイキュービック法でのリサイズやJPEG圧縮などを検証したよ。 / Maka-Veli .com
どうも。某サイトのクオリティにがっかりしてる松本です。 これからは自分らしく普段通り書いていこうと思いますので宜しくお願い致します。 さて、今回はPhotoShopの画質変換・圧縮についてです。 ニアレストネイバー法、バイリニア法、バイキュービック法でのリサイズと、保存時の圧縮率パーセンテージ別、更に写真の特徴なんかとを比較すると何か新しい発見があるかなぁとふと思いましたので検証してみます。そもそも、それ何？という方も、簡単な説目を書いておきますので合わせてご覧ください。 それと「プログレッシブ、プロファイル、カラーマネージメント」なんかが複合的に絡むとややこしいので割愛。 一番シンプルなアルゴリズムなんじゃないでしょうか？ 変更前の座標と、変更後の座標を、ピクセル単位で計算し移動させ、そのピクセルに対して変更前の色を割り当てる。 ドットをそのまま拡大、縮小する ような感覚で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Site Under Maintenance
システム・エンジニアの基礎知識
https://jp.techcrunch.com/2012/01/20/20120118improvement-on-age-old-mathematical-principle-could-yield-improved-images-video/
