Understanding Linux CPU stats | Scout APM Blog
Updated version of an article first published on February 24th, 2015. Your Linux server is running slow, so you follow standard procedure and run top. You see the CPU metrics: But what do all of those 2-letter abbreviations mean? The 3 CPU states Let's take a step back. There are 3 general states your CPU can be in: Idle, which means it has nothing to do. Running a user space program, like a comma
当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 - ハウテレビジョンブログ
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間
第1回 推薦システムが求められる背景 | gihyo.jp
はじめに 今回から全11回の予定で、情報推薦システムの入門という題目で連載させていただくことになりました。連載は株式会社Gunosyの福島、関、吉田が連載ごとに担当します。よろしくお願いします。 近年、ビッグデータやデータサイエンティストといった言葉が巷を賑わせています。筆者自身は、これらの言葉はバズワードであり、盛り上がり過ぎていると冷静に見ています。一方で、Gunosyというサービスを提供する側としては、以下の2点について非常に重要な課題であると思っています。 データの分析結果を中心にした意思決定をどうやって組織に組み込んでいくか 大量で非構造なデータの解析結果をどうやってユーザの満足度の向上に反映させるか そしてデータ解析の有力な応用先といった文脈で、情報推薦システムへの注目が大きくなっていると筆者は感じています（それが少々過大にも思えるほど）。 本連載では、情報推薦システムとは
Web解析Hacks
オンラインビジネスを成功に導くには、「誰が、いつ、どこに、なぜ」サイトに来たのかを管理者が理解できるようにWebサイトを構築し、計測・解析ソフトウェアを取り入れることが重要です。 本書は、サイト訪問者が残していく情報、データの意味、データの使い方などを明らかにする計測・解析ツールを十分に使いこなすためのガイドブックです。Web解析の基礎、実装とセットアップなど入門的なHackから、オンラインマーケティングやWebサイトユーザビリティの計測、オンラインショップの分析、Web計測アプリの自作まで、Web解析全般を100のHackで解説します。企業サイト、ポータルサイなどすべてのサイトオーナー、またWebディレクター、インターネット広告関係者必携の一冊です。 序文 クレジット はじめに 1章 Web計測の基礎 1. Web計測を語る 2. Web計測のベストプラクティス 3. 適切なベンダを選ぶ
ハンバーガー統計学にようこそ！
｜向後研究室ホームへ｜次へ→ ハンバーガーショップで学ぶ 楽しい統計学 ──平均から分散分析まで── Web独習教材「ハンバーガーショップで学ぶ楽しい統計学《にようこそ！ この教材は、実際に大学の授業で使用したものです。それを一般公開しますので、どうぞお役立てください。 下のメニューに従って１章から７章まで順番に学習していくと、平均から分散分析までを習得することができます。大学の卒業論文レベルで使う統計学として、きっと役立つことでしょう。なお、相関（相関から因子分析まで）については、姉妹編の「アイスクリーム屋さんで学ぶ楽しい統計学《が公開されています。 さあ、がんばって進めていきましょう。 教材メニュー
統計解析 & R言語超初心者入門資料まとめ
興味を持ち続けていた統計解析や、R言語の勉強をはじめました！ まだまだ初歩の初歩ですが、この記事がいつか偉大な一歩になれるように頑張っていく所存ですw まずは、R言語や統計解析に関する入門記事や、モチベーションがアップしそうな記事をまとめていきます！ (02/23 11:00) 初学者の人にお勧めな資料にフォーカスしてまとめ直し 🍮 [スライド] 統計学入門 統計学の全体像をつかむのに最適なスライドです。初歩…とはちょっと呼べないくらい内容が深いです！ 🏈 [スライド] 初めての「R」 統計解析を始めるときにWindowsな方も、Macな方もとっつきやすのが『R』です。このRを完全初心者をターゲットに説明をしていただけている資料です。超わかりやすいです！ 🍄 [デスクトップアプリケーション] R用のIDE: RStudioRStudio RStudioはR言語用のIDEです。Wind
データビジュアライゼーション・ツール20選 – lab.sugimototatsuo.com
この記事はThe top 20 data visualisation toolsの原著者許諾済みの日本語訳です。 By Brian Suda on September 17, 2012 Translated by Tatsuo Sugimoto 2014年4月28日更新：オリジナル記事が以前のサイトから移転したため発生していた画像の非表示に対応しました。 わたしがもっともよくきかれる質問のひとつが、データビジュアライゼーションを始める方法についてです。このブログの先へ進むには、練習し、さらに実践し、利用できるツールを理解する必要があります。この記事では、シンプルなチャートから複雑なグラフ、地図、インフォグラフィックスまで、ビジュアライゼーションを作成するための20種類のツールを紹介しようとおもいます。ほとんどのツールは無料で利用でき、そのうちいくつかはすでにインストール済みかもしれません。
はてなブログのアクセス数上位のブログをランキングにしてみた - はてブのまとめ
はじめに はてなブログはサブドメイン制なのでアクセス上位のブログがAlexaを使うとわかるそうです。 はてなブログの人気度とpvについて - 情報の海の漂流者 そこではてなブログにどんなブログがあるのか以前から興味があったので、アクセス数上位のブログを調べてみることにしました。 アメーバとかにあるブログランキングってはてなにはないですしね。 ドメインごとに紹介する数が違うのは明らかにhatenablog.comのドメインがアクセス数で頭一つ飛び抜けてると感じたためです。 これはおそらく最初に自分のブログのURLを決める時にhatenablog.comが一番上にあるからだと思います。 事実このブログのURLはhatenablog.comでは既に使われてたのでhatenablog.jpにしました。 総合ではなく月間の順位なので、勢いランキングと捉えていただいても結構かと。 知ってるブログであれ
"相関"の話＆そのついでに"21世紀の相関（MIC）"の話（ややマニア向け） - Take a Risk：林岳彦の研究メモ
どもです。林岳彦です。息子の3DSにバーチャルコンソールの「ソロモンの鍵」を密かに入れました（まだ３面）。 さて。 前回の記事： 因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ につきましては沢山ブクマ等をいただき大変ありがとうございました*1。大変感謝しております。 さて。上記記事について、ublftboさんから「相関関係の定義が書かれていないのでは」（相関と因果 - Interdisciplinary）とのご指摘をいただいたきました。 ご指摘は確かにごもっともですので、今回は「相関」概念についてと、そのついでに近年に開発された"21世紀の相関（MIC）"の話について私なりに書いてみたいと思います。 （以下、ややマニア向けの話になるかもしれません。あと前回ほどではないですが、それなりに長いです。）
因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ
どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には
ソシャゲへの反感はワインの方程式が生んだ反感と同じ ?ゲームと心理学（2） | 新清士の「デジタルと人が夢見る力」 - コミニー[Cominy] / ブログ
プロフィール 新清士 ジャーナリスト。立命館大学映像学部非常勤講師。1970年生まれ。慶應義塾大学商学部及び環境情報学部卒。著書に、『ゲーム産業の興亡』（アゴラブックス）。 2008年に、プリンストン大学の経済学者オーリー・アッシェンフェルターが発表した論文「ボルドーワインの質と価格を予想する（Predicting the Quality and Prices of Bordeaux Wines）」という論文は、ビンテージワインの専門家に対して、とどめを刺すとでもいえるような論文だ。 ビンテージワインは同じブドウ園で生産されたワインであっても、年によって出来不出来があるために、値段が変化する。品質によっては、10倍以上の差が生まれることがある。世界中にはワインコレクターがおり、将来にワインが成熟して評価が高まることで、値段が高くなることを見越して投機の対象として購入している人々もいる。 実
ビッグデータの価格破壊？ Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始 - ITジャーナリスト星暁雄の"情報論"ノート
情報と技術は未来をどう変えるのか──IT、スマートデバイス、ロボット、電子工作、メディアのアーキテクチャ Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。 ポスト1 BigQueryが一般公開されました！数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹を支える虎の子技術です。 Google BigQuery brings Big Data analytics to all businesses - Google Developers Blog ポスト2 BigQueryプチ解説：BigQueryはGoogle社内では「Dremel」と呼ばれる超並列クエリインフラを利用した一般向けサービスです。DremelはSybase IQやOracle Exadataと同様のColumar DB
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analysis ～おとうさんの解析日記～
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =
Rが使えるフリをするための14の知識
米国FDAで公認され、ハーバード大学やイェール大学の授業で利用されるようになり、世間での認知度が着実に上昇している統計用プログラミング環境のRだが、ユーザーなのか、ユーザーになりたいのか、ユーザーとして振舞いたいのか分からない人が増えてきた。 スノッブなユーザーとして振舞う場合は、Rの特性を語れる必要があるので、ユーザーになるよりもRへの知識や理解が必要で、実は難易度が高い行動である。それでもあえて意識の高いRユーザーとして振舞いたい人々のために、最低限求められる事のチェック・リストを用意してみた。 1. 参考文献や参考ページを押さえておく 一番大事な事だが、参考文献や参考ページを押さえておこう。公式サイトで配布されている、「R 入門」「R 言語定義」「R のデータ取り込み/出力」は持っておくべきだ。R-TipsやRjpWikiも参考になる。 2. 演算子や制御構文をマスターする 四則演算
ベイズ推定を知っているフリをするための知識
最近はベイジアンが増えてきて、実用分野での利用も進んでいるようだ。話題としては知っておきたいが、世間一般には理解に混乱を生んでいるようだ。 ベイズ推定は入門レベルの統計学の教科書ではオマケ的な扱いがされており、実際に伝統的な統計手法を拡張している面が強い。そういう意味では、誤解や混乱があっても仕方が無い。 利用する必要があるのか無いのか良く分からない点も多いのだが、知らないと告白するのも気恥ずかしいかも知れない。自分ではベイズ推定で分析を行わない人が、ベイズ信者と話をあわせるために最低限知っておくべき事をまとめてみた。 1. ベイズ推定とは何か？ ベイズ推定とは、ベイズの定理を応用した推定手法だ。端的に理解するためには、最尤法に事前確率を導入している事だけ覚えれば良い。これで哲学的議論を全て回避してベイズ推定を把握することができる。 下の(1)式ではπ（θ）が事前確率、π(θ|x)が事後確
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
数式をなるべく使わないベイズ推定入門