TechCrunch | Startup and Technology NewsExpedia says Rathi Murthy and Sreenivas Rachamadugu, respectively its CTO and senior vice president of core services product & engineering, are no longer employed at the travel booking company. In…
犯罪が発生しやすい時間・季節・日を犯罪種別ごとにグラフ化するとこうなる
By Xava du 犯罪には「起こりやすい時間帯や季節」というものがあり、犯罪統計資料を分析することで、犯罪者の心理を推察し、犯罪の予防につながることが知られています。統計分析ツール「Statwing」を使ってアメリカ・シカゴ市の犯罪統計から浮かび上がってくる「犯罪の起こりやすい時間傾向」はこんな感じです。 Statwing https://www.statwing.com/open/datasets/1d1b775c005f4895a15377f8ec7636976d5fc426#workspaces/17881 Crime Over Time: Visualizing Crime Data in Chicago http://www.socrata.com/blog/crime-time-visualizing-crime-data-chicago/ ◆時間別パターン これは、シカゴ
真の失業率──２０１４年５月までのデータによる更新 - 備忘録
※CSVファイルに、移動平均前の各月分の真の失業率を追加しました。（06/28/14） ※2014年３月分のデータに誤りがあったため、グラフおよびCSVファイルの３月以降のデータを修正しました。（06/29/14） 完全失業率によって雇用情勢を判断する場合、不況時に就業意欲を喪失し労働市場から退出する者が発生することで、完全失業率が低下し、雇用情勢の悪化を過小評価することがある。この効果 （就業意欲喪失効果）を補正し、完全失業率とは異なる方法で推計した「真の失業率」を最新のデータを加えて更新した。 ５月の完全失業率（季節調整値）は３．５％と前月よりも０．１％低下し、真の失業率も４．３％と０．１ポイント低下した。真の失業率は概ね０．１ポイントずつ、順調に低下しており、完全失業率との乖離幅は０．８ポイントまで縮小している。 雇用は改善し、物価が上昇する中、『家計調査』による勤労者所得はそれほど
社会人なら知っておきたい無料の公的統計データ「e-Stat」と「統計メールニュース」 | 初代編集長ブログ―安田英久
今日は、マーケティングや企画に携わる社会人なら知っておきたい、というよりは、知らないと恥ずかしい、無料で利用できる公的統計データのポータルサイト「e-Stat」の情報と、新しい統計データが自動的に飛んでくる「統計メールニュース」の情報をお届けします。 すでに6月も下旬。新入社員の方も配属部署が決まってバリバリ働いていることだと思います。 マーケティングや企画の仕事をする人にとって、調査データというのは大切なもの。 ネット上で発表される「○○のサービスのユーザー数が○○万人」なんて調査データ、みんな好きですよね。Googleトレンドのような検索ボリュームの情報や、どのブラウザがどれぐらい使われているかといった調査データも人気です。 どれも無料で入手できるデータですが、実は税金でちゃんとした手法でつくられている、質の高い調査データというのが、あるのです。 それが、政府の出している統計データ。
固定電話の平日利用、10代はゼロ・20代でも1％未満の衝撃…電話、メール、ソーシャルメディア利用実態（不破雷蔵） - エキスパート - Yahoo!ニュース
平日の若年層での固定電話・超離れインターネットの普及、技術進歩と共に、コミュニケーションのかたちも変化をとげ、アナログからデジタルへ、そしてデジタル内でもより新しい手法へとシフトを続けている。総務省が2014年4月に発表した「情報通信メディアの利用時間と情報行動に関する調査」を基に、その実状を探っていくことにする。 次に示すのは平日におけるコミュニケーションメディアの平均行為率。要はどれだけの人が利用しているか(頻度や時間は問わない)。例えば10代のソーシャルメディアの値は43.5％とあるので、10代の4割強は平日に、ソーシャルメディアを使ってコミュニケーションをしていることになる。当然、これらのツール以外にもコミュニケーション手段は存在し、利用されている…例えば直接口頭、手紙、貼り紙など…ことにも留意する必要がある。 ↑ コミュニケーション系メディアの平均行為率(平日、2013年)全体で
顧客が次に買いたい商品を予言！ナイキも出資する注目のビッグデータ解析系スタートアップ「Reflektion」 | Techable(テッカブル)
近年ビッグデータという言葉がバズワードとなっているが、それにともないデータ解析系のスタートアップの活躍が目立っている。 その中でも今注目を集めているのが、インテルやナイキといった企業も投資をしている「Reflektion」である。複数のサービスを提供しているが、その中でもコアとなるのがEコマース向けのデータ解析サービス。 Eコマース向けのサービスの特徴は、とにかく集めたデータをもとに“消費者個人個人”に最適化した体験を提供できること。それまでの個々の購買履歴を元に徹底して最適化したサイトになるようにサポートするというものだ。 いくつかある機能の中でも注目したい機能は３つ。 1つ目は、顧客が次に買いたくなる商品を割り出し、レコメンドする機能。これは特にこのサービスに限った話ではないものの、リアルタイムにデータを解析し、最新のトレンドや商品の売れ具合を基に常に最適な商品をレコメンドする。 2つ
生きたことばをモデル化する統計科学の研究：研究室訪問：統計数理研究所
「いづれの御時にか、女御更衣あまたさぶらひける中にいとやむごとなき際にはあらぬが、すぐれてときめきたまふありけり」で始まる『源氏物語』。平安時代中期（11世紀）に成立した宮廷の恋愛物語は、世界最古の長編小説として有名だが、江戸時代の人々にすら極めて難解なことばの集合で、多くの注釈書が発刊されていた。 ことばは時代と共に変化し、それを正しく理解することは失われた意味を復元する作業にも似る。冒頭にかかげた源氏の一節も、教えてくれる人がいなければ、それぞれの単語がどこで切れるのかすら判然としない。 言語を確率論的にとらえ、計算式によって解析（処理）するなら現代語も古典も、未知の言語すらも容易に理解できるようになる――このように考えて「計算言語学」の旗をかかげる統計科学者がいる。 言語の差異構造を統計的に理解する 持橋の専門分野は、「統計的自然言語処理」と「統計的機械学習」。それは簡単に表現するな
効果量(effect size)のはなし - 渋谷駅前で働くデータサイエンティストのブログ
統計学的検定の話を始めたら自分の勉強の方が止まらなくなってしまったので（笑）、ついでにやってみようと思います。ちなみにこの記事は前回のやたらブクマを集めた記事の続きみたいなものです。 そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 六本木で働くデータサイエンティストのブログ 例えば有意ではないという結果になった時にそれが「実際に帰無仮説が真」なのか「単にサンプルサイズが小さくて検出力が足りないだけ」なのか判断せよという問題。前者なら果てしなくサンプルサイズを大きくしても有意にはならないし、後者なら今度は効果量(effect size)のことを考えなければいけません。 というように前回の記事では検出力(statistical power)と効果量(effect size)について触れたんですが、タイムリーに先日の第36回TokyoRでその辺の話をしてきたので*1、そ
エンジニアのためのデータ可視化実践入門という本を書いた - あんちべ！
2014/10/14 追記 本書87ページに「母数」という単語が複数回出てきますが、 これは全て「分母」とすべきでした。*1 通常、統計学の文脈では、母数は各確率分布を特徴付ける変数を指す単語であり、 例えば正規分布は平均と分散という二つの母数によって形状が決定されます。 決して母数と分母（あるいは全数）と誤解してはなりません。 しかし母数と分母を混同することは本当によくあることで、 本書はこのような頻出する誤解を訂正し、 皆様が統計を用いる際の失敗を一つでも減らす という目的で執筆に至ったにも拘らず、 まさか本書でこのような重大な失敗をしてしまったことに対し 心からお詫び申し上げ訂正させて頂きます。 なお、問題個所の記述は共著者の森藤氏ではなく 私が記述したものであり、全責任は私にあります。 本を書くに当たり、誤字脱字や言い回しの不備は出来る限り無くすべきですが、 人間であるためミスをす
なぜリスク分析のプロは仮説検定を使わないのか（ややマニア向け） - Take a Risk：林岳彦の研究メモ
お久しぶりです。林岳彦です。もうすぐ『愛なき世界』の日、いわゆる（マイブラッディ）バレンタインデーですね。何かと雑音が多いこの世界ですが、いつでも自分の足元を見つめて行きましょう。 さて。 今回は、以下の： そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 銀座で働くデータサイエンティストのブログ 統計学的検定に対するある拒絶反応: ニュースの社会科学的な裏側 A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT のあたりの皆様の良記事に触発されて「仮説検定」について何か書いてみようと思いました。で、書こうと思えば色々な側面から書ける気もするのですが、今回はちょっと斜めからのアプローチとして、「リスク分析の人の頭のなかで仮説検定はこんな感じに見えている」というところを書いていきたいと思います。 ここで、ひ
東京の大雪は、なぜ土日と祝日に多いのか？（増田雅昭） - エキスパート - Yahoo!ニュース
東京都心で積雪が27センチの大雪となった8日土曜日、周りでは「また休日の大雪か」という会話がかわされていました。 去年の大雪は、成人の日で祝日。また、今回、積雪が20センチを超えたのは94年2月12日以来でしたが、その日は土曜日でした。 東京の大雪は土日と祝日に集中東京都心の大雪注意報の基準は、降雪5センチです。結果的に5センチ以上積もった日を、90年代以降で調べてみました。 5センチ以上の積雪があったのは12回。そのうち10回が、土曜日・日曜日・祝日に降っています。 80年代は、そういった傾向は見られません。一方、2000年以降の5センチ以上は、すべて土日か祝日です。 気温が影響か可能性の一つとして考えられるのは、気温です。都市部では、人が多く活動する平日は、気温が上がりやすくなります。 気象庁気象研究所の解析によると、東京都心では、土日・祝日の気温が、平日に比べて、0.2℃ほど低く、特
職業別の生涯未婚率
生涯未婚率という指標をご存知でしょうか。読んで字のごとく，生涯，未婚の状態にとどまる者がどれほどいるかです。 これは，全人口の人生を死ぬまで追跡して出すような，込みいったものではありません。生涯未婚率としては，50歳時点の未婚率が用いられます。この年齢以降は，結婚する者はほとんどいないであろう，という仮定に立つわけです。 なお，多くの官庁資料の年齢統計は5歳刻みのものですが，5歳刻みの統計から生涯未婚率を出す場合，40代後半と50代前半の未婚率を平均するという便法がとられます。 私は，この方式に依拠して，男女の生涯未婚率を職業別に計算してみました。こういうデータは見かけないので，興味を持った次第です。正規・非正規の影響を除くため，正規職員男女の率を出すこととします。資料は，2012年の総務省『就業構造基本調査』です。 http://www.stat.go.jp/data/shugyou/2
Mozilla Re-Mix: Thunderbirdのヘッダ部にメッセージスレッドをグラフィック表示できるアドオン「ThreadVis」
Thunderbirdにはメッセージをスレッド表示させる機能が備わっています。 この機能を使うことでメッセージのやりとりを把握しやすくなるわけですが、このような表示はスレッドビュー内でチェックできるだけで、個別メッセージ単位では繋がりがちょっとわかりにくいですね。 あるメッセージをい開いた際、スレッドビューを見ること無く送受信の流れがわかるようになればさらに便利になるのではないでしょうか。 Thunderbirdにそんな機能を与えてくれるアドオンが「ThreadVis」です。 「ThreadVis」は、Thunderbirdでメッセージを開いた際、ヘッダ部にそのメッセージに関連するスレッドをグラフィック表示し、時間軸に沿ってどのようなやりとりがあったのかを簡単に把握することができるようになるというものです。 アドオンをインストールすると最初にウィザードが開くようになっていますので、まずはこ
ストレスが最も高い職業と最も低い職業ランキング2014年版 - WSJ
This copy is for your personal, non-commercial use only. Distribution and use of this material are governed by our Subscriber Agreement and by copyright law. For non-personal use or to order multiple copies, please contact Dow Jones Reprints at 1-800-843-0008 or visit www.djreprints.com. http://jp.wsj.com/article/SB10001424052702304387404579307451353828272.html
文部科学省における大学等卒業者の「就職率」の取扱いについて - 寝ても覚めても学校のこと。〜学校経営の経営課題(人事・財務・募集・施設などなど)について考えるブログ〜
本日は文科省からの通知を採り上げます。 対象は大学等ですが、他の方にとっても重要性は決して低くないのではないでしょうか。 文部科学省における大学等卒業者の「就職率」の取扱いについて（通知） これまで「就職率」という言葉の定義が明確ではなかった、とのこと。 実は以前、ある学校法人さんから「学校法人には景表法の適用はないのか」との質問を受け、その際にいろいろ調べたところ、このような記事を見つけました。 http://www.caa.go.jp/representation/pdf/110629premiums_1.pdf （資料の表題に学校法人のお名前が入っていますので、資料の所在だけ示させていただきます） この事件などはまさに就職率という言葉の定義を自らが有利になるように解釈し計算していたもの。 一般の受験生や保護者の皆さんはその定義まできちんと確認する例は少ないと思いますから、今回の文科省
日本の人口、７年連続減 １３年の自然減は過去最多更新 （朝日新聞デジタル） - Yahoo!ニュース
国内で２０１３年に亡くなった日本人の数から生まれた数を差し引いた人口の自然減は２４万４千人と推計され、過去最多を更新した。厚生労働省が３１日、人口動態統計の年間推計を公表した。人口減少は０７年から７年連続で、ペースは年々加速している。 １３年の出生数は１０３万１千人で、前年より約６千人少ない。子どもを産むことができる年齢の女性が減っているため。一方、死亡数は高齢化の影響で約１万９千人増え、１２７万５千人の見込みだ。 統計をとり始めた１８９９年以降（資料がない１９４４〜４６年を除く）で、出生数は最少。一方、死亡数は戦後では最多だ。 日本の人口は２００５年に初めて死亡数が出生数を上回る自然減に転じた。０６年にいったん増えたが、０７年からは減少が続く。 女性１人が生涯に産む子どもの数を表す「合計特殊出生率」は１３年も、前年の１・４１と同程度の水準になる見込み。厚労省は「人口が減る傾向は相
真の失業率──２０１３年１１月までのデータによる更新 - 備忘録
完全失業率によって雇用情勢を判断する場合、不況時に就業意欲を喪失し労働市場から退出する者が発生することで、完全失業率が低下し、雇用情勢の悪化を過 小評価することがある。この効果（就業意欲喪失効果）を補正し、完全失業率とは異なる方法で推計した「真の失業率」を最新のデータを加えて更新した。 完全失業率（季節調整値）は４．０％と前月と同水準であるが、真の失業率は前月に引き続き順調に低下し、４．６％（前月差０．２ポイントの低下）となった。この結果、完全失業率 （公表値）と真の失業率との乖離幅は０．６ポイントまで縮小した。 雇用の「質」の問題は残るものの、引き続き、雇用の「量」の改善は進んでいる。雇用・名目賃金はともに改善しているが、エネルギー等の要因に加え内需要因も加わった物価上昇の勢いには追いつかず、実質賃金は低下が続いている。 名目賃金の動向は来年の春闘の結果によって左右されるが、これが期待通
面白いデータは転がりまくってるけど転がってるままなので誰か助けてくれろ - あんちべ！
転職して丁度2年がたちました。 現在はWebベンチャーで統計屋しています。大変楽しい毎日です。 なぜ楽しいかというと勿論リスプを書いているからというのも大きなる理由の一つです*1。 このエントリでは何が楽しいのか近況交えてつらつらまとまりなく書いてます。 あと現職の解決しがたい不満についても書いています。 糞長くなってしまったので要約すると 「今糞面白いけど超えられない壁あるので誰か助けて」 です。 現職面白い理由5個。 1．データが面白い*2 私は経済学科・数理統計の研究室出身で、応用先としてコミュニケーション活性化を目的とした 行動経済学やテキストマイニングをやっていました。 そういう背景があるため、学生時代いつか壮大な社会実験をやりたいと思ってたけど、 それには大変なお金がかかったり大がかりなシステムを構築しないといけなかったりで断念した。 ですが今はSNSやソーシャルゲームや広告の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計を始める方へ①_データ環境Rの基本的なプログラミング｜データアーティスト
日本の国富が減少したわけ
