新著が出ます：『SQL実践入門』 - ミックのブログ
4月中旬ころになりますが、新著が出ます。SQLのパフォーマンスを主題にした本で、実行計画を読むことで、なぜこのSQLは遅いのか、あるいは速いのかをデータベースの内部動作まで把握して理解しよう、という趣旨です。 リレーショナルデータベースというのは、SQLという自然言語を模したインタフェースによって、低次のレイヤーを隠蔽する意図で作られたミドルウェアなので、本当は実行計画などという手続レベルの世界をユーザが覗き見るのは、本末転倒なところもあります。ただそうはいっても、現実にSQLが遅かったら原因を解析せざるをえないわけだし、大体本当にブラックボックスにしたいなら、なんでどのDBMSも実行計画を見られる手段なんか用意してるんでしょうね不思議ですね、という理想と現実の狭間で悩むエンジニアの方々に少しでもベターな解に辿りつけるアプローチを提示できれば、と考えております。 以下まえがきと章立てです。
データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
クックパッドのデータを研究者に公開します - クックパッド開発者ブログ
こんにちは。検索・編成部の原島です。 大学の研究者にお会いすると、「クックパッドのデータを研究に使用したいんですが...」と相談されることがあります。料理に関する研究をしているけれど、実際のデータがないため、なかなか研究が進まないという相談です。 料理に関する研究が進まないのは、クックパッドにとっても残念なことです。これらの研究は、クックパッドのサービスを改善するための「芽」でもあります。データがないだけで芽が育たないのは、非常に悲しい話です。 このような現状を打破するため、本日から、クックパッドのデータを研究者に公開します。このエントリでは、我々が準備してきたデータ公開の仕様について QA 形式で解説します。 誰が利用できるの？ 申請していただいた研究者です。ただし、公的機関（e.g. 大学、独立行政法人）の研究者に限ります。申請時には、クックパッドと国立情報学研究所（後述）による審査が
マクドナルドの月次売上・客数・客単価を10年分まとめてみた
※ 全て2004年の月次を100とする ※ 既存店の定義は「少なくとも13ヶ月以上開店している店舗」 全店売上高1月2月3月4月5月6月7月8月9月10月11月12月2004年100.0100.0100.0100.0100.0100.0100.0100.0100.0100.0100.0100.02005年112.497.5111.4103.696.3100.1104.1101.099.1104.4108.9108.62006年111.4102.5114.7109.9106.9113.6114.9113.2112.9109.2115.2112.72007年122.6116.8126.4129.4119.6130.7125.0128.5128.6115.4127.9126.32008年126.7123.8134.4129.9124.2137.7126.4134.8130.2124.2148.4
東京都立大学（旧首都大学東京） 社会学教室 |【ご案内】本学社会学教室の大学院入学を志望する皆さまへ
東京都立大学大学院 人文科学研究科 社会行動学専攻 社会学分野 社会学教室 博士前期課程の受験をお考えの皆様へ：近年の大学院入試の動向をふまえて 2014年11月20日 所属教員一同作成 本教室の博士前期課程入学試験は、外国語、基礎知識、論文、口頭試問から成 りますが、近年、受験生の皆様のあいだに基礎知識の準備不足が目立つようにな ってきています。過去の出題は公開されていますし、それを一読すれば明らかな ように難問・奇問のたぐいは一切ありません。にもかかわらず十分に得点できな いことの背景には、学部で社会学を専攻しておらず、社会学修士号を目指す前段 階において必要な指導を受けていない方が増加しているからであると推察されます。 各々尊重すべき課題意識や将来展望を抱き、専攻を変えてまで本教室を志望す る方々を、所属教員一同はこれまで歓迎してきましたし、今後も変わらず歓迎し ます。そうした方々が
博士号を取った後、なにをするの？ - アレ待チろまねすく
2014-04-21 博士号を取った後、なにをするの？ かがく 曰く、米国生物系博士課程の院生のうち将来テニュアトラックに乗るのは8%未満 / “Where Will a Biology PhD Take You?” http://t.co/29GYs1sFOW— オガジ (@pago_j) April 20, 2014 Where Will a Biology PhD Take You? アメリカで博士を取得した人の進路状況を図にした記事が話題になっている。 博士号を取るのに平均7年かかり、その過程で37%がドロップアウトする。実に厳しい。「日本の博士なんてコピペ論文で取れるんでしょ（笑）」と思われる人もいるだろうが、現実はそんなに甘くない。オーバードクター（博士課程での留年）は自分の周りを見ても結構いる。彼らの能力が足りないわけでは決してない。ただ、博士論文は世界で初めてのデータを元
ブログを書く時間はどれくらい？アンケート調査結果は「3 時間以上」が多数 - Naifix
ブログを 1 記事仕上げるのにどれくらいの時間がかかっていますか？ 2014 年に調査したときは「平均 30 分」という結果でした。しかし、これは「ブログを書く」という定義があいまいだったのと、現在とは違って SNS 感覚で使う人が多かったからだと思います（書きたいことを 500 文字程度でさらっと書く）。 検索や SNS からの集客をより意識しなければならない現在は、どのくらい時間がかかっているのでしょうか。当サイト独自のアンケート結果と他サイトのアンケート結果をご覧ください。 72 ％ の方が 3 時間以上かけている 「ネタ探し・キーワード選定・調査・検証・画像編集などすべて含めて、ブログ 1 記事あたりどのくらいの時間がかかるか」という形でアンケートを行いました。 その結果、「3 時間以上」が圧倒的多数となっています。 30 分以下
DNS問い合わせの可視化 | ある研究者の手記
DNS問い合わせの可視化 最近、データをまとめたり可視化したりしてその性質を調べる探索的データ分析(例)にはまっています。と、同時にネットワーク分析にもちょっと手を出しており、その2つの派生物としてドメイン名問い合わせの結果を可視化してみました。 これを読んでいる人にはもはや説明の必要はないと思いますが、一応書いておくと、世の中のwww.google.comやwww.amazon.co.jpのようなドメイン名はサーバの場所を直接示しているわけではなく、「この名前を持っているサーバのIPアドレスはなんですか？」というのをDNSサーバという別のサーバに問い合わせることで目的のサーバのIPアドレスを教えてもらい、その後目的のサーバへ接続します。以前は正引き（ドメイン名からIPアドレスを問い合わせる）と逆引き（IPアドレスからドメイン名を問い合わせる）が対称構造になるように設定するのが主流でしたが
意外と知られていない構造化プログラミング、あるいは構造化プログラミングはデータも手続きと一緒に抽象化する、あるいはストロヴストルップのオブジェクト指向プログラミング史観
意外と知られていない構造化プログラミング、あるいは構造化プログラミングはデータも手続きと一緒に抽象化する、あるいはストロヴストルップのオブジェクト指向プログラミング史観 書いた人: ると 猫型プログラミング言語史観(1) 〜あるいはオブジェクト指向における設計指針のひとつ〜という記事がありました。手続き型からの発展としてのオブジェクト指向という史観を書いた記事です。しかし、そこで次のように述べられている史観は少々単純化しすぎです。 手続き型プログラミングでは手続きを抽象化することで保守性を挙げることに成功したが、データを守ることには失敗してしまった。そこでオブジェクト指向はデータと手続きをひとかたまりにすることでデータを外から守るというコンセプトを打ち出した。 手続き型プログラミングの時代は、少なくとも思想的にはそこまで暗黒的ではありませんでしたし、「データと手続きをひとかたまりにする」の
世界の経済的不平等について知っておくべき10のこと - himaginary’s diary
をKathleen Geierというシカゴ在住のライターが自ブログで挙げている（H/T Economist's View）。 世界経済の不平等を計測するのは非常に困難 各国が実施する国別の調査はあるが、世界規模の統一的な所得に関する家計調査は存在しない。 国別調査は質や質問や手法が標準化されていない。さらに以下の問題がある： 何が所得かという問題。例： 自作農の所得をどう記録するか 医療保険（ある国では無料の皆保険、ある国では被雇用者の民間給付パッケージ）を所得として扱うかどうか 人々は得てして所得を正確に記憶していない。 所得形態が定期的に支払われる賃金でなければ無理からぬこと 富裕層も貧困層も正しい値が得られない傾向がある。 多くの調査では開示所得に上限制約を掛けるため（topcoding*1）、富裕層の所得を過小評価する 異なる国の家計調査をつき合わせる際の通貨換算の問題。 経済的不
エクセルでできることができない何百万のシステム・・
うちの部署に入れる新しい業務システムの構築の担当になって、昨日から打合せが始まった。今までエクセルで管理してたものが多くて結構表組みで管理したいものがたくさんあったから、そういう要望を業者に伝えたら「いや～、、ハハハ・・（だったら今まで通りエクセルでやれば？）」みたいな反応。例えばフィルターとか超使ってるし、タブをドンドン増やしてハイパーリンクでつないで元データから引っ張ってきて計算して表組みを作成するとかいつもやってるような作業が新システムだと厳しい（＝できないor莫大な時間と金がかかる）らしい・・。帳票は固定になりますね、帳票増やすと増やした分だけ金かかります、みたいな感じ。いちばんビビったのがコピーペーストができないって言われたこと。列ごとコピーしてデータ貼り付けて表作るっていう単純なことが、何百万だか払って作るシステムではできないとか・・。（CSVで保存してアップロードしてください
面白いデータは転がりまくってるけど転がってるままなので誰か助けてくれろ - あんちべ！
転職して丁度2年がたちました。 現在はWebベンチャーで統計屋しています。大変楽しい毎日です。 なぜ楽しいかというと勿論リスプを書いているからというのも大きなる理由の一つです*1。 このエントリでは何が楽しいのか近況交えてつらつらまとまりなく書いてます。 あと現職の解決しがたい不満についても書いています。 糞長くなってしまったので要約すると 「今糞面白いけど超えられない壁あるので誰か助けて」 です。 現職面白い理由5個。 1．データが面白い*2 私は経済学科・数理統計の研究室出身で、応用先としてコミュニケーション活性化を目的とした 行動経済学やテキストマイニングをやっていました。 そういう背景があるため、学生時代いつか壮大な社会実験をやりたいと思ってたけど、 それには大変なお金がかかったり大がかりなシステムを構築しないといけなかったりで断念した。 ですが今はSNSやソーシャルゲームや広告の
バンディットアルゴリズム入門と実践
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
文学新人賞の偏差値＝この賞をとったらどれだけ本を出せるかをランキングしてみた
今では作家になるには新人賞をとればいいのだと一般的に思われているが、これは意外に最近になってからの話である。 漱石も鴎外も新人賞をとらなかった（そんなものはなかった）。太宰治が世に出たのは、友人の檀一雄が金を借りて同人誌をつくってやったからだ。 もっと最近になっても、公募制の新人賞といえば江戸川乱歩賞と新潮新人賞と群像新人文学賞くらいしかなかった時代が相当長い。我々の知る作家の多くは、新人賞を経ずに作家となったのである。 新人賞の数をグラフにしてみると、80年台後半からこれまでとは異なる上昇トレンドが生じているが（『公募ガイド』はこの時期1988年に創刊した）、それとは段違いの〈新人賞爆発〉が2000年代から始まっている。 増えたのは新人賞の数だけではない。せいぜい１つか２つを選ぶだけだった新人賞に対して、ライトノベル系をはじめとして大量の受賞者を生む新人賞が続々登場した。〈新人賞爆発〉の
データサイエンティストに必要な3つのスキル | quipped
久しぶりにタイトルで釣りにいっているが、ブラウザの「戻る」ボタンを押さないでくれw ... ... ... （よし、まだ「戻る」ボタンを押してない！） ぼく自身、データサイエンティストだったことはないが、一応大学では数学を勉強していたし、金融でクオンツトレーダーもやっていたし、人生3回分（と言ったら言い過ぎか）くらいのSQLクエリは書いている。なので、これから書くことは、本屋に立ち並ぶ歯の浮く様なビッグデータ談義よりは、普遍的な価値があると自負できる。 もう一つ本題に移る前に、「データサイエンティスト」という呼称について感じる両価的な感情について軽く説明したい。 ぼくは幸いにも優秀な同僚や友人に恵まれていて、彼らの中には、データ分析屋さんでありながら、データを集めてきて（広義の）データウェアハウスに突っ込むという非常に面倒くさい一連の作業もちゃっちゃか出来る奴が2、3人いる。そういうマルチ
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
世の中のHTML5アプリケーションが糞だから、俺が「初期化」の作り方を教えてやんよ - mizchi's blog
2chまとめみたいなタイトルにしてみた。(してみたかった) HTML5のアーキテクチャと初期化とキャッシュの考え方が、「ウェブエンジニア」は本当に出来てない。 とくにソシャゲをウェブビューに貼ってスマホ対応しました系。本当にダメ。 じゃあどうするか？基本的に「初期化」の考え方を直せばどうにかなる。 (この記事はBackboneを使うときに考えてることだけど、他でも一緒だと思う) 前提 シングルページアプリケーション セマンティクスやSEOは考慮しない 基本哲学 共通モデルの初期化を徹底的に行う サーバーにリクエストを投げるのは最小限 クライアントでサーバーモデルのキャッシュを作り、更新が期待されるまで再取得しない 理由 いくらDOMの最適化したところでUXに影響が大きいのはサーバーリクエスト(200~2000ms)で、プログラミング段階で辛さがあつまるのは非同期処理の部分。 プログラマとし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック 2015
データベース設計徹底指南
会社を変える分析の力
