近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
Qiitaの可視化から見えた、人気技術ランキングの推移 - Qiita
Qiitaのタグを時系列で可視化 ⇒ 面白い Qiitaに投稿されているタグと、いいね数を 時系列で可視化したら、人気技術の推移が見えてきた。 予想以上に興味深い栄枯盛衰が出てきたため、結果を共有します！ Qiitaの殿堂 というサイトの分析編として追記しました。 直接、結果グラフだけ見たい人は こちら Qiitaの殿堂 とは？ Qiitaの殿堂は、 上位1～2%の超人気記事を月ごとのランキング形式で紹介するサイト 見逃した良記事が多数見つかる。 詳しくは、以下の投稿をご参照。 【無料】Qiitaの殿堂を作った物語【簡単】 先に見ておきたい分析内容 人気タグごとの詳細や関係性を分析した以下の記事も、 合わせて参照するとより楽しめる。 直近１年のQiita記事分析で分かった７つの「驚愕」 今回、上の投稿で分かったTOPタグを対象に、2012年からの推移を見た。 可視化結果発表！ 最新版は、Q
計量言語学的分析で、西野カナさん曲の主人公ちゃん彼氏遍歴を可視化する！ - 5日と20日は歌詞と遊ぼう。
こんにちは。 今回は西野カナさんのすべての楽曲を、計量言語学的なアプローチから、恋愛のフェーズごとに分類してみたいと思います。 そして、カナやん曲の主人公ちゃんがいつ新しい彼氏さん付き合って、いつ別れたのかを可視化しようと思います♪ いちおう書いておきますが、今回は西野カナさん自身の男性歴とかについて詮索する意図はぜんぜんありません！ お遊びとして見てください！ まえがき 従来、西野カナさんは重いと言われ続けてきました。 特に『会いたくて 会いたくて』はね！ けど、最近の歌詞は違うよ！ってわたしは思います（ここまで前回の記事の引用）。 最近の歌詞を見ると、もう雰囲気だけでぜんぜん違う感じがします。 hacosato.hatenablog.com 『GO FOR IT!』あたりからいい感じ！ 昔と違ってカナやん曲の主人公ちゃん幸せそうだよ？？ それを今回は定量的に示してみたいと思います！ 方
東工大、金融市場トレーダーの行動法則をボルツマン方程式を用いて解明
東京工業大学(東工大)は、同大の研究グループが、ドル円市場の売買注文のトレーディング・ログをトレーダー個々のレベルで分析し、注文行動時に共通する統計法則を発見したことを発表した。また、それに基づいた市場の数理モデルを構築し、ボルツマン方程式を用いて市場のさまざまな特性を理論的に導出することに成功したことも、あわせて発表した。 この成果は、東工大 科学技術創成研究院 ビッグデータ数理科学研究ユニットの高安美佐子教授、高安秀樹特任教授、金澤輝代士助教、末重拓己氏によるもので、3月27日発行の米物理学会誌「フィジカル・レビュー・レター(電子版)」に掲載された。 金融市場のブラウン運動と物理のブラウン運動の類似性(出所:東工大ニュースリリース) 金融市場の価格変動は昔から確率的にランダムに振舞うことが知られており、金融工学ではランダムウォークモデルを用いて金融派 生商品の値付けなどが盛んに行われて
なぜそこに遊撃手が…？ 甲子園驚かせた膳所データ野球：朝日新聞デジタル
一回裏２死二塁のピンチ。膳所（ぜぜ）（滋賀）の遊撃手、渡辺大夢（ひろむ）選手（３年）が本来ならセンターに抜けようかという４番打者の打球を正面でなんなくさばいた。 「なんやこれ」。日本航空石川の小坂敏輝主将（３年）は守備陣形を見て驚いた。遊撃手が二塁後方にいて、本来なら遊撃手がいる位置に三塁手が立っている。「一歩間違えれば単打が長打になってしまうリスクもあるのに。それをこの大舞台で……」 三回裏も三遊間に飛んだ安打性の打球を三塁手の平井崇博選手（３年）がアウトに。「三塁線のコースを空ける守備位置をとったのは初めてだったが、データ通りの打球だったのでとれた」。今大会最多の３万３千人の観衆がざわめいた。データに基づいた大胆な守備位置。膳所の野球がはまった。 「本当に正面に行くことが多かった。すごくはまっているな、ともやもやしていた」。日本航空石川の中村隆監督（３３）は序盤の展開に舌を巻いた。 膳
やはりアイヌ人と琉球人の方が本土人よりも遺伝的に近かった - 東大など
総合研究大学院大学と東京大学は11月1日、日本列島人(アイヌ人、琉球人、本土人)のゲノム解析により、現代日本列島人は、縄文人の系統と、弥生系渡来人の系統の混血であることを支持する結果を得たとし、アイヌ人から見ると琉球人が遺伝的に最も近縁であり、両者の中間に位置する本土人は、琉球人に次いでアイヌ人に近いことが示されたと発表した。 成果は、総合研究大 生命科学研究科 遺伝学専攻教授を兼任する国立遺伝学研究所 集団遺伝研究部門の斎藤成也教授、東大大学院 医学系研究科 人類遺伝学専攻分野の徳永勝士教授、東大大学院 理学系研究科・理学部の尾本惠市名誉教授らの研究グループによるもの。研究の詳細な内容は、11月1日付けで英国学術誌「Journal of Human Genetics」オンライン版に掲載された。 日本列島は南北4000km以上にわたっており、3万年以上前から人間が居住してきた考古学的・人類
【ビットコイン】仮想通貨の全銘柄を集められるAPIを使ってみた - プロクラシスト
こんにちは！ほけきよです。 ビットコインとか、流行ってません？ 流行っているので、私も気になるのです。 とはいえ、仮想通貨とビットコインの違いすらわかっていないし、そもそも口座？みたいなのも持っていないので、 このかきぴー氏((id:bbc-21)のサイトで勉強中というわけです。 www.zerokarabitcoin.com だいぶバブリーな状況で、波に乗り遅れた感がスゴいですが、せっかくだしやってみようと思っています。 それで、やっぱり勝ちたいじゃないですか？ 勝ちたいから分析したいじゃないですか？ 分析するにはデータがいるじゃないですか？ 見つけたんですよ、データ coinbin.org Pythonで使ってみる 人気上位10銘柄の動きと相関 お金持ちになりたい coinbin.org たまたまTLに流れてきたこれ、 Coinbin.org: A Human–Friendly API
Making Google Data Studio Free for Everyone
Today, Google's mission to organize the world's information and make it universally accessible and useful is even more relevant and broad reaching. And last year’s launch of both free and enterprise versions of Data Studio, a new dashboarding and reporting tool, is a testament to our commitment to this vision. Over the past 9 months we’ve received positive feedback and seen tremendous demand for t
Webページのスクレイピングと分析・可視化 - Qiita
先日、2016年アドベントカレンダーのはてブ数の分析というブログ記事を投稿した。このデータの可視化には様々な技術が使われている。本記事では、どのような技術を活用して作成したのかについて説明する。 ソースコードはこちら。 概要 このVizは、QiitaとAdventarに投稿された、全アドベントカレンダー及びそこに登録された記事のはてなブックマーク数を元に、どのカレンダーや記事が人気なのか、あるいはQiitaとAdventarのどちらが人気なのかを視覚化することを目的として作成された。データソースは、Qiita及びAdventarに登録された、アドベントカレンダー2016の全カレンダーページである。カレンダーには記事のメタデータが含まれている。記事そのもののページやユーザページのクロールはしていない。 システムの概要 データの収集→ETL→BIという流れで処理を行った。 データ収集 Webク
Fitbitから取得した心拍データで時系列の異常検知を試してみる - About connecting the dots.
井出先生の「異常検知と変化検知」を読んで，自分でも試してみたいと思ったんですが，あいにくちょうどいい時系列データが手元にないなーと思ってました．そんな折，データサイエンスLT祭りの発表の中に，Fitbitデータを可視化するものがあって*1，これはちょうどいいということで試してみましたよというていのエントリになります． 異常検知と変化検知 (機械学習プロフェッショナルシリーズ) 作者: 井手剛,杉山将出版社/メーカー: 講談社発売日: 2015/08/08メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る Fitbitってなによ Fitbitが何かしらない人のために一応説明しておくと，最近はやりの活動量計です．私が持っているのは，心拍が取得できるタイプのやつです．風呂に入るとき以外は一日中つけっぱなしで，睡眠とか運動とかを自動で判定してくれるので，手間がかからず便利です
リモートワークは敢えて取り入れない。Gunosyデータ分析部「情報共有」の仕組みとは | SELECK [セレック]
〜Jupyter Notebook・GitHub・Slackなど、様々なツールや手法を駆使して情報共有を行い、チームを強化している事例〜 チームを強くするには、「情報共有」が不可欠だ。情報を共有し、蓄積していくことで、メンバーは過去の成功例を模倣することができ、新しいメンバーのキャッチアップもスムーズになる。 1,400万DLを超えるニュースアプリ「グノシー」に加え、2016年にはKDDI株式会社と共同で「ニュースパス」の配信も開始した、株式会社Gunosy。 ▼ニュースアプリ「グノシー」のトップページ 同社の中核に位置する「データ分析部」では、チャットツールの「Slack（スラック）」、リポジトリ管理サービスの「GitHub（ギットハブ）」に加え、データ分析の結果を蓄積できる「Jupyter Notebook（ジュピター・ノートブック）」なども活用して、情報の共有と蓄積を徹底している。
![リモートワークは敢えて取り入れない。Gunosyデータ分析部「情報共有」の仕組みとは | SELECK [セレック]](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae539778d7801efdc40b289b44631d421a5382d3/height=288;version=1;width=512/https%3A%2F%2Fdpd29bjwmgbr8.cloudfront.net%2Fwp-content%2Fuploads%2F2016%2F09%2F23223427%2Fa3e3d6e5-50ac-4bf3-bd43-7105e8d9ba83.jpg)
csvkit 1.0.0 — csvkit 1.0.0 documentation
About¶ csvkit is a suite of command-line tools for converting to and working with CSV, the king of tabular file formats. It is inspired by pdftk, gdal and the original csvcut tool by Joe Germuska and Aaron Bycoffe. Important links: Repository: https://github.com/onyxfish/csvkit Issues: https://github.com/onyxfish/csvkit/issues Documentation: http://csvkit.rtfd.org/ Schemas: https://github.com/onyx
csvkit 0.9.1 — csvkit 0.9.1 documentation
About¶ csvkit is a suite of utilities for converting to and working with CSV, the king of tabular file formats. It is inspired by pdftk, gdal and the original csvcut utility by Joe Germuska and Aaron Bycoffe. Important links: Repository: https://github.com/onyxfish/csvkit Issues: https://github.com/onyxfish/csvkit/issues Documentation: http://csvkit.rtfd.org/ Schemas: https://github.com/onyxfish/f
Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments
pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 本来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる！ という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
創業140年の古い会社でデータの民主化を進めた話 / nikkei data driven 20180823
http://www.funda-study.com/