Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ Kaggleの上位入賞者であるKaggle Grandmasterを獲得した、Sansan株式会社のデータサイエンティスト高際睦起さん。模範となるソースコードをもとに考え方や解析手法を教えていただきました。 「Porto Seguro’s Safe Driver Prediction」とは？ 【技法1】前処理 【技法2】特徴抽出 【技法3】予測モデルの作成 Kaggle初心者は何から始めるべき？ データサイエンティストを目指す若き人たちへ 世界中のデータサイエンティストたちが集まり、企業や研究者が投稿したデータに対する高精度なモデルを競い合うプラットフォーム・Kaggle。メンバーは100万人を超えており、良問の多さや参加者のレベルの高さゆえに、機械学習を学ぶ者にとって優れた研鑽（けんさん）の場となって
データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary
(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
ChatGPT活用を激震させる新機能｢Code Interpreter｣にNetflixをデータ解析させたらスゴかった
コード・インタープリターはChatGPTの有料版｢ChatGPT Plus｣で、GPT-4の付加機能として呼び出せる。 画像：筆者によるスクリーンショット ChatGPTの有料版である｢ChatGPT Plus｣（月額20ドル）には、7月初めから｢Code Interpreter（コード・インタープリター）｣という機能が追加された。 この機能が画期的だとして、一時ネットでは大いに話題になった。これまでは面倒だった｢データ集計｣などを、チャットの命令だけで実行できるからだ。 データ集計は、Excelなどの表計算ソフトやPythonなどのデータ処理に強いプログラミング言語で処理することが多い。 しかしコード・インタープリターでは、それらを使う必要はほとんどなく、データさえ用意できればいい。さまざまな手間がほぼゼロになり、ChatGPT任せにできる。 そうはいってもピンと来ない人も多いはず。そこ
統計・データ解析
『Rで楽しむ統計』が出ました。サポートページ 『Rで楽しむベイズ統計入門』が出ました。サポートページ，第7章のRコードをStanで書き直したRで楽しむStan 全国学力・学習状況調査の個票の疑似データがこちらで公開されています。データ分析の練習に使えそうです。SSDSE（教育用標準データセット）も。 R 4.x では stringsAsFactors=FALSE がデフォルトになりましたが，本サイトの古い記事ではそうなっていないところがあるかもしれません（read.csv() などで as.is=TRUE は不要になります（あってもかまいませんが））。 R 4.2 ではWindowsでもMac同様UTF-8がデフォルトになりました。もう fileEncoding オプションに "UTF-8"，"UTF-8-BOM" を指定する必要はなくなりそうです。一方で、SJIS（CP932）データの場
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
オープンソースのWebIDE「JupyterLab」がベータ公開、Python/R/Scalaなどに対応。データ解析環境から統合開発環境へと進化
Notebookの機能にターミナル、ファイルブラウザなどを統合 そのJupyter Notebookのメジャーバージョンアップ版として開発されているJupyterLabは、Notebookの機能だけでなく、ターミナル画面の機能、ファイルブラウザ、テキストエディタなどの機能が統合され、それらをタブによって同時にいくつも開くことができるようになり、統合開発環境と呼ぶべきツールへと進化しました。 拡張機能によって機能をあとから追加することも可能（JupyterLabの基本機能であるNotebookやファイルブラウザ、ターミナルも拡張機能として実装されていると説明されています）。すでに、JSONやCSVの読み込み機能、JSONフォーマットで地図情報を記述するgeoJSONによる地図表示などが用意されています。 JupyterLabは今年後半に正式版となるバージョン1.0がリリース予定。また、現バー
データ分析における関数の使い方については様々な記事が上がっています。関数を知らなかったり使い方が分からないときは調べればだいたい答えが見つかります。 一方で、実際に分析を始めようとすると、たとえ関数の使い方がわかっていても、データをどのような切り口から何を分析・可視化していけば良いのか困ってしまうことがよくあります。 この記事では、あんちべさんが書いたデータ解析の実務プロセス入門という本をベースに、どのようなデータから何を見たいときにどのような可視化手法を使えばよいのかを、具体例を交えながら整理していきます。 探索的データ解析とは データ解析のアプローチは、大きく分けて仮説をデータで検証する「仮説検証型」とデータから仮説を生み出す「探索型」に分けられます。 実際にデータ解析を行うときは、仮説検証型と探索型を行き来しつつ知見を見出していきます。 データ解析には検証すべき仮説を設定することが必
京都女子大（京都市東山区）の３年生４人が、ビッグデータから傾向や規則性を見つける「データマイニング」の国際コンペで優勝した。正答率は参加５３チームで最高。専門知識は一切なく、世界一に輝いた。 ４人は現代社会学部の中原英里さん（２２）、松浦由希さん（２１）、松本美紗子さん（２１）、武藤陽穂（あきほ）さん（２１）。指導した小波秀雄教授（統計学）は「情報理工系でない学生の優勝は努力のたまもの。受賞を自信につなげてほしい」。 コンペはアジア太平洋地域で知識工学を発展させようと、情報工学系の国際会議「ＩＣＯＮＩＰ」が毎年開催。今年は７～９月に実施され、周辺各国の参加学生たちが競い合った。 出題は「暗号化された新聞記事… この記事は有料会員記事です。有料会員になると続きをお読みいただけます。 この記事は有料会員記事です。有料会員になると続きをお読みいただけます。 この記事は有料会員記事です。有料会員に
本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可視化までを解説します。第2回では、Pythonによる探索的データ解析を解説します。まず対話的環境による探索的データ解析について確認し、Jupyter Notebookを使ったデータ解析の実行・可視化までの手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 探索的データ解析の流れを確認 まず対話型環境に
RとRubyによるデータ解析入門
人気の高いオープンソースのツール、RとRubyを使い、生データを処理し、シミュレーションし、仮説を立て、統計的手法を用いて検証する、というデータ解析の基本の理解を促します。基本が学べるだけでなく、自分のメールボックスや自分の心臓の鼓動など身近な題材を対象としており、データサイエンスの醍醐味を味わうことができる一冊です。日本語版ではさまざまな統計分析手法についての入門となる章を追加。この本で使っている統計の基礎も学べる構成になっています。プログラマ視点で書かれた本書は、ビッグデータを活用するためのスキルを身に付ける必要に迫られた多くの開発者にとっても貴重な情報源となるでしょう。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すで
Exif Reader - デジタルカメラデータ解析ツール
最近のデジタルカメラのほぼすべてが対応しているExifという画像形式に含まれる情報を解析して表示するツールです。例えば撮影時の明るさ。フラッシュの有無、焦点距離などいろいろな情報が写真以外に含まれています。これらの拡張子はJPGで普通のJPEGと同じように扱うことが出来ます。またほぼすべてのメーカー独自情報の解析も可能です。 Exif以外にもEOS/DやKodakのプロフェッショナル向けデジタルカメラに採用されているTIFF/EPフォーマット。日本新聞協会のNSK-TIFF。Xerox社のFAX向け規格TIFF-FXなどにも対応しています。 そのほか、Photoshop6でExifファイルをPSD形式で保存した場合にPSD内に保持されたExif情報や各種CCDRAW形式やQuicktimeMovieなどにも対応します。 URLから直接Exifを開く機能の追加 URLの直接ドラックをサポート
こんにちは、らくからちゃです。 先日ぶらぶらネットサーフィンをしていたところ、こんな記事を読みました。 ブログを書いていると、定期的に持ち上がる『互助会問題』。ざっくり言うと、『ランキングアップの為に貢献するから、そっちも手伝ってよ』みたいな感じかなあ。はてなブログの場合、ホットエントリーが記事ランキングに近い役割も果たしているので、相互にブックマークつけあおうぜ！みたいな活動のことを指すようです。 これね！ ただ実際には、『お互いに約束しあって』ブックマークをつけるというよりも、自然発生的なものが多かったりするような気がしますが、前掲の記事であげられているように、『特にそのつもりが無いのに、ブックマーク連打してお返しを期待する』みたいなものも多そうですね。 そういや以前、こんなサイトが話題になりました。 相互ブクマはてなブロガーリスト（旧名：はてな互助会メンバーリスト） はてなブックマー
こちらのブログ記事の内容は、勝手ながらこちらのサイトに移管致しました。 lacucaracha2.hatenablog.jp
『DARK SOULS』のデータ解析から生まれた対人戦AI「Project King」、10か月の開発を経て不死の世界に降臨 - AUTOMATON
ホーム ニュース 『DARK SOULS』のデータ解析から生まれた対人戦AI「Project King」、10か月の開発を経て不死の世界に降臨 高難易度アクションRPGの金字塔『DARK SOULS』シリーズ。最新作『DARK SOULS III』の発売を数か月後に控える中、初代『DARK SOULS』のデータ解析から生まれたファン作成の対人戦AIが、海外フォーラムを中心に脚光を浴びている。10か月におよぶ開発の裏側と改良を重ねる現状を、業界メディアKotakuがいち早く報じている。 ドMゲーマーの聖地に降り立った王 『DARK SOULS』は、2011年にフロム・ソフトウェアから発売された同社開発のアクションRPG。2009年にソニー・コンピュータエンタテインメントからリリースされた『Demon’s Souls』のスタッフが手がけた後継作で、チャレンジ・発見・達成感に重きを置いた高難易度
2022年12月19日紙版発売 2022年12月15日電子版発売 田中康平，田村賢哉，玉置慎吾 著，宮﨑浩之 監修 B5変形判／352ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-297-13232-3 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 本書籍は，Pythonによる衛星データ解析に興味がある初学者に向けた入門書となっています。学校の情報の授業等で利用する際の副教材になることを意識し，衛星データだけでなくデータサイエンスの基礎的な内容も含めました。学校で地球環境やご自身が住んでいる地域がどのように変化しているか調べたい方は
仮想通貨取引所コインチェックから、約580億円相当の仮想通貨NEM（ネム）が不正に引き出された問題を受け、Business Insider Japanは、ブロックチェーンに詳しいエンジニアに、コインチェックから仮想通貨が引き出された履歴の解析を依頼した。 その結果、2018年1月26日（時間はいずれも日本時間）、計11回、総額5億2630万10XEM（XEMは、NEMの通貨単位）がNC4で始まるアドレスに送金されていた。また、NC4から9つのアカウントに送金されていることも判明。全体で11アカウントが、不正送金となんらかの関連があるとみられる。 解析に協力してくれたのは主に、ブロックチェーン・ベースの電子政府システムCOMMONS OSの開発を進めているエンジニア河崎純真さん（26）と小副川健さん（36）の2人だ。NEMを含む仮想通貨は、資金の移転がブロックチェーン上の台帳に記録され、ほぼ
統計データ解析 Ⅱ Introduction to statistical data analysis Ⅱ | UTokyo OCWx
ビッグデータの時代と言われている。近年、データの計測およびストレージ技術の発達とともに、大規模データから適切に情報抽出し、それを意思決定に活用することが必須のリテラシーとなっている。いっぽうデータの形式と対応する解析法の変化は著しく、新しい方法を正しく利用するために、普遍的な統計科学の原理を理解することが重要である。基礎となる統計数理とともに、具体的な統計解析手法とその運用を、統計ソフトウエアによるデータ解析実習を通じて習得する。 統計データ解析Ⅱでは、統計ソフトウエアRの説明の後、高次元大規模データに潜む相関構造を発見し計量する多変量解析、および時系列データの基本的な解析法を学ぶ。統計手法の運用とデータハンドリングを実習することに加え、微分積分学、線型代数学等の前期課程数学と連携し、数理科学的側面を意識しながら、実験を介して統計手法の合理性と体系を感得する。
※1 Pythonコードは、Google Colaboratoryのジュピター・ノートブックの環境で実行することにより動作します。 詳細は、本教材の「参考テキスト」p.159～を参照ください。 ※2「clst.csv」のデータの一部については、自然科学研究機構 国立天文台より２次利用の許可を得て掲載しております。 出典：国立天文台編「理科年表2021」，丸善出版(2020)
はじめに クリスマスはいつものように全く予定無かったあんちべです、こんばんは！ 皆様はクリスマスをお楽しみになられましたでしょうか？ 「今yesと答えた奴ら全員地獄に堕ちろ」ってサンタさんにお願いしておいたからな。 さて、世間のリア充様がクリスマスで浮かれまくりやがっていらっしゃる中、 やること無さ過ぎていつものようにpixivで腐女子向け作品を眺めていたところ、 ありがたいことに寂しさを感じる暇もない勢いでどんどん作品が投稿されていました。 ハッピーですね！ …………？ クリスマスの真っ只中に腐女子絵を投稿している…だと！？ クリスマスと言えば皆さんお楽しみのはずでは？ いや、クリスマスの夜にむしろ投稿数が増加しているような気が…？ という疑惑を抱いたので、実際データを色々眺めてみましょう。 データの説明 データはpixivから下記タイトルで検索した結果を12/26の午前中時点で 各々1
約5万人のデータで検証 人間の知的能力は、年齢に応じて複雑に変化するということが、米ハーバード大学などの研究から明らかになった。 ●"Older Really Can Mean Wiser" The New York Times, MARCH 16, 2015 ●"When Does Cognitive Functioning Peak? The Asynchronous Rise and Fall of Different Cognitive Abilities Across the Life Span" Psychological Science, March 13, 2015 私たちの運動能力や知的能力が歳と共に変化することは、（科学者に言われずとも）誰でも実感している。知的能力に限ってみれば、たとえば「物覚えの良さ（記憶力）」や「暗算力」などの能力は若い頃の方が高い。一方で「相手の
Pythonの処理系はどのように実装され，どのように動いているのか？ 我々はその実態を調査すべくアマゾンへと飛んだ．
form1.1 ver.1.1 表紙 Cover Sheet HPCI システム利用研究課題 利用報告書 HPCI User Report 課題番号 Project Number hp140230 課題名 大規模生命データ解析 Project Name Large-scale life data analysis 課題代表者 Project Representative 氏名 宮野 悟 Name Satoru Miyano 所属機関 東京大学 Affiliation The University of Tokyo 所属機関の国名 日本 Country Japan キーワード [5-10 語程度] がん、薬剤感受性、バイオマーカー、メタボリズム、関連刺激暴露、 ベージュ脂肪細胞、メタゲノム、システム生物学 Keywords cancer, drug-sensitivity, biomarke
最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想
NTTは13日、ビッグデータ（短時間に大量生成される多様なデータ）のうち、グラフ構造を持つデータを従来の数十倍のスピードで解析できる技術を開発したと発表した。グラフ構造データとは、ツイッターなどのソーシャルメディアでヒト、モノ、場所などの情報がグラフ状に結びついた形式のデータを指す。例えば約1億人分のSNS（交流サイト）の友人関係なら、およそ3分で解析できる。従来の技術では4～6時間程度かかっ
QGISとは？ QGISは、地理情報システム（GIS）のためのオープンソースソフトウェアで、地理データの閲覧、編集、分析を行うことができます。QGISは多くのプラットフォーム（Windows、MacOS、Linux）に対応しており、商用GISソフトウェアと比較しても多機能でありながら無料で利用することができます。 主な特徴としては以下があげられます。 多機能かつ柔軟性が高い: QGISは、地理データのインポート・エクスポート、地図作成、空間解析など、多くのGISタスクを実行することができます。 オープンソース: ソースコードが公開されているため、コミュニティの支援を受けつつ進化しています。また、カスタマイズや拡張が容易です。 豊富なプラグイン: サードパーティによって開発されたプラグインが多数あり、特定の機能を追加することができます。 GEEプラグインについて 今回紹介するGEEプラグイン
2018年12月18日に行われた第1回衛星データコンテスト「Tellus Satellite Challenge」の結果発表。本記事ではコンテストの運営を行う株式会社SIGNATEの齊藤さんに解説いただいた上位3名の解析手法と講評をご紹介します。 衛星データ解析コンテスト「Tellus Satellite Challenge」の第1回上位入賞者の表彰が2017年12月18日に行われました。 ※当日の様子はこちら 本記事では第1回「Tellus Satellite Challenge」結果について「Tellus Satellite Challenge」を運営する株式会社SIGNATEの代表取締役社長、齊藤秀さんにいただいた講評を紹介します。 記事執筆協力：齊藤 秀(SIGNATE)、向井田 明(RESTEC) (1)「Tellus Satellite Challenge」とは~概要と実施の背
PyConJP 2015にて発表 https://pycon.jp/2015/ja/schedule/presentation/61/
2013年4月20日（土）にニフティ株式会社のセミナールームで、第30回R勉強会＠東京（#TokyoR）が開催されました。#TokyoRは、里洋平氏(@yokkuns) が主催しているR言語を学ぶプログラミングの勉強会です。今回は100名以上の参加希望があったため、補欠が出てしまったほどの人気イベントです。 そもそも R言語とは、統計処理を得意とする言語であり、データの解析や可視化などを比較的簡単に実行出来るツールです。 今回は、その人気イベントである第30回R勉強会＠東京にお邪魔し、全5時間に渡るアツい内容をまとめてお届けします。またこちらの勉強会まとめ記事は、株式会社リクルートキャリアが運営する「CodeIQ（コードアイキュー）」のご協力で提供されております。 （当日のアジェンダ） それでは、各セッション内容のご紹介です。 初心者セッション1 「はじめてのR」 最初は、R歴三年・ビジ
今年創部１２０周年を迎える膳所（ぜぜ＝滋賀）が、２１世紀枠で今春センバツに出場することが決まった。その原動力となったのが、昨年春に募集したデータ解析専門の部員だ。野球経験のない野津風太さん、高見遥香さん（ともに１年）の男女２人が「データ班」として加わり、秋季滋賀県大会８強に進出。これが評価され、５９年ぶり４度目となるセンバツ切符を手中にした。 野津さんは、主にデータ解析のプログラミングを担当。野球が好きなわけではなく、入部した理由も「クラスメートに誘われたから」。昨夏の１年生大会ではケガで選手が足りなくなり、代役を頼まれたが断ったという。 笑顔のすてきな高見さんは田中広輔ファンのカープ女子だ。ＮＨＫのテレビ番組「球辞苑」を見て、野球のデータに興味を持った。「広島の菊池が、田中が塁にいると打率が上がるとか、面白いなと」。書道部と兼務しており、主にデータ入力を担当する。 データ班設置を発案した
今年はさだまさしさんのデビュー40周年ということで、記念コンサート「さだまつり」も絶賛開催中の折も折、残暑も厳しい中皆様いかがお過ごしでしょうか。大平です。 さだまさし氏は経験の豊富な方ですので彼の歌や発言から学ぶことは大変多いのですが、個人的に非常に感銘を受けているのは「歌はコンサートで成長する」という言葉です。歌い手として、「歌」という作品を作って公開・販売するだけが仕事ではなく、実際にコンサートなどでお客さんに届け、お客さんの反応を参考にしたり日々の演奏活動の中で試行錯誤を繰り返して、内容をブラッシュアップし洗練させていく過程を指して先の言葉があるのだと思います。実際にさだまさし氏の曲はCDに収録されているものと実際にライブで演奏されるものとでアレンジが大きく異なり、かつ作品としても質が向上しているものが少なからず存在します。 …あまりさだまさしの話を続けると本当に上長に叱られますの
超高速な大規模データ解析を 実現するソフトウェアツール NYSOL makes it easier and faster to analyze big data. NYSOLver2.4.2 SOFTWARE LIST GitHub NYSOL Manual ※NYSOLは日本発のオープンソース（無料）です。 *NYSOL is open source software in Japan LICENSE 最新情報NEWS 2019.06.05 SOFTWARE NYSOLのDockerイメージ公開 2019.05.23 SOFTWARE nysol_pympiのインストールメモ 2018.09.20 INFORMATION WebbleバージョンのKIZUNAを公開しました。 Back Number NYSOLとはABOUT NYSOL 大規模データの解析に関する様々な大学やプロジェクトで
2014.08.14 スキル 業界で名の知れたプログラマーは、今年の上半期に何を学んでいたのか？ 「同業者が役に立ったものは、自分にも役に立つはず」という仮説を基に、彼らの学びlogから、2014年上半期の流れを振り返り、今後の動向を予想してみよう！ トレジャーデータ株式会社 ソリューションアーキテクト／エバンジェリスト 鈴木理恵子さん（@asyoulike007） 東京女子大学へ入学するも、好きなギター製作の道へ進もうと専門学校へ。卒業後は一転、IT業界に進み、プログラマーとなる。システム開発会社、名刺管理サービス会社を経て、ミクシィに入社。プラットフォーム開発に携わる。2013年12月、トレジャーデータに入社 新しい挑戦でより専門的な知識が必要に 2013年12月、ミクシィからトレジャーデータへ転職した鈴木さん。以来、ビッグデータの活用方法についてのセミナーや講演活動を行う一方、同社の
こんにちは、らくからちゃです。 前回に引き続きまして、はてなブックマークからブックマークのデータをJavaを使って抽出し、解析を行う方法のプログラムの作り方についてお話したいと思います。本稿は、以下の記事の続きとなりますので、ご承知おき下さい。 さて前回は、URLではなく、特定の『サイト』に付けられたブックマークを一斉に取得する方法についてご説明いたしました。この方法を行えば、過去記事につけられたブックマークの全てのデータを抽出することも出来るかと思います。 ただ、ある程度大量のデータを扱うのであれば、テキストファイルで処理するのはちょった大変ですよね？そこで、今回は、取得したデータを、簡易データベースである『sqlite』に格納し、効率的に分析する方法についてご紹介したいと思います。 ところで皆さん、データベースというと、どういったものを思い浮かべますか？ウェブ系の人であればMySQL、
WebAssemblyとBlazor 、WebAssembly System Interfaceでコンテナライズの設計を解説Takao Tetsuro
【プレスリリース】社会の複雑性の進化によって「神」が生まれた？－ビッグデータ解析により世界の宗教の歴史的起源を科学的に解明－ | 日本の研究.com
慶應義塾大学環境情報学部のパトリック・サベジ特任准教授、オックスフォード大学のハーヴェイ・ホワイトハウス教授、ピーター・フランソワ教授、コネチカット大学のピーター・トゥルチン教授らの国際共同研究グループは、「セシャット（Seshat）」と呼ばれる人類進化史に関する大規模データベースの構築とそのビッグデータ解析を行い、社会の複雑性の進化が原因となって、世界中の宗教や「神」の信仰が生み出された可能性を明らかにしました。本研究の成果は、英国の科学雑誌『Nature』誌に3 月 20 日（現地時間）に掲載されました。 研究グループは、1 万年にわたる人類進化の歴史的記録データ（世界 400 以上の国家に関する 20 万件以上の歴史的記録データ）について、オープンアクセスのデータベースを構築し、セシャットと名付け世界に公開しました。また、なぜ人類が大規模かつ複雑な社会で互いに協力するように進化したの
「生理前になるとだるくて、やる気が出ない」「旅行中、予定外に生理が来てしまった」など、女性なら誰でも月経周期に振り回された経験を持つのでは。妊娠を望む、あるいは避妊したいといった場合にも、月経周期が問題となる。つまり、月経周期についての正しい知識や情報は、女性が「自分らしい生活や人生」を送る上で不可欠といえるが、驚くべきことに「月経周期に関する医学的な知見」は60年前からアップデートされていないのだという。 こうした背景があり、国立成育医療研究センター分子内分泌研究部室長の鳴海覚志氏、同社会医学研究部室長の森崎菜穂氏らは、女性の健康情報サービス「ルナルナ」を手掛けるエムティーアイと共同で調査研究を進め、1月23日に記者説明会を開いてその解析結果を発表した。 2000年にKDDIのau公式サイトとしてサービスを開始した「ルナルナ」。そのインストール数は、延べ1400万に上るという。アプリを使
データ集計業務を半年で300案件捌いて見えてきた勘所 #データ解析 #willgate / 20180425
統計やらNight!!データマイニングMeet up #2 @ウィルゲート の発表資料です。 refs. http://yuzutas0.hatenablog.com/entry/2018/05/17/083000
登山地図アプリ「YAMAP」を運営するヤマップ（福岡県福岡市）は6月7日、21年に発表した「道迷いしやすい登山道」の一部に標識が設置され、迷う人がいなくなったと発表した。アプリ利用者のデータを分析して分かった。 ヤマップはアプリ内で利用者から寄せられた「迷いやすい」タグ付きの投稿と登山者の軌跡（移動）データを分析し、国内の登山道でとくに迷いやすい地点5カ所を「道迷いしやすい登山道」として21年8月に発表した。同社の働きかけもあり、このうち神奈川県内にある2カ所に標識が設置された。 1カ所は神奈川県と山梨県との県境に位置する西丹沢の大界木山～浦安峠で、21年9月に標識が1本設置された。その後、YAMAPの軌跡データを分析したところ、道を間違える人はゼロになったという。 もう1カ所は神奈川県の丹沢山、櫟山～栗ノ木洞に位置する登山道で、21年の12月に案内標識が設置された。こちらも設置後は道を間
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
R vs Python：データ解析を比較 | POSTD
データ分析のはじめの一歩を無料で学べる 総務省監修の高校教材『データサイエンス・データ解析入門』がpdfで公開 | Ledge.ai
PythonでOpenCV基礎と衛星データ解析を学べる無料講座が公開 | Ledge.ai
探索的データ解析における正しい可視化手法の選び方と描き方 - Qiita
京都女子大生、ビッグデータ解析で世界一 専門知識なし：朝日新聞デジタル
Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう
はてなブログ互助会についてデータ解析してみたかった - ゆとりずむ
Javaではてなブックマークのデータ解析入門（対象データのスクレイピング編） - ゆとりずむ
Pythonで学ぶ衛星データ解析基礎 ――環境変化を定量的に把握しよう
独自解析：コインチェック580億円流出は｢わずか5分｣の犯行と判明、データ解析で探る巨額のゆくえ
「高等学校における「情報II」のためのデータサイエンス・データ解析入門」｜統計学習の指導のために（先生向け）
クリスマス暇過ぎて腐女子人気作品の探索的データ解析を行うしかなかった - あんちべ！
人は何歳で一番賢くなるのか? ビッグデータ解析で明らかに（小林 雅一） @gendai_biz
RとPythonによるデータ解析入門
HPCI システム利用研究課題 利用報告書| hp140230 | 大規模生命データ解析
fluentdとDockerとBigQueryで1時間でビッグデータ解析基盤を作る - Qiita
NTT、ビッグデータ解析で世界最速 1億の友人関係3分で - 日本経済新聞
【QGIS】GISソフトでGoogle Earth Engineを操作する【衛星データ解析】 - LabCode
第1回衛星データ解析コンテスト、上位3名の解析手法と第2回への期待 | 宙畑
アドネットワークのデータ解析チームを支える技術
【CodeIQ提供】データ解析・可視化なら俺らに任せろ！- 第30回R勉強会まとめ #TokyoR
膳所59年ぶりセンバツ 野球知らぬ２人がデータ解析 - 高校野球 : 日刊スポーツ
「カジュアル」な規模のデータクラスター上でのデータ解析処理 « NAVER Engineers' Blog
NYSOL – 超高速な大規模データ解析を実現するソフトウェアツール
「データ解析の伝道師」になるため、私が参考にした書籍5選【鈴木理恵子】 - エンジニアtype | 転職type
Javaではてなブックマークのデータ解析入門(sqliteへの格納編) - ゆとりずむ
Jenkinsとhadoopを利用した継続的データ解析環境の構築
「ルナルナ」のビッグデータ解析で月経周期に新事実
迷いやすい登山道、登山アプリのデータ解析で明らかに 登山道整備に一役