Rで地図を描く方法｜下地理則（九州大学人文科学研究院 教授）
研究用に（あるいは他の用途でも）地図を描画する際、著作権の問題や、正確性の問題を考慮する必要がある。以下では、国土交通省・国土数値情報を用いて、自力で描画できるようにする方法を紹介する。なお、R言語を想定しているが、Pythonでも（ほぼ）同様にできる。 Required packagesinstall.packages("tidyverse", repos="http://cran.rstudio.com/") install.packages("sf", repos="http://cran.rstudio.com/") library(tidyverse) library(sf)日本全体の地図日本地図（県境あり）を描く最もシンプルで効率的な方法はnaturalearthのデータを使ったやり方。国土地理院のウェブサイトからAdmin 1 states and provincesのセクシ
2023年版データ分析の100冊 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマテ
データサイエンティストは何を勉強すべきか：「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ
データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック（構造化データ加工編）」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ
Same Stats, Different Graphs: Generating Datasets with Varied Appearance and Identical Statistics through Simulated Annealing
“…make both calculations and graphs. Both sorts of output should be studied; each will contribute to understanding.” F.J. Anscombe, 1973 Anscombe’s Quartet It can be difficult to demonstrate the importance of data visualization. Some people are of the impression that charts are simply “pretty pictures,” while all important information can be divined through statistical analysis. An effective (and
ただの微分幾何学徒だった僕がデータサイエンスを何故/どのように勉強したのか - Obey Your MATHEMATICS.
こんにちは。久々の投稿です。 僕のTwitterをフォローしてくれている方はご存知かと思いますが、4月から機械学習エンジニア/データサイエンティスト(見習い)として働く事が決まりました。 今日六本木の某社から正式に内定を頂きましたが、間違いなくTwitterのおかげでありTwitterこそ就活の全てであると確信した次第でございます— マスタケ (@MATHETAKE) 2017年2月23日 良い区切りですので今回はタイトルの通り、ただの純粋数学の学生だった僕がデータサイエンスの勉強を何故/どのようにしてきたのか、についての思い出せる範囲で書こうと思います。 Disclaimer: この記事は基本的に、"What I did" に関する記事であって決して "What you should do" についての記事ではありません。そんな勉強方法おかしいとか、こうすべきだ、みたいなマサカリは一切受
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
自称有識者()が例の副作用100%予測にがんばって答える - 驚異のアニヲタ社会復帰の予備
ちょっとアレなので非公開になりました。 結論 cross validation くらいしよう。
読みやすくて分かりやすい会計入門書三選(簿記・財務会計・管理会計) - ゆとりずむ
こんばんは。気がついたら、以前書かせて頂いた記事が、1000ブックマーク以上達成したようでびっくりです( ﾟдﾟ) lacucaracha.hatenablog.com 駄文雑文にも関わらず、お褒めのコメントも沢山いただき、恐悦至極です。コメント付きのブクマにつきましては、『見たよー(∩´∀｀)∩』という目印も兼ねて、星をつけていきますのでよろしくです。 で、ブックマークを整理している中で何個か気になるコメントが有りました。 id:nicht-sein id:stattly101 さんへ。なるほど、と思った人間です。国立理系大卒だけど、株や会計に関する教育なんて小中高大ではなかったでござる。社会人なんだから会計なんて常識だろ、とか言われたらごめんするしかないけど…… そうなんですよね。経営や会計の基本的な知識って、誰もが関係してくる話の割に、商業系の学校に行かない限り触れる機会が無いのが実
ビッグデータの本質はデータの大きさではない - ニューロサイエンスとマーケティングの間 - Between Neuroscience and Marketing
Leica M7, 1.4/50 Summilux, RDP III @Griffith Observatory, Los Angels, CA 残念なことに、全く忘れていて風呂に入っていたのだが、期せずして先日取材を受けたNHKスペシャルの「医療ビッグデータ」に、先ほど何秒か登場していたようだ。 それでそのリアルタイム検索結果*1を見ていたのだが、そこで扱われていたデータがビッグデータかどうかというツイートが結構な量であることに驚いた。ビッグデータの特徴として3V（Volume, Variety, and Velocity）と言った言葉が広まってしまっているせいもあるだろう。（自分も時たま使ってしまうので今回反省している。） この方々の気持ちはわかるが、このブログの読者の方々ならお気付きの通り、今起こっている変革の本質はデータが巨大かどうかということではない。 ― 現在起こっている変革の
杜氏のいない蔵元が示した「データ分析さえすれば職人の技を職人抜きでも再現できる」という事実の凄み（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう？」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったのでした。 ということで、その事例を振り返りながら久しぶりにちょっと与太話でもしようと思います。 http://www.tv-tokyo.co.jp/cambria/backnumber/20140116.html ちなみに上ははてブでも大きな話題を呼んだ東洋経済の特集記事ですが、僕にとってはテレ東カンブリア宮殿で紹介された時の映像の方が遥かに衝撃的でした。 「獺祭」は杜氏でも何でもない普通の社員が、データに基づいて一挙手一投足を決めながら仕込んでいる 東洋経済の記事では割とざっくりとしか書かれてないんですが、カンブリア宮殿で放映された映像では獺祭の製造工程の
ボックスプロット(箱ひげ図)作成のためのオープンソースアプリケーション：BoxPlotR | 一人抄読会
BoxPlotR: a web tool for generation of box plots. Spitzer M, Wildenhain J, Rappsilber J, Tyers M. Nature Methods. 2014 Jan 30;11(2):121-2. 「棒グラフ」と「ボックスプロット(箱ひげ図)」 ① 棒グラフ(Bar plot)は、平均(mean)を棒の高さで、標準偏差(sd)または標準誤差(standard error of the mean; sem)をエラーバーで示してデータを比較を表現する方法である。非常に多く用いられる方法だが、平均と標準偏差という単純な要約統計量(summary statistics)だけの比較であるため、元のデータの構造の違いを見落とし、結果的に間違った結論も導くことがありうる。一方、以下で述べるボックスプロット(Box plot、
Kick the bar chart habit - Nature Methods
Bar charts are too frequently used to communicate data that they cannot represent well. We strongly encourage the use of more appropriate plots to display statistical samples. Bar charts are a simple and powerful way to compare counted values, but their design can muddle accurate interpretation when used for statistical samples. Because the value of each data point is encoded in the visual weight
研究データの8割は20年後には残っていない | スラド サイエンス
カナダのブリティッシュコロンビア大学が行った研究によると、科学的研究で集められたデータの8割は、その20年後のうちに失われているそうだ（United Press International、slashdot）。 1991年から2011年にかけて発表された516の研究に使われたデータのオリジナルを辿ったというこの研究によると、発表から2年後には全てのデータセットにアクセスできたが、3年後には17％がアクセスできなくなり、20年では80％が失われるという結果となった。失われたデータは使われなくなったメールアカウントや古いストレージなどに格納されていたためにアクセスできなくなくなるという。 データが研究者とともにあるという現在の仕組みでは、時間と共にほぼ全てのデータが失われることを意味するという。替えがきかないデータや、再現するには多額の費用がかかるものもあり、検証や新たな用途のためにこれらのデ
進撃の巨人を読んだことない人がデータだけでキャラを推測してみる - あんちべ！
はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、それでいて進撃の巨人のキャラについては知りたい、 そう願う潜在的進撃の巨人ファンも全国に70万人くらいいらっしゃると思います。 そこで、データから進撃の巨人にどんなキャラが登場するか推測してみましょう。 扱うデータとして、pixivのタグ情報を利用します。 商品レビューコメントなどとは違い、ファンの創作活動がダイレクトに反映されるサービスなので、 そこに付与されるタグ情報は、ファンの熱（過ぎる）いメッセージが込められているに違いありません。 今回、以下のような縛りを入れています。 1．勿論原作は見ない 2．pixivのタグ情報は参照するけど、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人間参加型（human-in-the-loop）機械学習とは？
TechCrunch | Startup and Technology News
【保存版】一次情報をゲットするために確認するべきウェブサイトをまとめてみました（随時更新） - とある浪速の調査雑記
http://studiy.co/path/data-science/
Beyond Bar and Line Graphs: Time for a New Data Presentation Paradigm
