データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41
地方公共団体の位置データ Location Data of Local Governments in Japan - ASTI アマノ技研
データ概要 2023年（令和5年）12月現在の全国の地方公共団体（都道府県市区町村の役所）全1,963件の所在地・位置座標（緯度経度）データです。庁舎移転や仮庁舎も可能な限り反映させています。データの詳細はダウンロードファイルに含まれるreadme.txtを参照してください。本データは標高計算機の日本の都市リストで使用しているものとほぼ同じ内容です。地方公共団体一覧としてもお使いいただけます。 パッケージにはShift_JIS（CRLF，Windows用）とUTF-8（LF，macOS用）の2種類のタブ区切りCSV（Character-Separated Values）ファイルが入っています。CSVのCはComma（カンマ）ではなくCharacter（記号）である点ご注意ください。「タブ区切りなのでCSVではなくTSVである」などといったご指摘も対応に苦慮しますのでご遠慮ください。研究利用
勝手に第三者に小説投稿サイトの退会手続きをされて自作データが消失してしまった場合、復元は可能か。退会手続きをした第三者を法で裁けるか
ポンポコ秋くんは呟きたい☆ @PNPK4649 今まで読んでくださった読者の皆さんへ。 突然ですが、現在連載していました【ロストファミリア・無限世界は人と悪魔の決闘輪廻】を含めた全ての作品や作者ベージは退会によってもうありません。 最初に言うならば、これらは全て僕の盲目さと人間性の結果です。 下に退会までの経緯を書きます。↓ 2020-11-14 22:02:42 ポンポコ秋くんは呟きたい☆ @PNPK4649 僕を含めたお知り合いの方4人でとある飲食店さんにお邪魔していた時でした。 僕と対面して座るお知り合いさんが僕の書いている小説に興味を持ってくださって作者画面を見せて欲しいと言われログインして自分の今書いている好きな小説(ロストファミリア)や、 2020-11-14 22:02:42 ポンポコ秋くんは呟きたい☆ @PNPK4649 下手ながらも過去に書いた作品のお話をしているうちに、
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノートJavaScriptd3.jsデータ分析データサイエンスcolaboratory CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZn
データ視覚化のプロが選ぶデータ分析のオススメ本32選
データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。 これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。 中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。 本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。 データ可視化そのものについて知りたいたは、こちらの記事からどうぞ。 データ可視化とは？その重要性や手法、よくある課題と解決策を解説 データ分析における視覚化（ビジュアライゼーション）系のおすすめの本17選1 S
新型コロナウイルス 日本国内の最新感染状況マップ・感染者数(9日0時時点) - NewsDigest
新型コロナウイルス（COVID-19）の感染症法上の5類移行により、感染状況の発表形態が変更されるため、5月8日をもって、新型コロナウイルスに関する情報の更新を終了させていただきます。 これに伴って、NewsDigestのコロナ関連サービスも、順次クローズさせていただきますが、感染状況等に応じて、NewsDigestアプリにて、新型コロナウイルスに関する情報を配信してまいります。引き続き、変わらぬご愛顧のほど、何卒お願い申し上げます。
データ・タング（数据堂科技） AIの学習用データ整備に特化 面倒な作業を請け負うスタイルで急成長 - 週刊BCN+
【中国・北京発】AI（人工知能）の学習用データ整備に特化したデータ・タング（数据堂）が、この1月、日本に進出した。AIの性能を高めるには、AIが学習しやすいよう規則化された学習用データが不可欠。AI開発のおよそ8割が学習用データの取得や整備に費やされるとされる。データ・タングはこの部分を丸ごと請け負うことで、AIのアルゴリズムやアプリケーション、サービスを開発するベンダーの作業工数やコストを軽減。高性能なAIを効率よく実現できるよう支援するユニークなビジネスモデルを構築している。旺盛なAI活用需要を背景に、近年、急成長しているAI関連ベンダーだ。 工数の8割がデータの取得と整備 中国のIT企業が数多く集まる北京・中関村。近年ではAI（人工知能）関連の企業の集積度が高まっており、2011年に創業したデータ・タングもその1社だ。データ・タングの特徴は、AIの性能を高めるのに欠かせない学習用デー
NYタイムズの記者も使っている、データ・ストーリーの王道パターン7選｜Saya｜note
このように、可視化されたデータを連続して見せることによってファクトを伝えるのが、データ・ストーリーの手法です。 Ben Jones氏によるデータ・ストーリーについての解説と、彼が見出した7つの王道パターン データを伝える記事を多く出しているNYタイムズですが、彼らの新人記者向けの研修の資料では、データ・ストーリーについて詳しいBen Jones氏による以下の講演動画が紹介されていました。(講演のスライドはこちらから見られます。) 講演の内容について手短に解説します。Jones氏は当時(2015年)、データ可視化ツール大手のタブローソフトウェアでプロダクトマネージャーをしていました。(ちなみにタブローは、先月Salesforceに1.7兆円で買収されています。) ある日、タブローがいくつかの可視化されたデータを連続して見せる機能を公開したところ、ユーザーはそれを使ってさまざまなデータ・ストー
日本の地価｢一瞬でわかる！｣過去30年の全推移
3月20日、国土交通省から2019年1月1日時点での全国の公示地価が発表された。公示地価とは、土地の評価や取引の基準となることを目的として、国土交通省が全国約2万6000地点の地価を年に1度評価するもの。基準地価や路線価と並び、日本の代表的な地価指標として知られる。 東洋経済では昨年、東京都における基準地価の3Dマップや、全国の市区町村別の基準地価を発表した。今回は30年前、バブル絶頂期の1989年から最新時点までの公示地価、のべ約13万地点のデータを3Dマップにプロットし、日本の地価がどのように変動してきたのかをビジュアルで表現した（https://toyokeizai.net/sp/visual/tko/landprices3/）。 全国の公示地価を30年前から比較可能に データは国土交通省の土地総合情報システムから取得した。対象は2019、2018、2009、1999、1989の各年
JavaScriptのStreams APIで細切れのデータを読み書きする
近年、PCに搭載されるメモリは爆発的に増えました。16GBや32GBのメモリが搭載されているのが当たり前の時代です。性能の制限が強いスマートフォンですら4GBほど搭載していることがあります。ストレージの読み書き速度もどんどん加速し、昔では扱えなかったようなデータ量をリアルタイムで処理できます。インターネット回線も同様に大量のデータを扱えるようになりました。 しかし現実的な大きさのデータを一度に扱おうとすると、現代でもそれなりに処理時間がかかります。ユーザはレスポンスに対して敏感で、反応が0.1秒でも遅れるとストレスを感じます。しかし時間がかかるものはかかるのです。この問題は一見どうしようもないように思えます。 そこで登場するのが「データを細切れにして処理する」というコンピュータにおける万能の薬です。細切れにして逐次処理すれば、少しずつデータを処理することができ、素早いレスポンスを実現するこ
Data Visualization meetup 2017
Data Visualization meetup 2017で登壇した際に使ったスライドです。Read less
普通の人は何をあきらめるべきなのか？
最新の国民生活基礎調査（厚生労働省）をざっと覗いてみると、現代の日本における普通の家の生活環境が透けて見えてきます。 同調査に寄れば、1年間で1世帯が稼いだ平均所得はおよそ546万円であることが分かります。 そこで本日は「平均値＝普通の家」と捉え、普通の家が健全な生活を送っていくために、何を諦め、何を重要視すべきなのかそのライフプランに迫っていきたいと思います。 普通の家ってどんな家？ まずここでは、最新の調査をもとに「普通の家」が置かれている状況を整理してみることにします。 普通の家の収入 引用：年齢階級別の世帯平均所得金額 日本における平均的な世帯年収は、30歳時点でどれほどあるのでしょうか。同調査における年齢階級別の世帯平均所得値から予測してみたいと思います。 そこで、30歳以上59歳以下の世帯に注目し、各階級区間における中央値から年収上昇率を計算してみました。 すると、このグラフに
ケフィアグループの破産は28社、元代表2名も個人破産 ： 東京商工リサーチ
日本経済の「現在」を理解するための手がかりとして、TSRが長年蓄積してきた企業情報、倒産情報および公開情報等に基づき、独自の視点に立った分析をまとめて発表しています。
プロ声優を起用した音声合成用データ、無償公開 研究用途に期待
声優やアニメを研究するサークルの日本声優統計学会は6月26日、プロの声優を起用した音声データとテキストを含むデータベース「声優統計コーパス」をWebサイト上で公開した。音声合成ソフトの作成や言語研究などに使われるデータで、研究目的に限り無償で利用できるという。 公開したのは、プロの女性声優がさまざまな音の要素を含む文章（音素バランス文）を「通常」「喜び」「怒り」の感情別に読み上げたwavファイル。「また東寺のように五大明王と呼ばれる主要な明王の中央に配されることも多い」「カーミラ星と呼ばれている惑星から宇宙船に乗って地球に侵入した宇宙人」──などの文を読み上げている。 参加した声優は土谷麻貴さん（「喰霊-零-」「アルカナハート」など）、上村彩子さん（「エルドライブ」「惡の華」など）、藤東知夏さん（「けいおん！」「グッド・ドクター～禁断のカルテ～」など）。長さは計2時間、総ファイルサイズは7
金融データのPythonでの扱い方 - 今日も窓辺でプログラム
はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使
機械学習のデータセットの重要性 - Qiita
機械学習のデータセットの重要性についての私見を以下に述べます。 （「じゃあ、他の手法と比べてみたときにどうなんだ？」に付記として書いていた内容に追記して独立の記事に書き換えたものです。） さまざまな機械学習の例題を見つけて実行すると、web上にある十分によく使われているデータセットを使うことになる。国内外の研究所や大学や一部の企業が公開したデータの作成者は、その分野の機械学習の専門家であり、学習や評価に足りるだけの力を尽くしたデータセットになっています。そのデータを用いて、web上に書かれたよいサンプルプログラムをそのまま実行してみると、とても簡単にそれなりの結果が得られるので、機械学習はとても簡単なことだと勘違いしてしまうことがあるかもしれません。しかし、実用水準の機械学習結果を作り上げるには、独自の学習データの収集が有効だということを知る価値があります。空港でパスポートの写真と顔照合す
Machine Learning Studio (クラシック) のデータを準備します - Azure Architecture Center
データの前処理とクリーニングは、データセットをモデルのトレーニングに使用する前に実行する必要がある重要なタスクです。 生データはノイズが多く、信頼性が低く、値が欠落している可能性があります。 このようなデータを使用してモデリングを行うと、誤解を招く結果が生成されることがあります。 これらのタスクはTeam Data Science Process (TDSP) の一部であり、通常は、必要な前処理の検出と計画に使用されるデータセットの初期探索に続きます。 詳細については、 「Team Data Science Processとは」 を参照してください。 データ探索タスクのような前処理タスクとクリーニングタスクは、SQL、Hive、Azure Machine Learning Studio (クラシック) などのさまざまな環境で実行できます。 RやPythonなどのさまざまなツールや言語を使用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
洗濯機が不登校を解決？ データが発見した新市場 - 日本経済新聞
Google、データセット検索をロンチ
Strava Labs