『コロナ感染マップ、誰も作らないので私が作りました』
マスメディア報道のメソドロジーマスメディア報道の論理的誤謬（ごびゅう：logical fallacy）の分析と情報リテラシーの向上をメインのアジェンダに、できる限りココロをなくして記事を書いていきたいと思っています（笑） 緊急事態宣言が都道府県ごとに解除される中、ハッキリ言ってピントがズレているのは、専門家会議が感染者の【空間分布 spatial distribution】を定量的に把握することなく、都道府県ごとの感染者数の時間変動のみを参考にブレイン・ストーミングによって緊急事態の解除の可否を検討していることです。 緊急事態の空間的な解除を見極めるにあたって、本当に重要なことは、特定地域の感染率の空間分布の挙動が時間の経過とともにどのように変化しているかという【時空間挙動 spatio-temporal behaviors】を把握することです。また、同一都道府県内においても歴然とした【不
あらゆるデータセットに使える3つの可視化テクニック | Yakst
Python の可視化ライブラリである Seaborn を利用して表現豊かなグラフを生成するためのテクニックを紹介する記事です。グラフの選択基準としてデータを構成する値が分類のある値かそれとも連続値であるかに注目しており、この記事を通して実践的なテクニックを身につけることができます。 可視化は素晴らしいものです。ですが、優れた可視化の実現は悩ましく容易ではありません。 また、大勢に対して優れた可視化をプレゼンするような場合には時間と労力がかかりますよね。 私たちは棒グラフ、散布図、ヒストグラムの作り方についてはよく知っていますが、それらを美しくすることに対してはそこまでの注意を払っていません。 このことは同僚やマネージャーからの信頼に影響します。今あなたがそれを感じることはありませんが、それは起こることです。 さらに、私はコードの再利用が重要であることを知っています。新しいデータセットに触
【Python】 機械学習の可視化が捗るライブラリ「Yellowbrick」 - フリーランチ食べたい
機械学習Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは 一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。 例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=
Pythonの可視化ライブラリ「Bokeh」ではじめるデータビジュアライゼーション
Pythonの可視化ライブラリ「Bokeh」ではじめるデータビジュアライゼーション Bokehではじめるデータビジュアライゼーション 2019年1月22日、freee株式会社にて、Data Driven Developer Meetupが主催するイベント「Data Driven Developer Meetup #4」が開催されました。サービスをより良いものにするために日々データと向き合っているデータサイエンティストやエンジニアなど、様々な職種で活躍する人々が集い、知見を共有する本イベント。今回は日本経済新聞社とエムスリー株式会社の2社がメインセッションに登壇し、自社の取り組みについて語りました。プレゼンテーション「Bokehではじめるデータビジュアライゼーション」に登場したのは、YukiyoshiSato氏。デモを交えながら、Pythonのインタラクティブビジュアライゼーションライブラリ
決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog
こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多
サイバー攻撃をリアルタイムで見える化するツール6選
最近、サイバー攻撃に関する調査でよく指摘されるのが、企業や組織において、攻撃が始まってから発覚するまでの期間の長期化だ。攻撃者が巧妙に侵入するため、気づかれにくくなっているという。攻撃の発見が遅れれば遅れるほど、被害は拡大することになる。調査結果でも、企業がサイバー攻撃から受ける被害は深刻化していることが明らかになっている。 そうした状態を回避する手段の1つが、攻撃をリアルタイムで可視化しているツールだ。同ツールを用いて世界中で発生している攻撃の状況や傾向をつかむことで、自社のセキュリティ対策に役立てることが可能だ。 以下、6つのツールのポイントを紹介しよう。 (1)NICTER WEB弐 「NICTER WEB弐」は、情報通信研究機構(NICT)がダークネットの観測を行い、サイバー空間上の不正なトラフィックを可視化しているツールだ。 ダークネットに到達したパケットを、世界地図上でアニメー
巨大な地理空間データをサクッと可視化できる、Uber社製オープンソースwebGIS「Kepler.gl」
kepler.gl Uber社では、自社で集めた地理空間データを可視化するためのフレームワーク deck.gl をオープンソースとして公開していますが、deck.glを用いて作成されたwebGIS「Kepler.gl」のver.1.0が公開されました。 webGLに対応したブラウザであれば、サイトにアクセスするだけで利用できるので大規模な位置情報などを可視化するソフトウェアをお探しの方は試してみてはいかがでしょう。 1分でわかるKepler.glの使い方 「Add Data」ボタンでデータを追加して、「Add Layer」ボタンで可視化方法を選ぶというのが基本的な操作方法になります。 csvデータをアップロード 「Add Data」ボタンをクリックし、下記画像の赤枠で囲まれた部分に、緯度、経度のデータが含まれるcsvファイルをドラッグ＆ドロップします。 レイヤーを追加 「Add Layer
OSSのデータ可視化ツール「Metabase」が超使いやすい - Qiita
Metabase、まじでイケてる。 1日で、Re:Dashから乗り換えました。 Metabaseとは OSSのデータ可視化ツール。Re:Dashとかと同じ類。 AWSとかに乗せて、誰もが見れるダッシュボードを作ったりする時に使うと、俺かっけーってなります。 スクリーンショット 実際に社内で運用している様子をモザイク付きでお見せします。 毎日みているダッシュボード。これの4倍くらいの数値見てる。 ダッシュボードの編集。マウスで簡単に位置や大きさの変更ができる。 クエリビルダー的なやつがあり、グルーピングとか超絶便利。SQL書けない人でも、単一テーブルとかだったら余裕かと。 グラフ化も簡単。 SQLでのクエリ編集画面。ちゃんと補完してくれる。 Metabaseの良い所 見た目が格好いい。 インストールが簡単。 openjdk-8-jdk入れて、jarファイル置くだけ。 豊富なデータソースに対応
go tool traceでgoroutineの実行状況を可視化する - ( ꒪⌓꒪) ゆるよろ日記
こんにちわ。しいたけです。今日はgoroutineの実行状況をいいかんじに可視化するツールの話です。 goのプロファイリングツールと言えば、 runtime/pprof や net/http/pprof ですよね。これらの使い方はググればすぐに出てくるのですが、 詳細なtraceを取得して可視化できる runtime/trace については、日本語の情報が殆ど無いので書いてみましいたけ。 runtime/trace はgoroutineの実行状況やsystem callのイベント、Heapやnetworkの状況をこんな感じに可視化してくれるので便利です。 これは自作のクローラーを動かしている際のtraceを可視化したもので、横軸がタイムラインになっており、上段に Heapの使用状況やgoroutineとos threadの数が, 下段はnetworkやProccesor(GOMAXPROC
Pythonで株価データを取得し、Matplotlibで可視化する。 - Fire Engine
はじめに 株価データは、代表的な時系列データの一つですが、Pythonはこの時系列データを取り扱うのを非常に得意としています。特に、Pythonライブラリの一つであるpandasはもともと金融データを扱うために開発されたため、時系列データの分析に強力な機能を数多く備えています。 今回やることは非常にシンプルで、下記の２点だけです。（すべてIPython Notebook上で行っています。） １. Google Financeからトヨタの株価データを取得する。 ２. 取得した株価データを時系列データとしてプロットする。 株価データの取得 まず始めに、下記のように必要となるライブラリをインポートします。 import pandas as pd from pandas import Series, DataFrame import numpy as np import matplotlib.py
TensorFlow Playgroundはニューラルネットを理解するのにおススメ - 西尾泰和のはてなダイアリー
ネットワークの重みや各ニューロンがどういう入力の時に発火するのかが、学習していく過程で各時刻可視化されてとても良い教材です。 http://playground.tensorflow.org/ うずまきのデータセットに関して「中間層が1層しかないとうずまき（線形非分離な問題）は解けない」という誤解があるようなので、まずは1層でできるという絵を紹介。なお僕のタイムライン上では id:a2c が僕より先に気付いていたことを名誉のために言及しておきます。 で、じゃあよく言われる「線形非分離な問題が解けない」ってのはどういうことか。それはこんな問題設定。入力に適当な係数を掛けて足し合わせただけでは適切な境界を作ることができません。 こういうケースでは中間層を追加すると、中間層が入力の非線形な組み合わせを担当してくれるおかげで解けなかった問題が解けるようになります。 1つ目のデータセットでは特徴量の
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分類 大きく分けると、可視化ツールは以下の３つに分けられそうです。 ログ収集/集計 時系列DB（＋API）の担当。バックエンド側。 可視化部分の担当。 今回は バックエンド と 可視化部分 に焦点を当ててみます。 バックエンド 全文検索時エンジン+Restfu
Blender + python 備忘録
Blender + python で無料、お手軽、高画質、かつほぼフルスクリプト制御な３次元作図を目指す。基本的には個人的なメモ・備忘録。 Blender + python とは？ Blender は比較的高画質な画像が作れる無料の３次元モデリング・レンダリングソフト。 python は最近日本でも少し知られてきたスクリプト言語。 python を使って Blender を動かすための API が公開されている。これを使うことでスクリプト制御による高画質な作図が出来る（はず）。 このサイトの前提・目的・対象 プログラミングは出来るけど python や Blender は使ったことがないという人が、このサイトを見ることで１時間以内になんとなく作図できるようにする。 サイトは逆引きリファレンス的に使えるようにする。各項目は次エントリ（↓）に。 科学論文に必要な図が描けるようにする。（概念図、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アルゴリズムビジュアル大事典
ハイスキルなエンジニアのプレミアム転職Findy（ファインディ）
Google、機械学習のデータセットを視覚化するオープンソースツール「Facets」を公開／「Jupyter」のノートブックやWebページに埋め込んで利用できる