KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜
BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-performance video card that supports VESA local bus with 1-2MB RAM. Does anyone hav...", ...]） 出力： 各文書の関係性を表した2次元座標図 ソースコード 以下にもあります Github Google colab import pandas as pd from umap import UMA
https://www.mitsubishielectric.co.jp/ir/data/integrated_report/pdf/2023/integrated_report2023_jp.pdf
Q.どっちがランダムな点の分布でしょう？ A.どっちもランダムです！ - Qiita
ことのはじまり 僕がいつもどおり楽しくTwitterをしていると科学雑誌のNewtonさんがこんなツイートをしているのを目にしました。 二つの図のうち「ランダムな点の分布」はどちら？ こう聞かれて，「左」と答える人もいるでしょう。実際は「右」がランダムな点の分布で，左は点どうしがなるべく重ならないように配置したものです。人は，ランダムである右の図から，“意味がありそうなパターン”を読みとってしまいがちなのです。 pic.twitter.com/tDiheQcUM6 — 科学雑誌Newton（ニュートン）公式 (@Newton_Science) 2018年8月21日 いやいやちょっと待てよと ランダムという言葉は無作為という意味だけでどういう分布かという意味は含まれていないんだぞ と思いました。（いや左の図がきれいな数式で決まっているのかもしれませんが…） Newtonさんの気持ちもわかるん
「俯瞰」可視化が情報探索・分析を変える
下記のイベントでLTした資料です。私はDay 1に「「俯瞰」可視化が情報探索・分析を変える」というテーマで発表しました。 データ可視化ショーケースイベント Data Visualization meetup 2022 https://peatix.com/event/3452708 「俯瞰」可視化に関する、①アルゴリズム、②背景思想、情報探索・分析を変える可能性、③関連プレイヤーを話しました。
「データビジュアライゼーションの基礎」のまとめ グラフ編
こんにちは、Wantedlyでデータサイエンティストをしている樋口です! 先日会社で買ってもらったデータビジュアライゼーションの基礎を読みました。データ可視化について網羅的にわかりやすく書かれており参考になったため、記事にまとめてみました。書籍の英語版は無料で公開されているため、よければこちらも参考にしてみてください。 データビジュアライゼーションの知識を学ぶことで、科学的に誤った表現をせずに、芸術的に美しい表現ができ、明確で明瞭かつ魅力的にデータから得られる示唆を伝えることができる様になります。📊 本記事では、特定のライブラリや描画手段によらないデータ可視化の基礎について紹介します。 分量が多くなってしまったので、本記事ではデータビジュアライゼーションの”グラフ"にのみ着目しています。グラフ以外の構成要素(色、タイトル、テキスト、etc.)については別途記事にしたいと思います。 本記事
わかりやすいシステム構成図の書き方 - Qiita
わかりにくいシステム構成図とは こんなシステム構成図を書いてないでしょうか？ このシステム構成図のわかりにくい点が３つあります。それは 製品名は書いてあるが「役割」が書いていない データと処理が区別できない データの流れと制御の流れが区別できない の３つです。 わかりやすいシステム構成図 これら３つのわかりにくい点を改善したわかりやすいシステム構成図が↓です ポイントを解説していきます ポイント1. 製品名称ではなく「役割」を書く システム構成図には製品名称ではなくシステムコンポーネントの「役割」を書きます。 役割とは、例えば〇〇データや〇〇処理といったことであり、それを読むだけでシステムの動きを理解できる文字列です。役割をかかずに製品名称のみを書いてしまうと、その製品を知らない人が見たときに理解できません。例えば「Cloud Pub/Sub」という製品はGCPというパブリッククラウドの分
From data to Viz | Find the graphic you need
From Data to Viz leads you to the most appropriate graph for your data. It links to the code to build it and lists common caveats you should avoid. What kind of data do you have? Pick the main type using the buttons below. Then let the decision tree guide you toward your graphic possibilities. Alternatively, check the complete decision tree.
PlantUML で JSON データを簡単視覚化
最近，仕事で使うことがあってたまたま気がついたのだが， PlantUML って JSON や YAML のデータを視覚化できるんだね。 やり方は簡単。たとえば { "firstName": "John", "lastName": "Smith", "isAlive": true, "age": 28, "address": { "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postalCode": "10021-3100" }, "phoneNumbers": [ { "type": "home", "number": "212 555-1234" }, { "type": "office", "number": "646 555-4567" } ], "children": [], "spous
立体的な表現で見やすいネットワーク図がブラウザ上で作成できる「Isoflow」
ネットワークの構成を視覚的に把握しやすいアイソメトリック図で表現でき、作成した図面を共有して相手に見せることができるオンラインサービスが「Isoflow」です。 Isoflow https://isoflow.io/ まずはお試しですぐに図面の作成画面に行くことができます。「CREATE A DIAGRAM」をクリック。 表示されたキャンバス上の好きな位置のマス目をクリックするとノード部品が設置されます。 ノードが設置されると左側にダイアログが出現するので、Label入力欄で名前を付けます。ノードのアイコンを変更するため「Node icon」をクリック。 アイコン一覧が表示されるので目的のアイコンの絵をクリックして変更します。 さらにノードを増やした後、ノードアイコンをクリック。 ノードのサブメニューが表示されるので「Connect」をクリック。 ノードを接続するためのポインタをマウスで動
可視化法学 Japanese Law Visualization
About 可視化法学とは 可視化法学とは法律を情報技術を用いてよりわかりやすくするプロジェクトです。 Law Visualization is a project to make the law easier to understand using information technology. 可視化法学とは 可視化法学とは、分かりにくい法律を情報技術を用いて可視化する試みです。 情報工学を用いて法律間のつながりや構造を明らかにし、よりわかりやすくすることを目指しています。 法律は文系の科目でコンピュータなどは使わず、法律と情報技術は無縁だと考えられがちです。そのため、これまで法律に対して可視化するとか情報技術の対象にするという風には考えられてきませんでした。そうなった理由は２つ考えられる。一つには法律は条文の数が多く構造は複雑で昔の非力なコンピュータでは処理が出来なかったため。 もう
Python Interactive Network Visualization Using NetworkX, Plotly, and Dash
They say a graph is more than a thousand words. I totally agree with it. I would prefer to look at a network graph, rather than reading through lengthy documents, to understand a complicated network pattern. This post is about a Python interactive network visualization application. In the first half, it covers the network visualization…
【図解入門】シンプルな図の作り方｜櫻田潤🎨インフォグラフィック・エディター｜note
3年前に、図解の基本をまとめた本『図で考える。シンプルになる。』を書きました。その内容から、エッセンスを抽出したのが本noteになります。 （１）「幕の内図解」と「イチオシ図解」 図には、大きく分けて、2つのアプローチがあります。 ひとつは、幕の内弁当のように、いろんな要素を盛り込んだ図で、もうひとつが、唐揚げ弁当のように、イチオシのおかずにフォーカスした図です。 たとえば、桃太郎の話を「幕の内図解」のアプローチでまとめてみたのが、つぎの図です。 登場人物とエピソードをフラットに扱って、網羅的に盛り込んでいます。 この図を使って、人に説明しようとすると、「まず、お婆さんですが……」「つづいて、お爺さんですが……」といった具合に、「お婆さん」「お爺さん」「桃太郎」それぞれの視点に切り替えが必要になり、話す方も話しづらければ、聞く方もまどろっこしく感じてしまいます。 相手がじっくり聞く耳を持っ
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノートJavaScriptd3.jsデータ分析データサイエンスcolaboratory CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZn
GitHub - benmaier/netwulf: Interactive visualization of networks based on Ulf Aslak's d3 web app.
Simple and interactive network visualization in Python. Network visualization is an indispensable tool for exploring and communicating patterns in complex systems. Netwulf offers an ultra-simple API for reproducible interactive visualization of networks directly from a Python prompt or Jupyter notebook. As a research tool, its purpose is to allow hassle-free quick interactive layouting/styling for
自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男
こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇♂️）
無料でデータを可視化して効率化できる！Google Data Studioとは
「データを上手くまとめる方法を知りたい」と思っている方は多いのではないでしょうか。 Excelなどで表を作っても視覚化して分析するのは大変ですよね。Google Date Studioはそんな悩みを解決してくれます。データを視覚化できるのでプレゼンテーションや分析に役立つツールです。 今回はそんなGoogle Date Studioについて基本的な情報や特徴を紹介します。さらに実際の使い方も解説しているのでぜひ最後までお読みくださいね。 Google Data Studioとは？ Google Data Studioは、Googleが無料で提供しているデータ収集・分析・解析ツールです。 Googleの既存ツールであるGoogle AnalyticsやGoogle AdWordsなどのデータ、さらには表計算ツールとして多くの人に支持されているスプレッドシート、MySQLなどのデータもそのまま
マンガでわかるHCI: 公衆衛生とデータ可視化の歴史｜マンガでわかるHCI（ヒューマン・コンピュータ・インタラクション）
さて、世界は今コロナ一色ですね。 日本では少し落ち着きを取り戻してきたみたいですが、アメリカでは - 大統領は、コロナをChinese Virusと呼び出したり - 若者たちはオレたちゃ重症化しねぇとフロリダのビーチに押しかけたり - 暴動が起こると予想して、身の危険を感じる人々が銃を買い求めたり といった、なかなかカオスなことになってます。笑 ちなみに、著者はアメリカのPhD学生で、現在アメリカに住んでます。この夏は、シアトルのMicrosfot Researchにインターンに行く予定だったんですが、ボーイングがチャプター11して、シアトルの街が失業者に溢れかえるんじゃないかと若干心配してました。なんとかそこは免れたようですが、ただ逆に、インターン自体がリモートになりそうな勢いですが。笑さて、今回は、そんな公衆衛生に少し関連した話です。 公衆衛生とデータ・ビジュアライゼーションところで、
10 considerations before you create another chart about COVID-19
Why Tableau Toggle sub-navigation What Is Tableau Build a Data Culture Tableau Economy The Tableau Community The Salesforce Advantage Our Customers About Tableau Toggle sub-navigation Mission Tableau Research Awards and Recognition Tableau Foundation Equality at Tableau Products Toggle sub-navigation Tableau Tableau Pulse Data Management Embedded Analytics CRM Analytics Enterprise Tableau Public O
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Visualisation for UXUI Design
共起単語可視化システム