はてなブックマーク

更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実

はじめに 先日、以下の記事を読ませていただきました。 AutoMLって、こんなにあるんですね・・・。 早速、実行したことのなかったAutoMLのひとつ、H2O を試してみることにしました。 H2O は、”ソースコードを1行も書くことなくGUIのみですべての機械学習フローを実現” ってのが王道の利用スタイルようですが、本記事では、GUIを利用せず、Pythonで実装します。 いくつかのデータセット（分類や回帰）を読み込めるようにセットし、読込んだデータを訓練データとテストデータに分割してH2O に与えます。 その後、H2O を実行し、モデル学習やモデル評価を行います。 実行はノーコードです。いくつかの設定をドロップダウンとスライドバーで指定するだけです。 実行条件など -Google colabで実行 -任意のデータセットとsklearn等のデータセットを読み出せるようにしています。 実行

はじめに Auto_ViMLは、必要最小限の変数で高性能な解釈可能モデルを構築することができるAutoMLライブラリです。 実行可能な内容は、データクリーニング、相関の強い特徴量の自動削除、モデル構築、モデル評価の視覚化等、データを与えるだけで一連の手続きはおまかせというライブラリになっています。 この作者は、AutoViz というAutoEDAの作者でもあります。 AutoViz は、動作速度的にもビジュアル的にも優れており、あのPyCaretにも取り入れられているということで、Auto_ViML もよいに違いない！ 本記事では、このAuto_ViML をGoogleColabで実行します。 いくつかのデータセットを読み込めるようにセットし、読込んだデータを訓練データとテストデータに分割してAuto_ViML に与えます。 その後、Auto_ViML を実行し、実行結果を確認します。 実

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2022/10/20：plotnineのテーマも記事にしました。 はじめに Rにggplot2という視覚化パッケージがあり、このPython版が plotnine です。 Python の視覚化といえば、matplotlib、seaborn が代表格。この他にBokeh やPlotly 等 さまざまありますが、ggplot2（＝plotnine）でしか描けないグラフもあり、これがまたいいんです。 見た目が美しく、美しいからこそ可読性も高い、ありがたいライブラリです。 この記事では、sklearn のワインのデータセットで plotnin

2022/08/15 紹介いただいた「国語研長単位」モデルで実行した番外編の記事もアップしました。 はじめに テキストアナリティクス入門 この書籍は、テキストアナリティクス初学者向けの入門書です。 テキストアナリティクスとは何だということのみならず、頻出語やこれを表現したWordCloud、共起ネットワークをどのように活用すべきかが、実例に沿ってわかりやすく解説されていて、とても参考になりました。 紹介されているテキストアナリティクスを実行したい！ということで、 1回目は、テキストの頻出語確認→WordCloud→共起ネットワークの作成および原文検察を、形態素解析した単語で実行。 2回目は、1回目の内容を複合語（名詞+名詞）で実行。 3回目である今回は、ひとつの単語として表現したい複合語を辞書に登録し、実行してみました。 テキストアナリティクスは、テキストを形態素解析にかけて単語に分解し、

はじめに テキストを自動で要約してくれるPythonライブラリがあります。 長文、短文に関わらずテキストを与えると、ぎゅっとまとめた要約文を返してくれるというものです。 どの程度の要約ができるかはやってみないとわかりません。 テキスト要約には、大きく「抽出型」と「生成型」があるようですので、いずれもやってみることにしました。 今回の記事は、sumyという「抽出型」のPythonライブラリの適用例の紹介です。 sumyについて Python Package IndexにAutomatic text summarizerとあります。抽出型テキスト要約ができるPythonのライブラリです。 HTMLページやプレーンテキストから要約を抽出するためのシンプルなライブラリとコマンドラインユーティリティで、複数の要約アルゴリズム（LexRank, Lsa, Reduction, Luhn, SumBas

2021/11/13：本文抽出+ノイズ除去済の「学問ノススメ」 ← 必要な方はこちらをクリック はじめに 前回の記事では「TF-IDF」によるワードクラウド描画にチャレンジしましたが、思い通りにならなかった点（以下）がありましたので、再度チャレンジしました。 scikit-learnの「TfidfVectorizer」というライブラリがうまく使えなかった… nlplot（自然言語可視化・分析ライブラリ）もフルで試せなかった 実力不足のため、苦労しましたが、なんとか任意のテキストデータで「Word Cloud」、「nlplotによる各種可視化」、「（TfidfVectorizer）によるTF-IDF計算」、「TF-IDFによるWord Cloud」が実行できるようになったたので、備忘も兼ね、記事にしたものです。 実行条件など ・Google colabで実行 ・青空文庫の「学問ノススメ」で実

20211130：Word-cloud記述に誤りあり、修正。 ##はじめに 過去の記事で、テキスト（自然言語）の分析や可視化を紹介しました。分析の手順としてはザっと以下のような内容です。 自由記述であれ何であれ、テキスト（自然言語）をガサっとtxtテキストファイルに放り込む。 「。」でセンテンスに分割。 形態素分析。 WordCloud、出現語カウントグラフ、共起ネットワーク…等を描画 アンケート等で得た結果を全般として把握したい場合は、上記の方法でいいですが、User単位で表形式でまとめられた形式は崩さず、満足度等の情報があればそれらも活かして分析を進めたいですね。 自然言語処理は様々なサイトで紹介されていますが、なぜか不思議とテキストデータを取り込んで…というものばかり。 表形式のデータを取り込み、データフレーム化して自然言語処理を進めたいということで、やってみましたという記事です。

PPSのメリット 先の通り、二次関係𝑦=𝑥² の相関係数は0となりますが、PPS は𝑥から𝑦が0.67 、𝑦から𝑥のPPSは0となります。相関では関係の有無がわからない非線形関係もPPSなら検出することができます。 ブログでは、kaggle「タイタニック生存予測」での比較例も示されていました。 『「中程度の負の相関（-0.55）」があったTicketPriceとClass（客室クラス）のPPSをみると「TicketPriceはClass （客室クラス）の強い予測因子（0.9PPS）、Class （客室クラス）はTicketPriceを0.2PPSで予測するだけ」という関係にあった』とあります。 ※Datasetのカラム名 Fare⇒TicketPrice,Ticket⇒TicketID,Pclass⇒Class,Embarked⇒Portに変えてる? TicketPriceでC

2022/04/30 インタラクティブ表示やhtml出力に対応した記述を追加 ～手元データの要約、視覚化を超簡単に実現して、探索的データ解析(EDA)しよう（AutoViz編）～ はじめに 「おい、悪いが”すぐに”このデータまとめてくれ」 緊急！となれば、そりゃ”すぐに”取りかかるが、”すぐに”まとめることができるかは別の話・・・これはデータ項目が多いときほど悩ましいものです。 じつは、Pythonは、このようなデータセットでも”すぐに”まとめることができる。 前回は pandas-profiling を記事にしました。 今回は Autoviz というライブラリで同じことをやってみたという記事です。 私は、見た目、コードもシンプルで簡単に思えた Autoviz の方が気に入りました。 「Pythonで相関係数行列グラフとか描けるのは知ってるけど、チマチマやってる時間ないんです」 といった方

2021/09/21：なぜかdtreevizが描けない時は”ココ”を確認して を追加 はじめに Pythonには、デシジョンツリー（決定木）の可視化・モデル解釈のためのdtreevizというライブラリがあります。 このライブラリで表示されるデシジョンツリーは、もう美しいなんてもんじゃない。 「プロに頼んだの？」というくらいのビジュアルに、うっとりしたりしてしまいます。 ビジュアル先行ではあるが、このデシジョンツリーは、かなり使えるヤツでもある。 手元データを、Google colabだけで、コードコピペで描く！ことができるよう、適用の備忘も含めてまとめるものです。 デシジョンツリー（決定木）とは何だ？ 「デシジョンツリー（決定木）」そのものの解説は、詳しい先にお預けし、ここでは私が持つ「デシジョンツリー（決定木）」に対する認識をお伝えできればと思う。 まず、以下はデータ分析コンペで有名なK

※2021/9/07：ヒストグラム引数の補足追加。 ※2021/8/31：Pythonを操作したことがない方でも手持ちデータでグラフが描けることができるよう、すこし内容を修正・補足しました。 はじめに 最近、PythonやRで、データ分析したり、グラフを描いたりしている方が増えてきたように思いますが、とはいえ「基本Excelで！」という方々には遠く及びません。 これは、Excelをデータ入力枠そのものとして活用していることと、Excelである程度の分析もできちゃうということがあると思います。私も普段はExcelだけでこと足りています。 そんな私ですが、これまでに何度かPythonで作成されたグラフで「こんなグラフが描けるのかぁ」、「なんと美しい」と心奪われる機会がありました。 動機は不純ですが、単純に**「Pythonでグラフ描きたい！」**、ただそれだけで始めました。 これは「さくら准教