matplotlibのめっちゃまとめ - Qiita
0. はじめに やりたいことがあるたびにいちいちGoogleや公式サイトで検索してそれっぽいのを探すのはもう面倒だ。 やっとそれっぽいのを見つけたのに、一行で済むようなことを「plt.なんちゃら」だの「set_なんちゃら」をたくさん並べましたなんてブログはもはや検索妨害だ。 Qiitaにすら僕のためのいい感じのまとめがないなんて…… よく考えたら自分が普段使うようなメソッドなんて限られているじゃないか。 もう自分でまとめるわ。自分のために。 というわけでインポート。 ちなみにmplは6.4.と6.5.でしか使わない。 1. 図（Figure）の作成 matplotlibの描き方は、まず台紙となるFigureをつくり、そこに付箋Axesを貼り、その付箋にプロットしていくというのが僕の中のイメージ。 したがってまず台紙を作る。これにはplt.figure()を用いる。plt.subplots(
Python言語による実務で使える100+の最適化問題 | opt100
指針 厳密解法に対しては、解ける問題例の規模の指針を与える。数理最適化ソルバーを使う場合には、Gurobi かmypulpを用い、それぞれの限界を調べる。動的最適化の場合には、メモリの限界について調べる。 近似解法に対しては、近似誤差の指針を与える。 複数の定式化を示し、どの定式化が実務的に良いかの指針を示す。 出来るだけベンチマーク問題例を用いる。OR-Libraryなどから問題例をダウンロードし、ディレクトリごとに保管しておく。 解説ビデオもYoutubeで公開する． 主要な問題に対してはアプリを作ってデモをする． 以下，デモビデオ： 注意 基本的には，コードも公開するが， github自体はプライベート そのうち本にするかもしれない（予約はしているが， 保証はない）． プロジェクトに参加したい人は，以下の技量が必要（github, nbdev, poetry, gurobi); ペー
Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita
Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン
「Pythonで儲かるAIをつくる」はビジネス向けの超実践的な機械学習本でした - karaage. [からあげ]
「Pythonで儲かるAIをつくる」を読みました 日経BP様より「Pythonで儲かるAIをつくる」を献本いただきました。筆者の赤石さんは、日本IBMで働く、本職のデータサイエンティストです。赤石さんの執筆したAI書籍の本は3冊目4冊目になります。赤石さんに関して、詳細はIBMの以下ブログ記事が詳しいです。 Pythonで儲かるAIをつくる 作者:赤石 雅典発売日: 2020/08/06メディア: 単行本 Pythonで儲かるAIをつくる 作者:赤石 雅典発売日: 2020/08/06メディア: Kindle版 AI関連書籍三冊目を出版したIBM赤石雅典に聞く「AIと仕事と執筆」 | IBM ソリューション ブログ 赤石さんが書いた本は、いずれも基礎から丁寧に説明してあり分かりやすい内容です。特に「ディープラーニングの数学」は社会人になってから、必要に迫られてディープラーニングに必要な数学
![「Pythonで儲かるAIをつくる」はビジネス向けの超実践的な機械学習本でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9449c9db4388eeb4c8c79bd8b9f8f8c89aee3743/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200809%2F20200809110655.jpg)
PyTorchを使ったDeep Learningのお勉強 PyTorch Lightning編 - konchangakita
PyTorchだけでも層のパラメータ定義など簡単なっていますが、コードを更にスッキリ（可読性を上げる）できるフレームワークなPyTorch Lightning github.com PyTorchシリーズ第2回目です PyTorch お勉強シリーズ PyTorchを使ってDeep Learningのお勉強 基礎編 第2回 PyTorchを使ったDeep Learningのお勉強 PyTorch Lightning編（イマココ） 第3回 PyTorchを使ったDeep Learningのお勉強 TensorBoard編 第4回 PyTorchを使ったDeep Learningのお勉強 画像認識編（MNIST） 第5回 PyTorchを使ったDeep Learningのお勉強 画像認識編（CIFAR-10） PyTorchを使ってみる目的は、複雑になりがちなDeep Learningのコードを
日本語正式サポートされた自然言語処理ライブラリspaCyのStreamlit可視化が超お手軽だった - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。 最近、spaCyの日本語版モデルが正式サポートされたのでいろいろ触ってみたところ、解析結果ビジュアライズを全部まとめるStreamlitアプリも同じ月に提供されていることがわかったので、今回はそちらを紹介します。 なお、ビジュアライズ機能の一部(係り受け解析)は1年前の記事「その他」で紹介しています。 tech-blog.optim.co.jp 実行手順 spaCyのUniverseプロジェクトであるspacy-streamlitをインストールします。 pip install spacy-streamlit 起動用スクリプト(streamlit_app.py) import os import pkg_resources, imp import spacy_streamlit models = ["ja_core_news_lg", "ja_
【自動化】PDF内の表をPythonで抜き出す - Qiita
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
「クッパ姫」に関するツイートをpythonで収集して、バースト検出してみた
「Twitterデータを使って、何か面白いことができないか」の第二弾です。 前回： 「停電」に関するツイートをpythonで収集して、WordCloudで可視化してみた https://qiita.com/pocket_kyoto/items/0f43c9fdce87bddd31cf 今回は、前回と同様の方法で、Twitterデータを収集し、 「クッパ姫」に関する2018/9/24のツイートを可視化し、「クッパ姫」と共起する語のバースト検出を試してみました。 ※この記事は2018/09/24に執筆しました。「クッパ姫」の元ネタがツイートされたのが2018/09/20（木）。その後、2018/09/23（日）に日本でTwitterのトレンド入りし、2018/09/24（月）には、様々なスーパーマリオキャラの女体化に関するツイートがトレンド入りしました。 クッパ姫って？ クッパ姫とは、『スーパ
【Python】 機械学習の可視化が捗るライブラリ「Yellowbrick」 - フリーランチ食べたい
機械学習Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは 一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。 例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=
pylab_examples example code: multiple_yaxis_with_spines.py — Matplotlib 2.0.2 documentation
import matplotlib.pyplot as plt def make_patch_spines_invisible(ax): ax.set_frame_on(True) ax.patch.set_visible(False) for sp in ax.spines.values(): sp.set_visible(False) fig, host = plt.subplots() fig.subplots_adjust(right=0.75) par1 = host.twinx() par2 = host.twinx() # Offset the right spine of par2. The ticks and label have already been # placed on the right by twinx above. par2.spines["right"]
まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand
データサイエンスや機械学習のチートシートを最も効率的に収集する方法 - Qiita
機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか？そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt
Python用の自然言語処理ライブラリ”StanfordNLP”を試す | DevelopersIO
StanfordNLPとは StanfordNLPとは、スタンフォード大学の自然言語処理(Natural Language Processing, NLP)グループが提供するPythonのNLPライブラリです。 同じくスタンフォード大学のNLPグループが提供するStanford CoreNLPというJavaで書かれたNLPツールのサーバーにアクセスする為のパッケージが含まれています。 GitHub - StanfordNLP GitHub - Stanford CoreNLP ライセンス 基となるStanford CoreNLPはGNU GPL(v3以降)ですが、StanfordNLPはApache License Version 2.0となっています。 特徴 StanfordNLPは、Python3.6以降をサポートしており、トークナイザー、形態素解析、依存関係パーサー等の機能を有します
pythonによる日本語前処理備忘録 | ブログ一覧 | DATUM STUDIO株式会社
はじめにこんにちは。DATUM STUDIOの安達です。 最近社内で日本語のテキストを用いた自然言語処理でよく質問を受けるのですが、前処理についてはそこそこ同じような内容になるため、本記事では社内共有の意味も込めて前処理に関して用いてきた＆用いれそうな手法を列挙します。 比較的同じ内容を扱った既存の記事としては以下のようなものもあり、読者の方はこれらも参考にされて要件に合わせて取捨選択してください。 自然言語処理における前処理の種類とその威力 – Hironsan自然言語処理の前処理・素性いろいろ 本記事における使用言語、環境は以下の通りです。 ・osx 10.13.6・anaconda 5.2.0・python 3.5.2Table of contents ・形態素解析段階での前処理 ・文字表現の正規化 ・URLテキストの除外 ・Mecab + neologd 辞書による形態素解析 ・形
Pythonに関するオススメの書籍/サイト/サービス/Podcast/イベントの情報をシェアします - フリーランチ食べたい
Pythonをこれから勉強したい or 最新情報のキャッチアップがわからない、という方に tskubapy.connpass.com つくばPythonもくもく会 No.2を開催しました！ 参加者の方の中にはこれからPythonを始めたい、という方もいらっしゃったので、今まで自分が勉強してきた中で役に立ったものをリストアップして、LTしました。 自分は機械学習系のエンジニアをしていて、そっちの方向で学んでいることも多いので、「言語について」と「機械学習/データ解析」という分け方をして紹介したいと思います。 「機械学習/データ解析」に関してはPythonに関係するものだけに絞っています。 書籍に関してはたくさん挙げられても迷ってしまうと思ったので、本当は他にもたくさん素晴らしい書籍があるのは理解しつつ、「あえて選ぶなら」を載せています。 学習する上で注意すること 勉強する教材を選ぶ上で個人的
テキストに含まれた情報を有向グラフに変換する話（一）：可視化の章 - Qiita
こんにちは。理系大学院で修業中のスーパーケロケロです。趣味で自然言語解析（NLP）の勉強をしています。最近、テキストに含まれた情報を有向グラフに変換するPythonライブラリーnaruhodoを作ったので、ライブラリーの紹介も兼ねて、テキストを有向グラフに変換する話を少ししてみたいと思います。 naruhodoのGithubリポジトリはこちら、最新バージョンはです。 自然言語解析の流れ 自然言語解析を料理に例えれば、入力されたテキストは収穫待ちのコムギのようで、そのままでは使えない。このコムギを形態素解析で脱殻し（形態素単位で分離）、さらに词类（Part-Of-Speech）や依存構造解析で小麦粉にしてから（文法情報の付与）、ようやくパンのような美味しい食べ物が作れる（実際の応用）。 テキストが処理されるごとに、使える情報が増えて、応用の幅が広げるわけです。 文＝＞木、文章＝＞有向グラフ
Jupyter 知っておくと少し便利なTIPS集 - Qiita
今まで仕事で使ってきた、メジャーなものからマイナーなものまで含めたJupyter NotebooksのTIPS集です。 入力補完 とりあえずこれが無いと生きていけません。 Nbextensions（Jupyterの拡張機能）自体が未設定であれば、一旦そちらをインストールして、その後にHinterlandという機能にチェックを入れると有効化されます。 AnacondaのJupyter notebookでnbextensionsを使う ※Nbextensionsインストール後、Jupyterのファイルリスト的な画面で、タブで「Nbextensions」という選択肢が追加されます。 Azure Notebooksなどだと、最初からインストール不要で選択できるようになっています。 Google Colaboratoryなどでは、そういった設定ができるのかまだよくわかっていません。（ご存じの方コメン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - oreilly-japan/deep-learning-from-scratch-3: 『ゼロから作る Deep Learning ❸』(O'Reilly Japan, 2020)
Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019
GitHub - yoyoyo-yo/Gasyori100knock: image processing codes to understand algorithm
