Pythonで本当に役立つ機能「アサーション」の使い方を解説！『Pythonトリック』から
皆さんはPythonの強みを最大限に発揮できているでしょうか。翔泳社から発売した『Pythonトリック』は、その強みの数々をTIPS集としてまとめた1冊です。今回は本書から、コードのエラーを自動的に検出しプログラムの信頼性を高められる機能「アサーション」について抜粋して紹介します。 本記事は『Pythonトリック』の「CHAPTER 2 よりクリーンなPythonのためのパターン」から抜粋したものです。掲載にあたり一部を編集しています。 2.1 アサーションによる安全対策 本当に役立つ言語の機能が案外に注目されないことがあります。どういうわけか、これに該当するのがPythonの組み込みのassert文です。 ここでは、Pythonでのアサーションの使い方をざっと紹介します。アサーションを使ってPythonプログラムでエラーを自動的に検出する方法がわかるでしょう。このようにすると、プログラム
「OK word2vec ! "マジ卍"の意味を教えて」 Pythonでword2vec実践してみた - Np-Urのデータ分析教室
さて、今回はPythonによるword2vecの実践編です！ word2vecって何？？という方は、こちらの記事を一読してから本記事に入って頂くといいかと思います。 www.randpy.tokyo (こちらとても高評価頂いております。ありがとうございます！！） 上のリンク先でも書きましたが、簡単にまとめると、word2vecを使うことで単語の意味をベクトル表現化することができます。 単語の意味をベクトル表現できると、 近い意味の単語を調べる 単語同士の意味を足したり引いたり といった嬉しいことが実現できます。 ということで今回は、タイトルにもある通りJK用語の代表格である”マジ卍”という言葉の意味を、word2vecに聞いてみたいと思います。 本当は"マジ卍"の意味を直接JKに聞きたいのですが、JKの知り合いも当然いないですし……まぁここは頭を使ってデータを使えばなんか分かるっしょという
matplotlibで日本語
matplotlibで日本語を扱う場合の問題点をまとめてみます。 matplotlibでは既定のフォントが DejaVu Serif になっており、日本語は豆腐になってしまう。英語フォントの足りない部分を日本語フォントにリンクする機能がないので、日本語を表示しようと思ったら、日本語フォントを指定する必要があります。 日本語用フォントの殆どがttcフォントファイルであるが、matplotlibではttcフォントファイルに対応していない。例えば、Windowsの場合だと、MSゴシック、MS明朝、メイリオ、游ゴシックというよく使われているフォントがttcである。 ver 3.1.0 から、ttcフォントファイルに対応したので PC だと新しくフォントをインストールする必要はなくなりました。ただし、次の問題は残っています。(2019/4/29 5/19 修正、以下についても大幅に修正しています。)
Pythonでword2vecを自在に操って高次元ベクトルを可視化 | みんなのメモ帳
word2vecで色々な言葉をベクトルに出来たのは良いものの、それを一切活用できない宝の持ち腐れ状態だったのでpythonで色々といじくれるように頑張ってみました。 word2vecをpythonでいじれる環境を作る 依存するパッケージをpipでインストールします。 sudo -H pip install -I numpy scipy gensim matplotlib sklearn python仕様に辞書を作り直す 以前作ったモデルファイルはバイナリになっていてpythonで使うことが出来ないので(多分)、それも含めてもう一度学習をしないといけなくなりました。ので、今回はpythonでコーパスから学習するpythonのコードを。 # -*- coding:utf-8 -*- from gensim.models import word2vec files = word2vec.Text
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
Excel読み込み (xlrd)
excel-pythonライブラリではExcelファイルの読み込みにxlrdパッケージを用います。 ※ここではxlsx形式のファイルを読み込んでいますが、xls形式のファイルも読み込むことができます。 xlrdのインストール 下記コマンドを入力しxlrdをインストールしてください。 ※これはpipがインストールされていることを前提としています。インストールしていない場合はpipの使い方とインストールを参照してください。 pip install xlrd ブックのオープン まずはExcelブックの開いてみましょう。Excelであればどのようなファイルでも構いませんが、例で使用しているファイルは下記リンクよりダウンロード出来ます。 test_book.xlsx import xlrd book = xlrd.open_workbook('test_book.xlsx') xlrdモジュールをイ
pythonのOpenPyXLでExcelのデータをとことん読み取る - Qiita
はじめに pythonのOpenPyXLを使ってExcelのデータをとことん読み込んでみました。 世の中にはまだまだExcelを使って、何かをする需要が高くあります。 Excel内で完結すればよいのですが、Excelからデータを取り出し何かをするのはとても大変です。 私もpythonでデータを編集したいのに、元データがExcelにある、というケースが多々あり四苦八苦していました。 そこでOpenPyXLでExcelのデータを読み込む方法や注意点についてまとめてみました。 本情報が同じような境遇の方に役立っていただければ幸いです。 環境とサンプルデータについて 今回は以下の環境でOpenPyXLを使用しました。 環境 バージョン
Python: tqdm で処理の進捗状況をプログレスバーとして表示する - CUBE SUGAR CONTAINER
最近は Python がデータ分析や機械学習の分野でも使われるようになってきた。 その影響もあって REPL や Jupyter Notebook 上でインタラクティブに作業することも増えたように感じる。 そんなとき、重い処理を走らせると一体いつ終わるのか分からず途方に暮れることもある。 今回紹介する tqdm は、走らせた処理の進捗状況をプログレスバーとして表示するためのパッケージ。 このパッケージ自体はかなり昔からあるんだけど、前述した通り利用環境の変化や連携するパッケージの増加によって便利さが増してきてる感じ。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 もくじ もくじ 下準備 基本的な使い方 panda
B'zの歌詞をPythonと機械学習で分析してみた 〜Word 2 Vec編〜 - 下町データサイエンティストの日常
1. 本Part概要 こんにちは。pira_ninoです。 早速のお知らせなのですが、本編から超絶優秀な友人のtaijest君も編集に加わってもらっています。これに伴いブログのタイトルも若干変更しました。 さて本題に戻ります。 前PartではB'zの歌詞を「LDA」を用いた曲のクラスタリングを行いました。 皆様のおかげで週間のランキングで11位に載りました！！ありがとうございます！！ pira-nino.hatenablog.com blog.hatenablog.com 本Partでは最近流行りの「Word 2 Vec」を用いて単語の意味の分析を行なっていきます。 目標としましては、B'zの歌詞を用いて「きれい」に意味が近い単語は何かや「あなたと恋するためには僕には何が必要か」といった分析を行っていきます。 Word 2 Vecを用いた分析の目標 2. Word 2 Vecとは 早速、本
Doc2Vecについてまとめる - Qiita
はじめに 今回はWord2Vecの発展としてDoc2Vecを勉強しました。 自然言語処理でよく求められるタスクとして「文書分類」や「文書のグルーピング(クラスタリング)」がありますが、それらを実施するには文書そのものの分散表現が必要となります。 Doc2Vecを用いればその分散表現を直接獲得することができます。 参考 Doc2Vecを理解するに当たって下記を参考にさせていただきました。 doc2vec(Paragraph Vector) のアルゴリズム Distributed Representations of Sentences and Documents (元論文) Doc2Vecの仕組みとgensimを使った文書類似度算出チュートリアル 自然言語処理技術の活用法 ーDoc2VecとDANを使って論文の質を予測してみた！ー Doc2Vecとは何か Doc2Vecは任意の長さの文章を固
Python: seaborn を使った可視化を試してみる - CUBE SUGAR CONTAINER
今回は、Python の有名な可視化ライブラリである matplotlib のラッパーとして動作する seaborn を試してみる。 seaborn を使うと、よく必要になる割に matplotlib をそのまま使うと面倒なグラフが簡単に描ける。 毎回、使うときに検索することになるので備忘録を兼ねて。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.4 BuildVersion: 18E226 $ python -V Python 3.7.3 もくじ もくじ 下準備 Relational plots scatter plot (散布図) line plot (折れ線グラフ) Categorical plots strip plot (ストリップチャート) swarm plot (スウォームチャート) box
pythonで美しいグラフ描画 -seabornを使えばデータ分析と可視化が捗る その1 - Qiita
Pythonでのグラフ描画 Pythonチャートを描く場合の定番は「matplotlib」ですが、その見た目のやや野暮ったい感じと、表記法のややこしさが指摘されています。 そこで、この記事ではMatplotlibの機能をより美しく、またより簡単に実現するためのラッパー的存在である、「Seaborn」の使い方を取り上げます。 ◆ Overview of Python Visualization Tools http://pbpython.com/visualization-tools-1.html 上記の記事ではMatplotlibとSeabornについて下記のように書かれています。 matplotlibについて Matplotlib is the grandfather of python visualization packages. It is extremely powerful b
データ分析で頻出のPandas基本操作 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
csvファイルのデータからsqlite3データベースへうつす、内容の表示 - いももちのきもち
Webサーバ上でデータベースを作ろうと思ったので、まずSQL文の練習をすることにしました。 csvファイルでデータをもらった後、軽量なデータベースであるsqlite3にデータを移しました。 python組み込みのsqlite3モジュールを使用しました。 データの用意 まずサンプルとしてcsvファイルで受注表を用意しました。 jyuchuhyo.csv 受注番号,顧客コード,商品コード,受注個数,納品日 100011,001,1002,30,20110501 100012,002,1001,20,20110501 100013,003,1003,10,20110501 100014,001,1003,15,20110502 100015,003,1101,15,20110503jyuchuhyo.py # -*- coding: utf-8 -*- import csv import sql
Python 3.8 の概要 (その8) - Did you mean "=="? - atsuoishimoto's diary
さて、質問です。 a = 1.0 a is 1.0 上記の処理で、a is 1.0 の結果は True となるでしょうか、それとも False となるでしょうか？ True と答えたあなた、不正解です。反省してください。 False と答えたあなた、同じく不正解です。猛省してください。 正解は 「わからない」 です。 Pythonインタープリタを起動して、対話的に実行してみましょう。 >>> a = 1.0 >>> a is 1.0 False False ですね。a に代入した float オブジェクトと、a is 1.0 で比較している float オブジェクトは、同じ値ですが異なるオブジェクトです。 でも、ちょっと書き換えて、同じ処理を関数の中で実行するとどうでしょう？ >>> def test(): ... a = 1.0 ... return a is 1.0 ... >>> t
openpyxl で書く Excel セルの入力規則 - Oboe吹きプログラマの黙示録
最も簡単なサンプル～書き方を示すもの。 from openpyxl.worksheet.datavalidation import DataValidationdv = DataValidation(type="list", formula1='"A,B,C"') # 適用するセルの指定 dv.add(sheet.cell(1, 1)) # シートに入力規則を登録 sheet.add_data_validation(dv)formula1 に、文字列で指定する場合、カンマ区切りで分割できなければならない。 add_data_validation で入力規則を登録しなければならない。 シートのセルから入力規則とする場合（←もっともよくある書き方） 都道府県名のプルダウンをサンプルとして、、、 # -*- coding: UTF-8 -*- import openpyxl from openp
【Python】 エクセル列のアルファベットと数字の変換 - ホンモノのエンジニアになりたい
エクセル列のアルファベット数字変換のメモ。 Pythonのopenpyxlで遊んでいた時に、連続したセルの選択が[B1:B5]の形式でしかできないようだったので、（1,2）→B1、つまりは２→Bの変換が必要になりました。 目的 ・数字を入力するとエクセル列のアルファベットを返す関数を作成する １→A、２→B、３→C、・・・２６→Z ２７→AA、２８→AB、２９→AC、・・・５２→AZ、 ５３→BA、・・・７８→BZ、・・・７０２→ZZ ７０３→AAA、・・・１３７８→AZZ、 １３７９→BAA、・・・２０５４→BZZ、 ２０５５→CAA、・・・・・・・１８２７８→ZZZ これぞ車輪の再発明(2018/12追記) あ、、、あった 普通にあったでござる ﾊｧ━(-д-；)━ｧ... import openpyxl wb = openpyxl.Workbook() ws = wb.active
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Flaskの簡単な使い方 - Qiita
python3でsqlite3の操作。作成や読み出しなどの基礎。 - Qiita
