pythonで開発していたとき、pickleという聞き慣れない単語が出てきたので軽く調べてみた。 ちなみに、pickleという単語を辞書で引くと ～をピクルス［塩漬け・酢漬け］にする 〔金属を〕酸洗いする (SPACE ALCで検索した結果) ということで訳の分からない感じになるんですが、公式ドキュメントにもきちんと書いてました。 （python のバージョンは 2.7） http://docs.python.jp/2/library/pickle.html pickle化、非pickle化とは pythonのオブジェクトをバイトストリームに変換(pickle化)したり、またはその逆の操作でバイトストリームを元のオブジェクトに戻すように変換(非pickle化)すること。 pickleモジュールを使うことで、リストや辞書などの複雑なデータ型をファイルに保存することができるようになります。 つ

先日の日記でTF-IDFでFAQに回答することを試したが、TF-IDFでは質問文の類似度を単語の頻度に重み付けをして測っている。 そのため、単語が完全に一致している必要があり、同じ意味の単語でも異なる単語として認識してしまう。 word2vecを使用すると単語をベクトル化することができ、意味が近ければ近いベクトルを出力することができる。 word2vecを文に適用する場合、単語ベクトルの平均をとる方法もあるが、語順が失われるという欠点がある。 doc2vecを使用すると、文の語順を考慮して、文自体をベクトル化することができる。 doc2vecには、PV-DMとPV-DBOWの2種類があり、PV-DMとPV-DBOWのベクトルを組み合わせて使用することで精度を上げることができる。 PV-DMは、文と単語にユニークな固定次元のベクトルを割り当て、文の単語列をウィンドウサイズ幅ごとに抽出し、文の

Array pythonのarrayは.appendメソッドを使って配列を追加することができます。 >>> arr = [] >>> arr.append([1, 2, 3]) >>> arr.append([4, 5]) >>> arr [[1, 2, 3], [4, 5]]

導入 Pythonの数値計算ライブラリNumPyのarrayを使って、標準のlistを単純に置き換えてみると遅くなることが多いです。 実際どれぐらい速度に差があるのかlist, array, numpy.arrayで比較してみました。 処理時間の計測 Pythonに含まれるライブラリのtimeitを使います。 100000個の要素(すべてが1)を持つ配列の各要素の総和を1000回計算した時の処理時間を求めます。 forループの場合(イテレータでアクセスした場合)とsum関数、numpy.sum関数を使った場合について調べています。 ソースコードは一番下にあります。 使ったバージョンはPython 2.7.2, NumPy 1.6.2。 結果は以下のとおり(単位は秒)。 for sum numpy.sum list 3.17386984825 0.524603128433 9.5617320

Pythonで整数や、整数が入っている変数を割り算（除算）すると、小数点以下が切り捨てになる。 >>> 12/26 0 このような感じ。 これを解決する場合、２つの簡単な方法がある。 float定義をする。 割られる方または割る方にfloatと指定しておく。 >>> float(12)/26 0.46153846153846156 となり小数点以下も切り下げにならずに済む。 1.0をかけておく。 割られる方または割る方に1.0をかけておく。 主旨はfloat定義と同じだけど、あらかじめ1.0をかけておくことによって、 これは小数点以下の割り算の可能性があると指定しておく。 >>> 12*1.0/26 0.46153846153846156 小技だけど、結構重宝するので備忘録。 みんなのPython 作者: 柴田淳出版社/メーカー: ソフトバンククリエイティブ発売日: 2006/08/22メ

Pythonでリストの中から要素をランダムで抽出する方法をご紹介します。 ランダムで抽出する、というとき、抽出方法は2つあるかと思います。 1つだけ抽出する 複数抽出する 以下、それぞれについて見ていきます。 1つだけ抽出する 1つだけ抽出したいときは random ライブラリの choice 関数を使います。 import random marks = ['club', 'diamond', 'heart', 'spade'] numbers = range(1, 14) cards = [(m, n) for m in marks for n in numbers] random.choice(cards) # => トランプのカードのいずれか たとえば、52枚のカードの束から1枚取り出して、そのカードをまた元に戻して、というように繰り返す場合なんかは、 random.choice を

Data Science in Python, Volume 2: Data I/O, Jupyter Notebook, GUI, Deployment, Numeric Programming, High Performance Python (English Edition)posted with カエレバAlexander Stepanov 2016-04-25 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに Python JITコンパイラライブラリ Numba Numbaのインストール Numbaの速度比較 引数の指定 GPUの利用 最後に 参考資料 MyEnigma Supporters はじめに Pythonは言語的にも、 エコシステム的にも大好きなのですが、 いかんせん、複雑で大規模なシステムを作ると、 速度が遅いのが気になる時があります

もう少ししたら発表があることに気づいて必死でモデルを組み始めた。 ちょっとChainerを思い出しながら書いて,GPUも手に入って環境も整ったこともあり,一回MNISTを分類してみようかと。 いろんなブログやらqiitaを参考にしながらもう一度書いてみた。 CPUモードからGPUモードに変更するときは # GPUの設定 cuda.get_device(0).use() model.to_gpu() # modelの設定後(この場合インスタンス化のあと)に行うこと。 これと xp = cuda.cupy これでnumpyの配列をすべてxpで変えていく。 注意として,numpyにはあったメソッドがxpでなかったりするので,そこらへんはちょろちょろ自分で書いたりしなきゃいけないかも. 今回少しだけはまった点としては def forward(self, x_data, y_data, train=

... # Load the MNIST dataset train, test = chainer.datasets.get_mnist() ... どっかから取ってきてるんだろうな−しかわからないこのコードで作られる、このtrain, testの作り方です。 普通にLinearだけを使う場合と、CNNを使う場合とで作り方が違うので、それぞれ書きます。 データは普通の画像を使って、そのラベルは適当に設定します。 chainerでは train,test が必要ですが、どんな形をしているかというと

CUDA 8.0のインストール NVIDIAの公式ページからCUDA 8.0をダウンロードする。 Operating System: Linux, Architecture: x86_64, Distribution: Ubuntu, Version: 16.04, Installer Type: deb (network). ダウンロードしたフォルダで以下のコマンドを実行してCUDAをインストールする。メタパッケージのcuda-8-0をインストールすると、全てのCUDA ToolkitとDriverパッケージがインストールされる。（CUDA 9.0のインストール方法はこちら）

GPUなのに学習速度があまり速くならない、あるいはCPUより遅い時ってありませんか？ そういうとき自分はまず「nvidia-smi -l 1」でGPUの使用率を見て100%に近い値を維持できているかどうかチェックします。NVIDIA System Management Interfaceというものらしいです*1-lオプションに数値を指定するとn秒間隔でループしてその時のGPUの状態を出力してくれます。よく見る項目はGPU使用率、メモリ使用量、温度あたりでしょうか。 この使用率が低ければ低いほど効率的にGPU計算できていないことになります。計算以前のところがボトルネックになっている可能性が高い。 list → numpy or cupyへの変換速度で差が出る pythonのリストをchainerで使えるようにnumpy or cupyに変換する時の速度が両者でだいぶ異なるようです。後者の方が

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

リスト内包表記は簡潔にリストを作成できます。その際に、ifやelseを用いて、ロジックを入れたい場合があります。 これは大別すると以下の二つのケースに分けることができます。 ifのみの場合 elseも用いる場合 少々難しいことに、この二つは記載の方法が異なります ifのみを使用したい場合 この場合、forの後ろにifを追加します。 dat = [i for i in range(10) if i%2 == 0] print(dat) # [0,2,4,5,6,8] リスト内包表記 + if の使い道として、forの対象にした、別のリストに対し、ifでフィルターをかけたり、一部の値の置き換えや、加工処理をかけるのが、一般的です。 この時、リスト内包表記はワンライナーでシンプルにかけることがメリットになります。 なお、上記は以下のforで書き直した形と同じになります。 dat = [] for

親ディレクトリに置かれているスクリプトファイルをimportしたい場合には、次のようにすると可能になります。この例では、親ディレクトに置かれているtools.pyファイルをimportしています。 os.pardirは、親ディレクトリを表す文字列定数となっています。 sys.pathは、importするファイルを検索するパスを示す文字列のリストです。PYTHONPATH 環境変数と、インストール先でのデフォルトパスで初期化されます。ですので、sys.pathにimportしたいファイルのディレクトリを含めれば、適当なディレクトリに置かれているスクリプトファイルをimport出来ます。 当然、パーミッションの設定によっては、出来ない場合もあると思いますが。

皆さんこんにちは お元気ですか？私は元気です。 Pythonにおける高速化手法を掲載してみます。 簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。 本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profiling 基本的な条件 計測コード Pythonの基本的な書き方部分 rangeよりxrangeを（Python2.7） リストの生成 文字列結合 Import文のコスト 関数呼び出しのコスト ドットを避ける yieldを使う Numpyに関するTips Numpyを使用して基本演算を高速化する Numpyの要素にアクセスする演算をしない Numbaで手早く高速化 その他高速化ツール Cython Dask PyPy 感想並びに展望 参考文献 Pythonにおける高速化の必要性 PythonはC++やJavaと比較すると非

Pythonの正規表現を使うときのメモ ポイントはコンパイルしてそれを使いまわすこと, また, groupを使うこと. Python 2.7.13で実行. >>> import re >>> str1 = "(arrest-vb _u2)" >>> rep = re.compile("\((.+)\s(.+)\)") >>> m = rep.search(str1) >>> m.group(0) '(arrest-vb _u2)' >>> m.group(1) 'arrest-vb' >>> m.group(2) '_u2' ちなみに, マッチングに失敗したときのマッチオブジェクトmの値は, NoneType型のNoneになる. >>> None == m True

Python 可変長引数 を定義したメソッドを呼び出すときに気をつけるべきこと ～ アスタリスク１つの可変引数は、「キーワード指定しないで与える」 / 「アスタリスク２つの可変引数は、キーワード指定して与える」 Pythonpython2.7可変長引数メソッド定義引数