Python のスクリプトが記述されたファイルは、現在のバージョンでは文字コードが UTF-8 で記述されているものとして処理されるため、別の文字コードで記述している場合はなんの文字コードを使用しているのか設定が必要となります。ここではプログラムを保存するファイルで使用する文字コードを設定する方法について解説します。

シェルスクリプトの代わりにPythonで書いてみる コマンド実行をする コレを使います。 import subprocess import shlex ret = subprocess.check_output(shlex.split("date -I")).decode("UTF-8").strip() print(ret) 詳しく書いていきます。 subprocess モジュールを使う subprocess はコマンド実行がちょっと面倒臭い。 import subprocess input_f = "player.swf" output_f = "radiko.png" cmd = "/usr/local/bin/swfextract -b 14 %s -o %s" % (input_f, output_f ) subprocess.call( cmd.strip().split("

Python(バージョン 3)を初歩から学習していく際のメモを書いていきます。 Pythonの知識自体は、0の状態からのスタートしています。(2013/11/10〜) 内容を見直し、記述を修正しました。(2017/01/02) 学習時に見ているサイト 公式ドキュメント http://docs.python.jp/3.3/ Python-izm http://www.python-izm.com/ Dive Into Python 3 http://getpython3.com/diveintopython3/ Dive Into Python 3 日本語版 http://diveintopython3-ja.rdy.jp/index.html pip (RubyのgemやPerlのCPAN?) http://d.hatena.ne.jp/rudi/20110107/1294409385 P

環境構築するだけしてnumpyすらまともに扱えないのは恥ずかしいので、はじパタのRによる実行例をPythonに移植しながらPythonの科学計算ライブラリに慣れつつ、機械学習にも慣れようという魂胆。 とりあえず第4章から。 irisのデータを用意 scikit-learnには様々な学習データが用意されていて、お決まりのようにその中にアヤメの学習データも含まれている。 from sklearn import datasets iris = datasets.load_iris() print iris.data iris.dataが学習データの本体。 iris.feature_namesがそれぞれの列のラベル。 In [28]: iris.feature_names Out[28]: ['sepal length (cm)', 'sepal width (cm)', 'petal lengt

YATTSUKE BLOG なんか音楽、英語、Pythonとかの他愛も無いブログだったのですが、海外で暮らしてるとトランプが大統領になってから日本と英語圏の温度差が酷いので政治の話をツイッターでしてました。でも2020年大統領選挙で保守派論陣アカウントと共に凍結。マスクがツイッター買収で６代目がようやく復活。現在、政治の重い話はnoteに書いてます。ココログはPCとかPython、Linux、音楽へ戻す。 トップへ numpy 1.8.1 64-bitのインストール 何はともあれnumpyがないとPythonでのScientific computingは始まりません。pip install numpyはあえなくビルドエラー。wxPythonみたいにWheelを用意してくれてるかとおもったけど、そんなに甘くはなかった。 ちょいとググるとAndrew!というブログに the 32-bit ve

機械学習のデータとして特徴量を作るときの注意点や悩むことなどをメモっておきました。 間違いなどが含まれているかもしれません。 基本的な内容ですので調べればもっと適切なやり方があると思います。 カテゴリカル・データ カテゴリカル・データというのは、いくつかの限られた種類の値をとり、その大小関係に意味が無いものです。 質的データとか名義尺度とか呼ばれることもあります。 例えば都道府県のデータを考えた時に、北海道と沖縄は違う値ですが、その大小関係は定義できません。 (もちろん北海道と沖縄に面積的な大小関係などはありますが、欲しい情報ではないとします) カテゴリカル・データを特徴量にするときにはカテゴリーごとにその特徴であるかどうかの二値にするとよいと言われています 以下に例を示します。それぞれの列がデータごとの特徴量を表していると考えてください 北海道:1 沖縄:0 東京:0 北海道:0 沖縄:

問題設定や細かい実験手法は下のページを参照. scikit.learn手法徹底比較！ イントロダクション 今回は言わずと知れたSVM(サポートベクターマシン)を試す. 訓練データ数を増やしていったときに, 手書き文字の分類性能がどのように推移していくかを調べる. SVMの詳細な解説は別の文献を引いて欲しい. PRMLを読んでもいいしこのスライドは結構わかりやすい. 概略だけ書くとSVMは2クラス分類のためのアルゴリズムである. データが散らばる多次元空間を超平面で区切り, データを２つに分類する. その超平面をマージン最大化という基準でひくとわりとうまく行くねというアルゴリズムである. そこで元の空間で分類できなくともカーネルで定義された別の空間だとうまく行くことがあるため, 分野によって様々なカーネルが考案されている. カーネルは2つのデータを引数として取る関数でその値はおそらく類似度を

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。ヤフーで広告プロダクトのデータ分析をしている田中と申します。 今回のAdvent Calendar 2014では、データサイエンスのプロセスの中の「分析・モデリング」で私がよく利用しているツールについて書いています。 どうぞよろしくお願い致します。 データサイエンスのプロセスについては、いろいろと定義があると思いますが 基本的に以下の5つのプロセスからなると自分は考えています。 ・問題設定 ・データ抽出・加工 ・分析・モデリング ・評価 ・ビジネス提案/プロダクト実装 どのプロセスもとても大事で、例えば「問題設定」では、ビジネス的な課題（売上低迷・KPI低下）を分析課題に落とすのですが、ここを間違えてしまうと

scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。 どちらかっていうとよく使う機能の紹介的な感じです。 英語が読める方は公式のチュートリアルがおすすめです。 scikit-learnとは？ scikit-learnはオープンソースの機械学習ライブラリで、分類や回帰、クラスタリングなどの機能が実装されています。 また様々な評価尺度やクロスバリデーション、パラメータのグリッドサーチなどの痒いところに手が届く機能もあります。 インストール scikit-learnの他にもnumpyとかscipyとかが必要です。 Windows 64 bit版の人は以下のURLに色々なインストーラーがおいてあるのでおすすめ Python Extension Packages for Windows - Christoph Gohlke その他の人は以下のURLを見て

pythonで現在の環境でインストールされているパッケージの一覧が欲しい場合がある。 そのような場合にどうすれば良いかのまとめ。 コマンドライン 単に情報を知りたい場合には、コンソールで以下の様にすればすれば良い。 pip freeze # .. output messages of command (example) Jinja2==2.7.2 MarkupSafe==0.23 Pygments==1.6 Sphinx==1.2.2 docutils==0.11 from pip.util import get_installed_distributions skips = ['setuptools', 'pip', 'distribute', 'python', 'wsgiref'] for dist in get_installed_distributions(local_only=