機械学習Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは 一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。 例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=

はじめに：Optunaとは 使い方 インストール 最適化問題の例 問題設定 最適化 最適化の結果 ニューラルネットワークのハイパーパラメータチューニング 問題設定 実装 ハイパーパラメータを引数に取り、ニューラルネットワークを構成する関数 ハイパーパラメータを引数にとり、最適化手法を返す関数 ハイパーパラメータを引数に取り、学習済のモデルを返す関数 ハイパーパラメータを引数に取り、最小化したい値を返す目的関数 いざ最適化 はじめに：Optunaとは OptunaとはPFNが世に送り出した最適化枝刈りライブラリです。 Pythonのコードとして機械学習のコードのどこにでも入れることができ、非常に使いやすいAPIとなっています。大体、結構丁寧なサンプル・解説が公式ドキュメントに既にあるので、分かる方は此方を読むのが一番早いでしょう。 Welcome to Optuna’s documentat

Pyxelの開発が一区切りしたので、改めて紹介記事を書いてみました。 [2020.4.4追記：最新版の紹介記事はこちらです] Pyxelって何？ Pyxel（ピクセル）は、昔ながらのドット絵タイプのゲームを簡単に作れる「レトロゲームエンジン」です。 2018年7月30日にリリースされた、非常に新しいゲームエンジンなのですが、海外を中心に急速にユーザーが増えています。 github.com プロジェクトはGitHubでオープンソースとして公開されており、公開４日でGitHubのデイリーランキングで全１億のプロジェクト中１位を獲得。ついでに作者である私もGoogle、Facebook、Microsoft等の企業アカウントを含む3100万人の開発者ランキングで１位になっています。（１位の座は48時間持ちませんでしたが…） GitHub上ではその後もスター数が増え続けており、現在は4000スターを

ここ数年、Pythonの人気が高まっています。2016年2月時点では、世界中のインターネット上のドキュメントに多く登場するプログラミング言語を集計したデータを公開しているTIOBE Programming Community の プログラミング言語人気ランキング でもかなり上位に位置しています。 そこで今回はPythonからPostgreSQLへ接続する方法をご紹介します。 PythonからPostgreSQLに接続する場合、"ドライバ"と呼ばれるモジュールを使用します。PostgreSQL用として現在公開されているメジャーなものでは、以下の3つが挙げられます。なお、備考内の"libpq"とはPostgreSQL自体が提供している、クライアントアプリケーション用のC言語のライブラリです。

Not a member of Pastebin yet? Sign Up, it unlocks many cool features!

******************************************************* 【お得なマガジンもあります】 セット割で、3000円ほどお得になります。現在、3本のチュートリアルが利用できます。 LINE Botの作成を学べるコースです。以下のチュートリアル3点が、セット割で購入することができます。 ・【AIプログラミング】LINEに画像を送ったら自動で文字起こししてくれる機械学習アプリを作ろう ・スケベAI「スケベ博士」をPythonとGoogle Apps Scriptで作るスケベ・チュートリアルを公開します ・JavaScriptだけで書ける！LINEからDMMのサンプル動画が見れる、「変態コンシェルジュ」を作ろう！ ******************************************************* #未経験からスケベエンジ

bitFlyerのAPIドキュメントにはサンプルがないので、Streaming APIのサンプルを載せます。 Streaming APIを使用するときは、bitFlyerへリクエストを送りません。代わりにpubnubというサービスへリクエストを送ります。 pubnubを使用するときは、 python python3 + asyncio python + twisted python + tornado と4つの方法がありますが、ここではtornadoを使用することにします。pythonのバージョンは2.7です。 基本的にはpubnubのサンプルそのままで大丈夫なはず。 pip install tornado pip install pubnub でライブラリをインストールすることを忘れずに。 from pubnub.callbacks import SubscribeCallback fr

以前、FX システムトレードをしていたので、その経験を生かし（5 万損したけどね）、 Bitcoin でシステムトレードが出来ないか調べてみた。 OANDA API をつかって Python で 為替レートを取得してみた | Futurismo tsu-nera/oanda-forex-study: My Forex Study Repository Bitcoin API 調査# “bitcoin api” で検索をかけた。また、言語は Python で書きたいので、 Python で使えるかも注目して調べた。 ざっと調べた限りだと、 日本では以下の会社が API を提供しているようだ。 coincheck: ビットコイン決済 API ドキュメント | coincheck payment bitflyer: ZaifAPI ドキュメント — Zaif api document v1.1.

今回は「Python」について。一般ユーザにはなじみの薄い存在だが、なかなかどうして、かなり"使える"スクリプト言語だ。そのPythonにGUIを追加できる「wxPython」の導入手順など、OS Xで利用するための環境構築法を紹介しよう。 OS XでPythonを使う理由 OS Xはスクリプト言語が充実したOS、と言っていいだろう。UNIX系OSゆえにシェルのサポートは当たり前、shやbashなどBシェル系はもちろん、tcshなどCシェル系のシェルスクリプトまで動作する。PerlやTcl/Tk、PHPのサポートもUNIX系OSならば珍しくはない。一方、OSの基盤はBSDに変わったがMac OSの名を冠するOSだけに、伝統のAppleScriptにも対応する。 開発者目線で気になるのは、「Ruby」と「Python」がサポートされていることかもしれない。どちらもオブジェクト指向で言語仕様が

自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ

Jupyter(IPython)上でメモリ食っている変数を探し出して削除する - Qiita に続く、「pythonでのメモリ解放」シリーズ第二弾。 リスト・配列にターゲットを絞って、メモリを圧迫している変数を探し出し、削除する。 コード 以下のような関数を定義しておく。 def print_varsize(): import types print("{}{: >15}{}{: >10}{}".format('|','Variable Name','|',' Size','|')) print(" -------------------------- ") for k, v in globals().items(): if hasattr(v, 'size') and not k.startswith('_') and not isinstance(v,types.ModuleType)

自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ

【補講】if __name__ == '__main__' の下にコードをダラダラと書く人、挙手しなさいPython みなさん、こんにちは。 if __name__ == '__main__' の下にコードをダラダラと書く人、挙手しなさいが「いいね」100を超えました、ありがとうございます。 先生、みんなに話しておきたい事があります。 Shadows name の恐ろしさ みなさん、Shadows name警告を甘く見過ぎです。 グローバルスコープを汚染することによって引き起こされるShadows nameの恐ろしさを説明しましょう。 テキトウな例で申し訳ありませんが、以下のコードがあったとします。 import sys def process(n): x = 0 # ...なんかいろんな処理 if x > 1: n *= 10 # ...なんかいろんな処理 return n if __n

文：Daniel Sim　分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた

Pythonで、数学でいう nPr や nCr 、いわゆる「順列」や「組み合わせ」を作る方法をご紹介します。 結論としては itertools ライブラリを使う方法がかんたんです。 以下、順番に見ていきます。 順列 組み合わせ 順列 itertools.permutations を使います。 from itertools import permutations original = "abc" permutations(original) # => [('a', 'b', 'c'), ('a', 'c', 'b'), ('b', 'a', 'c'), ('b', 'c', 'a'), ('c', 'a', 'b'), ('c', 'b', 'a')]

最近あんまり触っていなかったので、久々にPythonをやろうと思ったときにいろいろ忘れてたり、新しく知ったりしたこともあったので、Pythonやるときに参考になりそうな情報をまとめました (但し、今回はデータ分析系のライブラリ関連は除いています) Pythonの言語仕様や基本等 概要 — Python 3.5.2 ドキュメントdocs.python.jp qiita.com www.python-izm.com 2系と3系の違い postd.cc qiita.com コーディング規約 はじめに — pep8-ja 1.0 ドキュメント ドキュメント生成 azunobu.hatenablog.com ドックストリング """ 3重ダブルクォートを使用して記載する。 ドックストリングに記述したテキストは関数やクラスオブジェクトの__doc__に保存される def hello(): """Out

Pythonは、習得が容易で、より大きく複雑なアプリケーションの開発にすぐに適用していけることから、コンピューティング環境に広く普及し、勢いを強めています。ただ、あまりに明瞭で親しみやすい言語なので、ソフトウェアエンジニアやシステムアドミニストレータが警戒を解いてしまい、セキュリティに重大な影響を及ぼすコーディングミスを誘発する可能性はあるかもしれません。主に、初めてPythonを使う人を対象とするこの記事では、この言語のセキュリティ関連のクセに触れます。ベテラン開発者にとってもその特異性を意識するきっかけになればと思います。 入力関数 Python 2に多数存在するビルトイン関数の中で、 input はセキュリティの面で完全に難点です。この関数をひとたび呼び出すと、標準入力から読み込んだものが即座にPythonコードとして評価されます。 $ python2 >>> input() dir