2016年に作成した以下のOSSについて、それぞれ概要と例示 CLIツール x 2 Pythonライブラリ x 10 CLIツール sqlitebiter CSV/Excel/HTML/JSON/LTSV/Markdown/TSV/Google Sheets をSQLiteデータベースファイルに変換するツール。 指定したURLから変換することもできる。 $ ls sample_data.csv sample_data.xlsx sample_data_multi.json sample_data_single.json $ sqlitebiter file * -o sample.sqlite [INFO] convert 'sample_data.csv' to 'sample_data' table [INFO] convert 'sample_data.xlsx' to 'sampl
知っているライブラリを片っ端からpipで入れまくっちゃいます。pip万歳! 新しいライブラリ見つけたらどんどん追加します。 #pip本体のインストール $ sudo apt-get install python-pip #pipの使い方 なぜか僕の環境では$ sudo -H pip install pip ライブラリ名としないと上手く行かないんですが、 他のサイトなどでは$ pip install ライブラリ名と書いてあるので、以下はこっちで行きます。 僕と同じくsudo必要な人いないのかなぁ〜 #科学技術計算のライブラリ ライブラリ:numpy, scipy, pandas, matplotlib, scikit-image pip install numpy scipy pandas matplotlib scikit-image #機械学習 ライブラリ:chainer, tensor
この記事は Wacul Advent Calendar 18日目の記事です。 自己紹介 株式会社WACULの解析チームで1年前から働いています。 python歴:3週間くらい やること pythonの練習 & 確率的なディープラーニングの勉強目的メインで、深層ボルツマンマシンをスクラッチ実装してみます。理論面は全て以下の本の中にある内容です。 『深層学習 (機械学習プロフェッショナルシリーズ)』 岡谷 貴之 (著) 『深層学習 Deep Learning』(監修:人工知能学会) 本記事ではまず準備として制限ボルツマンマシンを実装します。次回、制限ボルツマンマシンを積み上げて深層ボルツマンマシンを構築します。 ボルツマンマシンの簡単な説明 確率分布は、端的には「値の集合に対して、それが得られる確率密度(確率質量)を対応させる関数」なので、全体としては「値の集合を生成する背後のメカニズム」とし
この記事は 2016年 Schoo Advent Calendar の18日目の記事です。 今日はSchooと特に関係ないですが、2016年の圧倒的Pythonブームを、出版された書籍を中心に振り返り、タイプ別Python系オススメ本をエンジニアが勝手に選んでみたいと思います。 2016年はすごい一年だった こちらはAmazonで「Python」を検索した結果ですが、ほとんどが2016年に発売されたものです。 2015年12月に発売された O’Reillyの「入門 Python3」を皮切りに今年だけで、有名出版社などから10冊以上発売されているのを観測しています。 なぜなのか これは肌感ですが、やはりデータ分析、機械学習の人気に引っ張られる形で、それらをやるならPythonらしい…!ということが認識されてきたのが大きい理由ではないかと感じています。 例えば Caffe, Theano, T
R Adevnt Calendar 8日目の記事です。大幅に遅れて大変申し訳ないです。 この記事ではR言語ユーザーのために100問100答形式でJuliaを紹介していこうと思います。 Julia言語 Juliaってどういう言語なの? Juliaは高レベルでハイパフォーマンスな技術計算のための動的言語だよ。書きやすさと実行速度の両立がウリの言語だよ。 誰が作ってるの? 主にボストンのMITの人達が中心に作っている言語だよ。特にJeff Bezonson, Stefan Karpinski, Viral Shah, Alan Edelmanの4人が初期の重要人物だよ。 自由に使えるの? Juliaの処理系はMITライセンスで配布されているから、商用でもなんでもかなり自由に使えるよ。 どれくらい速いの? すごく速いよ!大体C言語の2倍以内くらいの収まる速度だよ。 Rと比較してどうなの? 数倍から
少し開発が停滞気味だったのですが、最近多くのアップデートを加えたので、v0.1.0をリリースしました。それに伴い、WSGIミドルウェアやWSGICLIの開発、ドキュメントの整備を行ったので紹介。 github.com Kobin Kobinの説明や使い方は、ドキュメンテーションを書いたのでここでは省略します。 Welcome to Kobin — kobin 0.1.0 documentation Welcome to Kobin — kobin 0.1.0 ドキュメント また実際に自分でKobinとSQLAlchemy、Angular2などを使って、サンプルのアプリケーションを書いているので、とりあえず雰囲気を知りたい方はそちらをご覧ください。 GitHub - kobinpy/kobin-example: Example application using Kobin python w
こんにちは, ohmurakenです. 好きなサッカーチームはリバプールFCです. この記事は, CAMPHOR- Advent Callendar 2016の5日目の記事です. サッカーに関するデータの収集と分析について書きたいと思います. 目次 やろうと思った理由 データの収集 簡単な分析 まとめ やろうと思った理由 今年, 初めてPyCon JPに参加しました. 機械学習や分析に関するセッションを観ていましたが, ビッグデータとPythonではじめる野球の統計分析というセッションが興味深いものでした. このセッションは, 野球(特に大リーグ)に関するデータを収集し, 分析する事で選手の特徴や変化を調べるという内容です(セッションの動画). このセッションを観た時, サッカーでも同様の事ができないかと思いました. 強いチームの特徴などを数値的に分析できると思ったからです. データの収集
The pandas.rpy module is deprecated and will be removed in a future version. We refer to external packages like rpy2. らしいので、rpy2 を使うといいっぽい。 pip install rpy2 で入る。 In [1]: from rpy2.robjects import pandas2ri # これをやると rpy2.robjects.vectors.DataFrame から pandas.core.frame.DataFrame に変換してくれる In [2]: pandas2ri.activate() In [3]: from rpy2.robjects import r In [10]: r["iris"].head(10) Out[10]: Sepal.Lengt
こんにちは、 id:yykamei です。 今回の内容は、 SideCI でも利用している Flake8 についてです。 ちょうど 1 年ほど前に 弊社の記事 で取り上げた内容と 重複する部分もありますが、主に Flake8 のプラグインについて述べたいと 思います。 ここでは、 記事執筆時点で最新の Flake8 (バージョン 3.2.1) をベースに、 主に以下の内容を取り上げます。 Flake8 についておさらい Flake8 のプラグインとは Flake8 プラグインの作り方 Flake8 についておさらい Flake8 は以下のツールのラッパーとして実装されています。 PyFlakes pycodestyle Ned Batchelder’s McCabe script ここで 1 年前の記事には出てこなかった、 pycodestyle というツールが登場 します。これは pep
プログラム言語Rubyにはunlessという構文があります。これはif文の反対で与えられた条件式が偽の場合に処理を行います。 unless cond then print 'OK' end #上記の場合、condがFalseならOKが表示されます この記事ではPythonに上記のようなunless文を実装した結果を紹介します。 文法定義をいじる ビルドまでの経緯はこちら Pythonの公式ドキュメントに文法変更のガイドラインがあるので、これに沿って改造を施していきます。 まず、ソースファイル内のGrammar/Grammarを書き換えてunless文の定義を追加します。 GrammarファイルはPythonの文法を規定したテキストファイルです。 Grammarは独自の記法で書かれていましたが、unless文の文法構造はif文とほとんど同じなので、if文を真似れば問題なさそうです。 # #i
はじめに 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています. jupyter notebook上で動作確認済みです.(%matplotlib inlineは適当に修正してください) SklearnのManifold learningの記事を参考にしています. 多様体学習と言われる手法について,sklearnのdigitsサンプルを用いて説明します. 特にt-SNEはKaggleなどでもたまに使用されている,多次元データの可視化に適した手法です. また可視化だけでなく,元のデータと圧縮されたデータを結合することで,単純な分類問題の精度を向上することができます. 目次 データの生成 線形要素に注目した次元削減 Random Proj
Djangoでアプリケーションを作るにあたって 前回Djangoで作る自分だけのTwitterクライアントhttp://qiita.com/Gen6/items/11fa5265053da95fcf0b、 をやりましたので今回はSQLiteを使った簡易的なTo-doリストアプリケーションを作成していきたいと思います。色々カスタマイズ余地を残すべく出来る限りシンプルな構成としてみました。To-doリストから自分へTwitterでリプライを送るなどの改造余地もあるかと。 今回はDjangoのFormを活用して作っていきます。 これが理解できるようになると簡易的な顧客管理システムや、掲示板、SNSっぽいアプリケーションなどできる幅がぐっと広がるような気はします。 Djangoってそもそもどうやってはじめるのかは以下の記事を御覧ください。 http://qiita.com/Gen6/items/1
移転しました。 2017/10/13 Pythonスクレイピング関連の書籍についてアップデート 2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引数にして株価を取得したい 株価の情報はYahoo!ファイナンスから 株価詳細ページ サンプルコード 実行結果 たくさんのコードを渡してみる。 実行結果 出力結果をテーブルに吐いてみた 実行結果 スクレイピングについて興味をお持ちの方は コードを引数にして株価を取得したい 株価を取得したいというニーズは昔からある様子。2000年以前の書籍を見ても、株価を取得するサンプルコードがあった。htmlのタグ付けなど大きく変わっているだろうから、そのままは使えない。Pythonで書き直してみることに。 株価の情報はYahoo!ファイナンスから 他のサイトでもいいんだけど、URL設計がしっかりとしていて、タグ付けがちゃん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く