Django カスタムコマンドを実装する
Django カスタムコマンドを実装します。素の Python でもカスタムコマンドは実装できますが、Django でカスタムコマンドを実装することにより、既存の資産（models.py や ORM）をそのまま使うことができ、素早く実装することができます。 私は、バッチ処理を Django のコマンドで実装し、それを cron で定期的に実行する方法をよくやります。 tree $ tree . ├── app │ ├── __init__.py │ ├── apps.py │ ├── management │ │ ├── __init__.py │ │ └── commands │ │ ├── __init__.py │ │ └── hello_command.py │ ├── models.py │ └── views.py ├── c
scikit-learn でトレーニングデータとテストデータを作成する
本ページでは、Python の機械学習ライブラリの scikit-learn を用いてトレーニングデータとテストデータを作成するために、サンプリングを行なう手順を紹介します。 トレーニングデータ・テストデータとは 教師あり機械学習（回帰分析、決定木分析、ランダムフォレスト法、ナイーブベイズ法、ニューラルネットワークなど）によるモデルを作成するには、準備したデータセットをトレーニングデータ（訓練用データ、学習用データとも呼ばれます）とテストデータ（検証用データ、評価用データ、検証用データとも呼ばれます）の 2 つに分割して予測モデルの作成、評価を行なうことが一般的です。このように一定の割合でトレーニングデータとテストデータに分割することをホールドアウト (hold-out) と呼びます。 以下は、クレジットカードの解約予測の分析テーマを例に挙げて、そのイメージを説明します。 トレーニングデー
Yolo学習用データセットの作成ツール：labelImg
Yolo学習用データセットの作成法のメモ。Yoloの学習データを作成するときは、画像からオブジェクトの領域を矩形で指定する必要がある。そのためのツールとしては、BBox-Label-Toolがあるが、使いづらい上に、矩形領域のテキストファイルをYolo用に変更しなければならず手間が多い。Yolo用のテキストファイルも生成できるtzutalinさんのlabelImgを紹介する。 GitHubリポジトリ labelImg インストール (Ubuntu16.04, python3) cd src git clone https://github.com/tzutalin/labelImg.git sudo apt install python3-pip cd labelImg sudo pip3 install -r requirements/requirements-linux-python3
PyCharm のオレオレ最強設定 - akiyoko blog
【記事更新のお知らせ】 PyCharm のバージョンアップに合わせて、本記事を全面改訂しました。🙇♂️（2020.5.8） akiyoko.hatenablog.jp 先日、「最強のPython開発環境 PyCharmのすゝめ - Qiita」という記事がホットエントリーに上がっていましたが、かくいう私も、PyCharm は Python の統合開発環境（IDE）としてまさに最強だと考えています。 www.jetbrains.com PyCharm（を含めた JetBrains 製品）は「out of the box（アウト・オブ・ボックス：箱から取り出してすぐに使える、難しい設定などは一切なしで使える）」というのが大きな魅力のひとつですが、今回紹介する環境設定をすることで更なる実力を発揮させることができます。 今回紹介するのはあくまで私の（オレオレ）最強設定ですので、異論・反論は緩や
Python-OpenCVで動画をフレーム分割して画像として保存 - test.py
動画をフレームに分割して画像として指定したディレクトリーに保存する操作をまとめた。 動画を読み込んで、フレームごとに存在を確認して、確認できれば画像として保存する、という手順。 引数は適宜変えてください。 import os import shutil import cv2 def video_2_frames(video_file='./IMG_2140.MOV', image_dir='./image_dir/', image_file='img_%s.png'): # Delete the entire directory tree if it exists. if os.path.exists(image_dir): shutil.rmtree(image_dir) # Make the directory if it doesn't exist. if not os.path.e
R vs Python：データ解析を比較 | POSTD
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
【Python版OpenCV入門】画像処理の基礎〜応用例までサンプルコード付きで徹底解説
OpenCV（Intel Open Source Computer Vision Library）とは、インテル社で開発された画像処理・画像認識用のオープンソースライブラリです。Python/C++/Java/Android/Node.jsなどで使用できます。 本ページでは、PythonでOpenCVを扱う方法を解説します。 【基本編】画像操作、濃度変換、二値画像処理空間、空間周波数フィルタリング まずは画像処理の基本である画像操作、濃度変換、二値画像処理空間、周波数フィルタリングをPython版OpenCVで行う方法を解説します。 各解説記事ページへのリンクは以下に整理しています。 環境構築 Python版OpenCVのインストール方法(Windows編) Python版OpenCVのインストール方法(Mac編) OpenCVを使う前に必要な予備知識 ※Python版OpenCVでは読み
NumPyの使い方（ユニバーサル関数） - abcdefg.....
NumPyのユニバーサル関数の使い方のメモです。 NumPy NumPyは数学関数ライブラリです。 インストール方法は下記を参照。 pppurple.hatenablog.com IPythonで使ってみます。 In [1]: import numpy as np ユニバーサル関数(ufunc) ユニバーサル関数(ufunc)はndarrayの各要素に対して演算した結果を戻します。 数学演算 abs 各要素の絶対値を返す。 In [10]: arr2 Out[10]: array([ 0, -1, -2, -3, -4, -5, -6, -7, -8, -9]) In [11]: np.abs(arr2) Out[11]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) sqrt 各要素の平方根を返す。 In [3]: arr Out[3]: array([0,
WEB屋の自分が機械学習株価予想プログラムを開発した結果
2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と
日本株式のデータをスクレイピングなしで取得・リストにしたい - Qiita
大きなデータを取り扱ってみたい！ 株価を分析するのって面白そう！ と思い立って調べてみると，海外の株式はPandasのDataReaderで案外簡単にデータとして手に入りますが， （例えばGoogle financeやFREDなど） 日本の株価は，案外データとして見つかりません． Yahoo!ファイナンスから引っ張ってくればいいじゃん！という記事は多いですが， Yahoo!ファイナンスはスクレイピングを禁止しているため，こちらから引っ張ってくるわけにもいきません． モジュールのjsmを使えば…という意見もあるかもしれませんが，こちらもスクレイピングを使用しています． 本記事は，スクレイピングなしでデータを取得し，ひとつのリストとすることを目的とします． せっかちな人のためのコード いいから結論だけ教えてくれ！って人のために（がんばってかいた）コードをおいておきます． 細かい点は各自修正をお
Jupyter (iPython) Notebookを使って技術ノート環境を構築する方法 - MyEnigma
PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに Jupyter Notebook (iPython Notebook)とは? インストール Notebookデータのバックアップ＆マルチアカウントアクセスする設定 Jupyter Notebookのショートカット コマンドモードのショートカット Editモードのショートカット セルを上から全部実行する Markdownで文章を入力する 数式を入力する 数式の計算をする 画像をドロップアンドドラッグで挿入できるようにする 目次を見出し情報から自動生成する レポートタイトルを入力する方法 PDFに出力する Ma
Jupyter Notebook を使ってみよう
本ページでは、Jupyter Notebook の概要と基本的な使い方について紹介します。 Jupyter Notebook とは Jupyter Notebook (読み方は「ジュパイター・ノートブック」または「ジュピター・ノートブック」) とは、ノートブックと呼ばれる形式で作成したプログラムを実行し、実行結果を記録しながら、データの分析作業を進めるためのツールです。 プログラムとその実行結果やその際のメモを簡単に作成、確認することができるため、自分自身の過去の作業内容の振り返りや、チームメンバーへ作業結果を共有する際に便利なほか、スクール形式での授業や研修などでの利用にも向いています。 このようなノートブック形式で分析作業を行うためのツールとしては、微分積分などの科学技術系計算ソフトウェアの Mathematica (マセマティカ) や Spark, Hadoop などの並列分散処理シ
Excel読み込み (xlrd)
excel-pythonライブラリではExcelファイルの読み込みにxlrdパッケージを用います。 ※ここではxlsx形式のファイルを読み込んでいますが、xls形式のファイルも読み込むことができます。 xlrdのインストール 下記コマンドを入力しxlrdをインストールしてください。 ※これはpipがインストールされていることを前提としています。インストールしていない場合はpipの使い方とインストールを参照してください。 pip install xlrd ブックのオープン まずはExcelブックの開いてみましょう。Excelであればどのようなファイルでも構いませんが、例で使用しているファイルは下記リンクよりダウンロード出来ます。 test_book.xlsx import xlrd book = xlrd.open_workbook('test_book.xlsx') xlrdモジュールをイ
matplotlib入門 - りんごがでている
matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装
『PythonのPathの設定方法』
自分で作った汎用スクリプトを使用する時に、 import c:\***\***\common #c:\***\***\common.pyを使用したい場合 とか書かないといけないのはメンドクサイっ！ ので、作った汎用スクリプトを フォルダにまとめておいてPathを通しましょう。 とりあえず、今通っているPathの確認方法から、 import sys print sys.path でPathが表示されます。 Pathを追加する方法としては、 １．スクリプト毎に通す方法 ２．環境変数PYTHONPATHを設定する ３．*.pthファイルを用意する の３パターンがあります。 環境によって設定できる権限の問題もあると思います ので、ケースバイケースで使い分けて下さい。それぞのやり方は １．スクリプト毎に通す方法 パスを通したいスクリプトに下記のような記述を書きます。 import sys #通したい
Pythonでtry exceptの書き方と、エラー内容の取得方法
恥ずかしながら、今までPythonのプログラムを書いているとき、 ちゃんとエラー処理をしていませんでした。 というのも、exceptに何を記載したらよいのかいまいちわからないし、 エラーを受け取った時のエラーメッセージをどのように表示すればよいか わからなかったので、スルーしてました。 最近、まれにエラーが発生するプログラムにエラー発生時のログを仕込みたい時に とても困ったので調べたことをメモしておきます。 とりあえずtry-except 悪い例ですが、とにかくエラーが発生しても以降の処理を続行したい場合は、 try-exceptで囲ってしまえばOKです。 # -*- coding:utf-8 -*-print '処理開始'try: print 'try-開始' #エラーを発生させるため0除算 a = 10 / 0 print 'try-終了'except:
smtplib – 簡易メール転送プロトコルクライアント - Python Module of the Week
メールを送信する¶ SMTP の一般的な用途はメールサーバへ接続してメールを送信することです。メールサーバのホスト名とポート番号は引数としてコンストラクタに渡すか、明示的に connect() メソッドで指定します。接続した時点でエンベロープパラメータとメッセージ本文と共に sendmail() を呼び出してください。smtplib はコンテンツやヘッダを全く変更しないので、メッセージのテキストは RFC 2882 完全準拠のメッセージであるべきです。つまり自分で From や To をヘッダに追加するということを意味します。 import smtplib import email.utils from email.mime.text import MIMEText # メッセージを作成する msg = MIMEText('This is the body of the message.'
PythonからCプログラムを呼び出す | 象歩
PythonからCプログラムを呼び出す [更新日: 2022年03月19日 ] Python でプログラミングしていると、 新しいデータ構造を作り上げる場合などに、 C/C++ の力を借りたくなることがあります。 Python から C/C++ コードを呼び出す方法を書きます。 まずは、Cから... 1.ソースコード 次の関数を題材にします。 // hello.c int add(int x, int y) { return x + y; } void out(const char* adrs, const char* name) { printf("こんにちは、私は %s の %s です。\n", adrs, name); } 2.wrapper コード まずモジュール(ライブラリ)名を決めます。 ここでは "hello" とします。 そしてラッパモジュールを書きます。 // hello
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
scikit-learn に付属しているデータセット
Petite C