Posted by ごうじん, on Sunday, January 19, 2014 01:19 PM JST crontabは、crontab書式をパースして、次回実行までの待ち時間(秒)を教えてくれるモジュールです。 この機能を使って、定時実行処理を実装していきます。 crontabのインストール easy_install または pip で、crontabをインストールするだけ。とっても簡単。 $ sudo easy_install -U crontab Password: Searching for crontab Reading http://pypi.python.org/simple/crontab/ Best match: crontab 0.18 Downloading https://pypi.python.org/packages/source/c/crontab/

twitterのボットプログラムを作成したのでCloud9上で2時間毎に呟かせようかと思い、 crontabにJOB登録しても全然実行されない。 Cloud9フォーラムを見てみると、有料ユーザとなりSSH workspaceを作らないとcronを実行できない模様。 community.c9.io cronが駄目なら実行しっぱなしでプログラム内で時間制御するしかない、何か良いコードは無いかと探していると素敵なコードを発見。 Pythonで定時実行処理を実装する - GAUJIN.JP/ごうじん おかげさまで問題なく定時に呟くボットができました。

電子書籍「人工知能ポルノ」出版 人工知能ポルノ: コンピュータが書いたエロい文章 本記事の生成結果を電子書籍にしました。200~400文字程度の文章を100編掲載しています。 ご興味のある方はどうぞ! 自動生成してえ こちらの記事に感銘を受けた。自分も何かやってみたいと思ったが、DeepLearningを用いての自動生成はハードルが高く、まずはマルコフ連鎖を使って自動生成してみようと思った。 【エヴァンゲリオン】アスカっぽいセリフをDeepLearningで自動生成してみる そうだ!AVだ! 自動生成にはデータが必要。自分はアニメがわからんので、エヴァンゲリオンの真似をしてもテンションがあがらない。自分のテンションがあがるものは?...すぐ思いついたのがAVの紹介文だ。 AV紹介文のメリット 120字程度でデータが多そう? タイトルと比べれば生成する文にバリエーションが出そう 人を興奮させ

cronでpythonスクリプトを自動実行する場合の落とし穴最近pythonを使って動画を自動生成して定期投稿をするbotを作ってみました。 botを作るのってもっと簡単なイメージだったのですが、小さなハマりポイントがいくつかあって意外と手こずりました。ということで今回はその情報をシェアしていきます。 ローカルのパス指定は絶対パスで指定するPythonスクリプト内のローカルパスを指定するときは絶対パスで記述すると安心です。相対パスで記述すると思った動作をしてくれない可能性があります。 #coding:utf-8 f = open('test.txt','w') 例えば上のようなhoge.pyというスクリプトをcrontabでpython ~/any/path/hoge.pyのようにして実行するとします。するとtest.txtはcrontabを実行しているユーザのデフォルトディレクトリに生成

そうだクローラつくろう　研究テーマを探しつつ、なんとなくネットワークが面白そうと思っていた今日この頃。 研究で扱うのは、通信技術のネットワークではなくて、ノードとリンクに一般化したやつ。 「スモールワールド(small world phenomenon)」や「六次の隔たり(six degrees of separation)」など、一般的に知られてる部分もあって、経済現象とか感染症の拡散の理論にも適用できる(と言われている)ので、関連する分野がめちゃくちゃ広い。 ただ、実際のデータを無料で手っ取り早く集めるとなると、web上のドキュメントを解析するのが楽そう。ということで、クローラをつくってみる。 集めたデータをどう扱うかはまだ決めてない(!!)けど、とりあえず非リンク数とかの解析から始めようかと考えております。 Scrapy(すくれぴー)　pythonのフレームワークにもいろいろあるみた

Twitter解析を行ううえでやってみたいことの１つとして感情分析があるのではないかと思います。（ですよね？）色々な手法があると思いますが、まずはその一番簡単な例から初めてだんだん高度に(できれば)していくというのを見ていきたいと思います。 分析対象データは今回もTwitterとします。ただ、いままではTwitter REST APIsで取得していましたが、今回はTwitter Stream APIでじゃんじゃかTwitterデータをインポートしていき、それに対して感情分析結果を数値化して合わせてデータベースに格納する、ということをやってみたいと思います。 Twitterデータをmongodbに取得する当たりの説明は以前の記事で行っていますので、よければご参照ください。 1. Twitter Stream APIからデータを取得しmongoDBに格納する。 1-1. 準備的なこと まずは下

スタバTwitterシリーズも第３回となりました。下記は今までの投稿です。 その１：Twitter REST APIsでデータを取り込みmongoDBにインポート http://qiita.com/kenmatsu4/items/23768cbe32fe381d54a2 その２：取得したTwitterデータからスパムの分離 http://qiita.com/kenmatsu4/items/8d88e0992ca6e443f446 その３：ある日を境にツイート数が増えたわけは？（今回） http://qiita.com/kenmatsu4/items/02034e5688cc186f224b その４：Twitterにひそむ位置情報の視覚化 http://qiita.com/kenmatsu4/items/114f3cff815aa5037535 さて、この前回の時系列ツイート数グラフをよく見

Pythonの基礎　CSVに書き込んでみる 読み込みはなんとなくできたので、次は書き込みにチャレンジ。 リストを作り、それを書き込んでいく とりあえずサンプルはこんな感じです。 #coding:utf-8 import csv f = open('data.csv', 'ab') #ファイルが無ければ作る、の'a'を指定します csvWriter = csv.writer(f) val = 0 for num in range(1, 5): listData = [] 　　　　　　　　　　　#listの初期化 val = num listData.append(val) #listにデータの追加 for loop in range(0, 5): val = val * 10 + num listData.append(val) csvWriter.writerow(listData) #1

CSV形式で出力をしたい スクレイプした情報をcsv形式で出力して、エクセルでごにょごにょしたい時とか # -*- coding: utf-8 -*- import csv # ファイルオープン f = open('output.csv', 'w') writer = csv.writer(f, lineterminator='\n') # データをリストに保持 csvlist = [] csvlist.append("hoge") csvlist.append("fuga") # 出力 writer.writerow(csvlist) # ファイルクローズ f.close()

Pythonのイテレータ(iterator)とジェネレータ(generator)についてまとめてみます。 (追記2018.12.25: Python3の文法に全面的に置き換えました) イテレータ: 要素を反復して取り出すことのできるインタフェース ジェネレータ: イテレータの一種であり、1要素を取り出そうとする度に処理を行い、要素をジェネレートするタイプのもの。Pythonではyield文を使った実装を指すことが多いと思われる Python組み込みのコレクション(list, tuple, set, dictなど)はどれもイテレーション可能ですが、組み込みのコレクションを使った繰り返し処理ではあらかじめコレクションに値を入れておく必要があるため、以下のようなケースではイテレータやジェネレータを自分で実装したいというケースがあると思います。 無限に繰り返すイテレーション 要素すべてをあらかじめ

pipはPythonのパッケージ管理ツールです。2系、3系ともに最新のバージョンであれば標準で付属しており、インストールすることなく使用することができます。本項では標準で付属していないバージョンも考慮し、インストール方法も記載します。 インストールとバージョン確認 まずPythonインタープリタにpipが付属しているかどうかを確認します。コマンドプロンプトで下記コマンドを実行してみてください。 python -m pip -V 次のようにpipのバージョンが表示されれば、pipが付属しているインタープリタです。 pip 8.1.2 from C:¥python27¥lib¥site-packages (python 2.7) pipが付属していない場合、次のような手順でインストールすることができます。まずはget-pip.pyをダウンロードしてください。 https://bootstrap

We operate privacy.do and decentralize.today. No Ads, no trackers! #privacymatters