バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ

2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目

この記事はVim Advent Calendar 2014 - Qiita1日目の記事です。 今回は、もう130回も続いているvimrc読書会でよく見られるvimrcのアンチパターン、 まぁ「これは気を付けたほうがいいんじゃない」的なことを私なりにまとめてみようと思う。 vimrcの文字コード Vim scriptにはscriptencodingという現在のVim scriptファイルの文字コードを指定するコマンドが存在します。 一般的にscriptencodingはマルチバイト文字を使う前に宣言します。マルチバイト文字を一切使っていない場合、特に宣言する必要はないでしょう。 なので、マルチバイト文字をvimrc内で使用する場合(コメント内でマルチバイト文字を使用する場合も含みます)、vimrcの先頭で宣言するのがいいでしょう。 悪いパターン " ミュートにする。 set t_vb= se

はじめに 昨今のWebブラウザはどのような機能があるのか把握するのも大変なほど多機能で便利ですよね。 Webブラウザの機能を把握してうまく使いこなせること（とくに開発者ツール）が、フロントエンドエンジニアの前提スキルになってきてるのかなぁと感じる今日この頃です。 ということで自分のデフォルトの開発用ブラウザはChromeなのですが、これを覚えて捗ったなぁということをメモしていこうと思います。 思い浮かんだら追記していこうと思っているのでストックして頂けると幸いです。 基本系 キーボードショートカットを覚える Chromeのキーボードショートカットの一覧 キーボードで出来ることはなるべくキーボードでやるけれども、マウスやトラックパッドでやったほうが速い場合は臨機応変に切替えることを心がけています。 Chrome Canaryを使う Chromeの開発者向けプレビュー版 Chrome Cana

[neobundle] neobundle#rc() is deprecated function. [neobundle] It is removed in the next version.

Symfony2でhttpアクセスをすべてhttpsへ投げるイベントリスナの書き方 2013/1/30 2015/11/3 Coding Symfony2でhttpへのアクセスをすべてhttpsに投げるためのイベントリスナーの書き方です。 nginxとかで直接ぶん投げる方法も考えましたが、これが一番便利でした。 app/config/config.yml acme.yourbundle.event.request.listener: class: Acme\YourBundle\EventListener\RequestListener arguments: tags: - { name: kernel.event_listener, event: kernel.request, method: onKernelRequest } Acme/YourBundle/EventListener

PHPでDIはたまに見かけるけどPHPでAOPってのはあまりみないですね。S2.PHP5くらいしかない。 The Seasar Project - S2Container.PHP で、AOPしたいってだけでS2.PHP5をいれるのもアリでしょうけど、もっとちっちゃく利用したかったのでプロトタイプを作ってみた。 アスペクトクラスを書く <?php class Aspect { private $clazz; private $obj; private $intercepters = array(); public function __construct($obj) { if (is_null($obj) || !isset($obj) || !is_object($obj)) { throw new Exception('オブジェクトじゃないとだめ'); } $this->obj = $o

はじめに RSpecは難しい、よくわからない、といったコメントをときどき見かけます。 確かにちょっと独特な構文を持っていますし、機能も結構多いので「難しそう」と感じてしまう気持ちもわかります。 （構文については僕も最初見たときに「うげっ、なんか気持ちわるっ」と思った記憶がありますw） しかし、RSpecに限らずどんなフレームワークでも同じですが、慣れてしまえばスラスラ書けますし、実際僕自身は「RSpecって便利だな－」と思いながらテストコードを書いています。 そこでこの記事では、僕が考える「最低限ここだけを押さえていれば大丈夫！！」なRSpecの構文や、僕が普段よく使う便利な機能をまとめてみます。 具体的には以下のような構文や機能です。 describe / it / expect の役割 ネストした describe context の使い方 before の使い方 let / let!

このドメインは、お名前.comで取得されています。 お名前.comのトップページへ Copyright © 2020 GMO Internet, Inc. All Rights Reserved.

DSS技術ブログへようこそ! 突然ですが、みなさんは Ansible (アンシブル) という構成管理ツールをご存知でしょうか? これから何回かに分けて1 Ansible の紹介記事を書いていきたいと思います。 新しいツールについて学ぶとき、実際に手を動かすことは理解の助けになります。 この連載では、主に構成管理ツールや Ansible をまだ使ったことのない方たちに向けて ストーリー と チュートリアル で追体験ができるような内容をお届けすることを 目指しています。 今回はその一回目。いわゆるイントロダクションです。 不思議の国のAnsible2 第1話 インフラの落とし穴にはまって なぜ Ansible を使うのか 都内某所のWeb系企業、オフィスの片隅で REALFORCE3 の静電容量無接点方式キーボードを 小気味よく奏でて複数のターミナルを縦横に操り Linux サーバ4を管理して

前いた会社を辞めた時に、部下がくれたアドバイスを思い出した。 部下は新人のときから、びっくりするほどできるやつだった。 同僚の三倍程度の仕事量をてきぱきとこなし、涼しい顔で毎日定時に帰っていく。上司の俺が何も指示していないときに、社内を歩きまわって、同僚や先輩に仕事を「お願い」していた。 けれども、そいつを悪く言うやつはいなかった。笑ったときのえくぼが印象深い奴だった。 俺は会社でパッとしない上司をやっていた。 経験だけはあったが、他にその役につく人間がいないという理由で、ロケット鉛筆のように押し出されてそのポジションに付いた。 かつて新人だった頃は、プログラマーとして四苦八苦しながら、作る喜びを糧にしていたものだった。 だが月日が経って、机の位置が変わった。プロジェクトを指揮するようになった。部下が増えた。いつしか俺はコードを離れ、代わりに人間を扱うようになっていた。 責任が増えると共に

jQuery使用時に以下の書き方をすると、どれを使ってもDOM構築後のタイミングで実行したい処理を実行できる。 $(document).ready(function(){ /*実行したい処理*/ }); $().ready(function(){ /*実行したい処理*/ }); $(function(){ /*実行したい処理*/ }); 以下のように複数回実行した場合は$(function(){/**/});を実行した順に、 中の関数が実行されるので以下の場合は、DOM構築後にconsoleに改行を挟んで1,2,3と順番に出る。 $(function(){ console.info(1); }); $(function(){ console.info(2); }); $(function(){ console.info(3); }); 自信がないので、一応、コードの該当箇所を確認 jQue

2012年 6月 13日 新しいサーバーでブログをリニューアルして気がついた、SNSボタンの有無でかなり読み込み速度に差がある。といっても2,3秒ほどですが、これは結構命取りだったりします。 まぁ私もそんなに詳しいわけではないので断言できませんが。 ・訪問者はその数秒でサイトから逃げる ・Googleはその数秒を評価基準に入れる たしか遅延ロード(Lazy Load)とかいう技術ですね。 わりとポピュラーなコードで何とかなったので書いときます。 ピュアなJavaScriptではなく、jQuery使いますね。 方法その１ 時限式読み込み body閉じタグの前あたりに書きます。 . . . <div id="snsbox"></div> <script type="text/javascript"> var snscode = 'ここに、SNSのコードを書く' + '一行でつなげても良いが見に

さきほどWWDCにて新言語 Swiftが発表されました。 The Swift Programming Language (iBooks Store) で言語ガイドが公開されていたのでザッと目を通してみました。 Objecitve-Cと比較してSwiftがイケてそうなところをパッと気になったところだけ書いていってみます。 変数/定数の型推論がある Objective-Cのように明示的に型を書かなくても型を推論してくれます。 推論で問題ないケースも多いと思うのでタイプ数がかなり減らせそうですね。 ( 変数を宣言する際はvar、定数を宣言する際はletで宣言します。 ) // 型推論 var name = "Shinji Ikari" // 変数の型は推論によりString型になる var age = 14 // 変数の型は推論によりInteger型になる let height = 141.5

超簡単。 $ pip install uwsgi 以上ｗ！ インストールはさくっとできたので、動かしてみる。ドキュメントを参考に、簡単なFlaskアプリを書いて試す。 [python] #!/usr/bin/env python # examle.py from flask import Flask app = Flask(__name__) @app.route(‘/’) def index(): return "<span style=’color:red’>I am app 1</span>" [/python]

nginx+FastCGI+Wordpressの組み合わせはやってみたので、次は nginx+uwsgi+django の組み合わせで簡単なサービスを作ってみたい。 とりあえず、django の admin ページが見られるようになるまで。 思い切り uwsgi のページやその他のページの丸パクリだけど…。 必要なのは大雑把に言うと以下の通り Python django uwsgi nginx 以下、それぞれのインストールについて。 Python 手順は以下のページのまんま CentOS 5.6 に Python 2.7.1 と mod_wsgi 3.3 をインストール 一つ注意しなければいけないのは、django のデータベースに sqlite3 を使うつもりなら python をビルドする前に sqlite-devel をインストールしておかなければならないという事。 [parache

PythonでAPIを開発できる環境を作りたかったので、 色々試してみました。 いつもはPHPを使っていたので、webサーバはお手軽にApacheを使っていたのですが、 業務ではデータ分析をしているため、 今後はPythonを使う予定なので、さっそくPythonのwebサーバを作っていきたいと思います。 Pythonをwebから使う際には以下のようなサーバがあるのですが、 uWSGIが良いとのブログを発見したのでやってみます。 Python を Web 上で使うには SimpleHTTPServer Apacheでmod_python FastCGI WSGI 便利で超強力なWSGIサーバー uWSGI を使ってみよう こちらの記事を参照したのですが、 難しい内容なので、そこまで理解してませんので、 詳しくは檜山正幸のキマイラ飼育記のブログをみてください。 とりあえず、webサーバはNgi

Chef使おうとしてるけどChefいろいろつらい． 具体的には以下がつらい． 独自概念多い chefのクライアントを対象ホストに入れなければならない knifeとか覚えないといけない外部ツールがある 最初からディレクトリ構成がわいわい (rails newしたときのあのきもち） 公式ドキュメントの量が多いかつわかりにくい 以前にmiyagawaさんのpodcast を聞いてたらnaoyaさんがAnsibleっていうシンプルなプロヴィショニングツールがあるっていう話をされていたので，使ってみた． AnsibleWorks | Radically simple IT orchestration Ansible 触ってて感じるイメージは，ChefがRailsでAnsibleがSinatraな感じ． ディレクトリ構成がない (一応大規模運用を考えたディレクトリ構成のベストプラクティス Best P

1年くらいchefを使ってサーバ構築をしていたのですが、最近ansibleに乗り換えたので紹介記事を書いてみます 1. サーバ側に何もインストールする必要がない chefは管理対象ノードにchef-clientをインストールする必要がありますが、ansibleはPython 2.4が入っていて、sshでログインできればOKです。 chefもパッケージや,knife bootstrapコマンド等があるので始めやすいですが、何もする必要がないansibleの方が敷居が低いのかなと思ってます。 例えばsshでログインできれば、以下のコマンドを打てば10.0.10.1～10.0.10.3サーバの情報をとってくれます(カーネルバージョン,CPU,メモリ,ディスクサイズ,ディストリビューション等)。 この機能はchefで使われているohai相当のことをしてくれます。 echo 10.0.10.1 >