タグ

batchに関するlamichのブックマーク (24)

  • Djangoのカスタムコマンドを作成してコマンドラインから実行する - Qiita

    Djangoのカスタムコマンドを作成してコマンドラインから処理を実行する はじめに Webアプリケーションの開発を行っていると、コマンドラインから特定の処理(集計処理、API呼び出し、メール配信など)を実行したい場合があります。この記事ではDjangoアプリケーションをコマンドラインから実行する処理の書き方を紹介します。 Djangoのコマンドラインツール Djangoにはデフォルトでコマンドラインツールが付属しており、例えば次のような処理をコマンドラインから実行することができます。 python manage.py startapp sample => アプリケーションの作成 python manage.py migrate => DBマイグレーションの実行 python manage.py shell => インタラクティブShellの起動 python manage.py runse

    Djangoのカスタムコマンドを作成してコマンドラインから実行する - Qiita
  • Railsのバッチ処理のコツ - tech-kazuhisa's blog

    はじめに Railsでギョーミーな仕事を行う上で欠かせないのがバッチ処理です。 日々上位システムから送られてくる膨大なデータを迅速に取り込み、集計処理を行いDBに格納する。上位システムは何層も構成されており、我々が集計処理に使える時間はエンドユーザーが出社してくるまでの数時間... みたいなシチュエーション無いですか? 今回はバッチ処理を行うコツについて書いてみようと思います。 想定される処理 CSVファイルの取り込み 集計処理 集計結果をDBに格納 普通にrake taskを書いて処理できてれば今回の記事は必要ありません。そっとブラウザを閉じて下さい。そうでない場合、多くの人が直面する問題は次のようなものが考えられます。 IDのオーバーフロー メモリがいつぶされてバッチ処理が停止 それでは順番に説明します。 IDのオーバーフロー 大量のデータを日々のバッチで取り込んでいる場合、IDがオ

    Railsのバッチ処理のコツ - tech-kazuhisa's blog
  • 『CakePHP2.x系でバッチプログラムを作る』

    コマンドライン処理をPHPで作りたい場合、わざわざCakePHPでバッチプログラムを作らなくても、っていうのはあるかもしれませんがWebをCakePHPで作っているのであれば、そこで作ったコンポーネントやモデルなどを再利用できるため何かと便利だったりします。 CakePHPのバッチプログラムは、下記のパスに保存します。 /path/to/cakephp/app/Console/Command バッチプログラム名は、指定したいプログラム名に「Shell.php」をつけて定義します。 プログラム名が長い場合、キャメルケースを使って定義している方がよいでしょう(理由は後述)。 そして、バッチプログラム体は、同ディレクトリ内に存在するAppShellクラスのサブクラスとして定義します。 <?php class HogeDataImportShell extends AppShell { /**

    『CakePHP2.x系でバッチプログラムを作る』
  • CakePHPで任意のログファイルへログを出力する方法 | 株式会社LIG(リグ)|DX支援・システム開発・Web制作

    こんにちは。お盆休みは地元に帰り、あさりがべたいなぁと思い、冷蔵庫をあさり続けましたが、シジミしかありませんでした。シジミの申し子、勝利です。 お後が宜しいようで・・・ さぁ、茶番は終わりにして、今回は久しぶりのCakePHPネタです。 CakePHPで任意のログファイルへログを出力する方法をご紹介たいと思います。 どうぞよろしくお願い致します。 経緯や用途 理由なんて後からつければいーんです。自分自身が作りたいと決めたら作ればいーんです。 作業している際や、番リリース後等に自分だけのログ出力ファイルやアプリケーションの仕様的にCakePHPのログ以外のログが必要になったり欲しくなったりしたことはないですか? もちろんログ出力だけであればCakePHPに備わっているものを使用したらいいと思うのですが、CakePHPでデフォルトで吐き出されるログによって汚されたりすると、自分が吐き出した

    CakePHPで任意のログファイルへログを出力する方法 | 株式会社LIG(リグ)|DX支援・システム開発・Web制作
  • CakePHP2系でバッチ処理を実行するために覚えておくわかりやすい基本方法 - 【鋭利団体】PK-Brothers

    我々は日々死ぬために生きている。 生きるために死ねる。 最近そんな言葉が胸にささった。 今回のTipsはよくあるCakePHPでのバッチ処理を実行するための基的方法について記述する。 よくシェルとも言うらしいが、僕はバッチといった方がしっくりくるから以下バッチという。 僕の開発環境はWindows環境なのでWindowsに特化している記述になるがいいだろう。 結構Windows記事を見つけないからだ。 参考になれば幸いでござる。 まず、どのファイルに書くか? app/Console/Command/ このディレクトリにファイルを追加する。 できればCakePHP命名規則にのっとって書くのが無難だろう。 app/Console/Command/TestShell.php こんな感じに、ね。 コーディングの構成は? 僕はいつも以下のような形で基形成を保っている。 人はルールの上にいてこそ

    CakePHP2系でバッチ処理を実行するために覚えておくわかりやすい基本方法 - 【鋭利団体】PK-Brothers
  • シェルスクリプト入門

    シェルの作成・実行 ・ シェルスクリプトとは ・ シェルの書き方 ・ シェルの実行 変数 ・ シェル変数 ・ 特殊な変数 制御構文 ・ if ・ case ・ while ・ for ・ until 演算・比較 ・ 四則演算 ・ 数値比較 ・ 文字列比較 ・ ファイルチェック ・ 論理結合 関数・オプション ・ 関数の作成 ・ オプションの使用 サンプルスクリプト集 ・ 共通関数を外部ファイルに作成する ・ ヒアドキュメントの利用 ・ findコマンドの有効利用 ・ リストファイルを読み込んで処理する

  • 複数の画像ファイルを自動でPhotoshopのレイヤーに配置する - Poser覚書|使い方とフィギュア紹介

    Poser覚書 | 3DCGソフト Poser Pro 11の使い方 モデリングが苦手でも美しい3DCGを楽しめる画期的なソフトPoser(読み方はポーザー)に関する覚書です。 複数の画像ファイルを自動でPhotoshopのレイヤーに配置する まずはこれを見てもらおう。 ▲ Chibibel をトゥーン調でレンダリングして陰影を合成(オーバレイ)したもの。 上の画像は「影なし拡散色のみレンダリングしたもの」と「陰影のみレンダリングしたもの」をPhotoshopで合成したものなのだ。  ( トゥーンぽいレンダリングのやり方は、 Toonノードの線幅を変更するユーティリティ あたりを参考にして下さい。) ▲左が陰影、右が影なし拡散色のみでレンダリングしたもの。 そして、やりたいのはこういうことである。 複数の画像ファイルを自動でPhothopのレイヤーに配置する 自分でやってみても、なんだかよ

  • 池澤あやかのプロフィール - Facebook開発者の為のサポートサイト | fb.developers'+

    スマートウォッチはさまざまなブランドから発売されており、とても注目を集めています。しかし、具体的にどのような機能があるのか分からない方もいるでしょう。また数多くの種類があり、どれを選ぶか迷う方も多いですよね。そこで今回は、スマートウォッチの基的な機能や、おすすめのブランド・商品についてご紹介します。 #健康管理 多くのスマートウォッチには、歩数を計測する機能があります。その機能を使用すれば歩数やカロリーなどが計算できて、健康管理に役立つでしょう。 #通知機能 メールやSNS(Faceboook、Twitter、Instagramなど)の通知を受け取ることができます。会議中や事中などでも気軽に確認できるでしょう。 #電子マネー決済 対応しているスマートウォッチであれば、さまざまな電子マネー決済が使用できます。財布を取り出さなくてもいいため非常に便利です。 #音楽再生 スマホをカバンやポケ

    池澤あやかのプロフィール - Facebook開発者の為のサポートサイト | fb.developers'+
  • PHPでバックグラウンド処理

    カテゴリ CakePHP (1) CSS (1) FLASH (1) HTML (1) MySQL (6) PHP (16) Smarty (1) WordPress (2) XOOPS (3) サーバー設定 (1) 日記 (2) 未分類 (1) 法律 (1) アーカイブ 2011年8月 (21) 2011年7月 (14) 管理者ページ バックグラウンド処理とは外部コマンドを非同期で実行するということ。調べてみるとPHPにはやり方がいろいろあってそれぞれ特徴があるようで、できる限り整理してみた。 まず基的には「system」か「exec」を使用する。 system 関数 結果は標準出力に吐かれ、終了ステータスコードが第二引数の参照に渡される $res = system($cmd, $arr); とすれば結果を取得できなくは無いが最後の1行しか取得できない。 使いどころ:コマンドを発

    lamich
    lamich 2011/08/25
    $fp= popen(“start /b php batch_back.php”,”r”);pclose($fp);によりWindowsでも非同期が実装できる。system(“start /b php batch_back.php”);では同期処理になってしまう。
  • PHPのメモリの使い方 - ぱんぴーまっしぐら typo-H

    unset()をしているが、メモリの消費量は変化しない。 えぇぇぇ!ということで調べてみた。 <?php $memory_usage = memory_get_usage(); $arr = range(1,10000); echo memory_get_usage() - $memory_usage . "\n"; // 785888 unset($arr); echo memory_get_usage() - $memory_usage . "\n"; // 65072 ?> ちゃんと開放されてます。つか、オーバーヘッドひどいな。 <?php $memory_usage = memory_get_usage(); $arr = range(1,10000); echo memory_get_usage() - $memory_usage . "\n"; // 785896 $arr2

    PHPのメモリの使い方 - ぱんぴーまっしぐら typo-H
  • [B! symfony] bm0329のブックマーク

    概要 Symfony(php-framework)を使う機会があって、環境構築した際のメモ。 WEBサーバにnginxを採用しているのはWEB上でPHPとの連携が早いと話題になっていたので興味位で採用w♫ CentOS6.3 初期設定 ・iptables停止 ・ipv6停止 ・selinux停止 ・yum update また、それ以外に不要なサービスも適宜停止した方がいい。 iptables + ipv6停止 /etc/init.d/iptables stop /etc/init.d/ip6tables stop chkconfig iptables off chkconfig ip6tables off cd /etc/modprobe.d/ vi disable_ipv6.conf =(新規作成)=> alias net-pf-10 off options ipv6 disable=

  • Works

    2003年度豊橋技科大文化祭出展作品。 弾幕飛び込みシューティングってジャンルにしておきました。 敵に近づくほど武器の威力が上がるシステムです。 必然的に弾幕に飛び込み、くぐり抜けないといけません。 そこそこのクオリティになりましたが、くぐり抜ける楽しさをもっと出したいところ。 なお、ステージ構成のほとんどが自作スクリプト言語で書かれています。 このエンジンはけっこう自信作。ソースも公開してますので、興味があるかたはどうぞ。

  • Windows Task Scheduler - Wikipedia

  • cron (crontab) が使えない場合の裏技 | ≡ Drupal Japan ≡

    Drupal でサイトを運営する上で、いくつかの機能には定期的な cron.php の実行が必要となるものがあります。 例えば、検索用の索引付けやログの定期削除、コンテンツの更新を他サイトに知らせるための ping 送信、あるいはアグリゲータなどです。 cron.php の実行のためには、Drupal をインストールしたディレクトリにある cron.php にアクセスすればよく、一般に、Unix 系サーバであれば crontab(以下、単に cron) を、MS-Windows 系サーバであれば定期的にコマンドを実行する同種のアプリケーションを使用し、wget や lynx などのユーザが対話しなくとも使用できるツールを定期的に起動し、cron.php にアクセスさせます。 ところがこれらは、無料あるいは廉価なホスティングサービス(レンタルサーバ)では、利用できないことが少なくありません。

  • WindowsでLinuxのcronのようなものはありますか?

    UNIXのcroncrontabほどとは言えませんが、cronNTという フリーソフトウェアが使いやすいと思います。 XMLの書き方に慣れていればwcronというものも楽です。 …と書いておいて申し訳ありませんが、私自身は 海外製のツール、pycronを使用しております。 crontab.txtを/etc/cron.xxxxxのように編集するか、 GUIの編集ツールを使ってすぐに使用できます。 もちろん、サービスとして実行できますよ。 それ以外ですとやはりCygwinでしょうか。 Linuxに似たコマンド集でしたら "unix-like tools"などで検索をかけると たくさん出てくると思います。 Microsoft純正製品でお探しでしたら SFU(Windows Services for UNIX)は最近無料で 使用できるようになりましたから、そちらをお使いに なるのも良いでしょうね

    WindowsでLinuxのcronのようなものはありますか?
  • Windowsコマンド集:(at)

    AT [\\コンピュータ名:] [[ID] [/DELETE] | /DELETE [/YES]] AT [\\コンピュータ名:] 時刻 [/INTERACTIVE] [/EVERY:日付[,…] | /NEXT:日付[,…]] "コマンド"

  • ログアウト後もコマンドを実行しつづける - Linuxコマンド

    リモート先のPCでジョブを走らせるとき、ログアウトしてもジョブを走らせ続けるには「nohup」コマンドを使う このコマンドは、処理を自動的にバックグラウンドにするわけではないので、最後に必ず「&」を付ける。通常、画面に出力されるログは「nohup.out」か「$HOME/nohup.out」に出力されるので、あとから実行結果を確認することもできる。もし、どちらのファイルには書き込み出来ない場合は、実行が中断される。

  • シェルのリダイレクトにまつわる失敗

    Landscape トップページ | < 前の日 2004-03-27 2004-03-28 次の日 2004-03-30 > Landscape - エンジニアのメモ 2004-03-28 シェルのリダイレクトにまつわる失敗 当サイト内を Google 検索できます * シェルのリダイレクトにまつわる失敗この記事の直リンクURL: Permlink | この記事が属するカテゴリ: [bash] シェルのリダイレクトについての理解が不十分なためにやってしまった失敗。 標準出力も標準エラー出力も /dev/null に捨てたいとき、間違えて以下のようにしてしまうことがときどきあった。最近はやらなくなったが。 # 間違い $ command 2>&1 >/dev/nullこれだと command の標準出力は /dev/null に向けられるが、command の標準エラー出力は画面に向いてし

  • symfony.jp

    symfony.jp 2020 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy

  • cron の設定ガイド

    ■はじめに cron とは、ジョブ(スクリプト)を自動実行するためのデーモンプロセスです。そして、Linux システムの管理を行なう場合、ログのローテートや、バックアップなど、定期的に自動実行したいジョブが数多くあります。特に、バックアップなどは、システムへの負荷が大きいため、通常は、ユーザからのアクセスが少ない、深夜や早朝に行なわれます。 このように、定期的に実行されるジョブは、crond というデーモンによって、自動的に行なうように管理することができます。そこで、今回は、cron の設定を行なうために必要なコマンドや、設定ファイルについて説明していきたいと思います。 ■設定手順 このページでは、以下の順番で cronの設定について説明します。 まず、Linuxシステム上で、cron を使用するために、サービスの起動で、サービスの状態を確認し、停止している場合には、サービスを起動します。