Google Cloud の Batch を触ってみました | DevelopersIO
こんにちは、川田です。今回は Google Cloud の Batch を触ってみた作業ログを記載します。 実施してみたこと Cloud Storage 上に置かれたファイルをダウンロードして、zip 圧縮し、Cloud Storage 上に置き直す、という単純な Batch ジョブを作成しています。作業時、以下の設定/実行内容について確認しています。 利用する Compute Engine をコンフィグファイルにて管理する Compute Engine には外部 IP アドレスを付与せず、限定公開の Google アクセスを利用させる ジョブで実行されるコードは、コンテナにて定義する コンテナ環境変数を利用する 実行されるコンテナ上プロセスに引数を渡す ジョブの実行を gcloud コマンドにて行う 環境 Google Cloud SDK 433.0.0 事前の準備 必要となる諸々の準備
続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのがそれ単体で勉強するのが難しく勉強しようとすると何に手を付けるべきかさっぱりわからないということは、先日のブログで述べたとおり。 自分が経験の中で得てきた知見は正しいのかどうか、世間の人に見てもらいたかったというのが書いた動機。 そして、新たな視点や指摘をゲットしてより不測の事態を考慮できている最高なバッチを作りたいという目的があったわけだ。 で、いろいろな意見をもらったのだけどその中で特に辛いと感じたのはこれ。 基幹システムにおけるバッチ処理みたいなものに関する知見については、カジュアルに学ぶ方法はありません。それを体系化した知識として整理した上で、実装できる組織があるんなら、それでメシが食えるんじゃないですかね。— 太一 (@ryushi) 2016, 2月 18 読んでいると 「俺達は障害でつらい思いをしてるし当然先人達も障害でつらい思いをしているはずだ。 なのに、
Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ
バッチファイルでの引数のダブルクォートの扱い方と特殊文字の扱い方 - Humanity
気を付ける事は3つ。特に最後が重要。 人生は限られているし、たいてい人生の終わりより納期が先に来るはず。 関数呼び出し側は必ずダブルクォートで括る 半角スペース、()等を含む引数は必ず括る必要があるが、常に括っていた方が無難。 「cmd /?」を実行した際の末尾の出力から引用すると引用符が必要な特別な文字は「<半角スペース>&()[]{}^=;!'+,`~」 呼び出された関数側で引数を参照する際は「"%~1"」のように「~」を付け、ダブ ルクォートを取り除いた上で更にダブルクォートで囲む 呼び出し元の引数をダブルクォートで囲んでいた場合、%1は「"不運(ハードラック)と踊(ダンス)っちまったんだよ…"」のようにダブルクォートで囲まれたままになる なので"%1"は「""不運(ハードラック)と踊(ダンス)っちまったんだよ…""」のように二重でダブルクォートに囲まれた文字列になってしまう これを
バッチの未来、どうするHadoop - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 ITproの『DBの未来、どうするHadoop』のタイトルに釣られてみたｗ （以下長々書いたけど、結局言いたいことは、DBとHadoopは関係無いってことと、タイトルについて何か勘違いしたっぽいということだけだった＾＾；） 僕の意見では、Hadoopはバッチ処理を分散して実行する基盤である。データを溜めるのは副次的な効果に過ぎない。（暴論ｗ） もちろん、そもそも分散処理を行う必要があるのは処理対象データが大量だからなので、データの溜め方も必須ポイントだし、Hadoopが分散処理する原理も密接に結びついているのだが。 あらかじめ断っておくと、自分は非構造化データとか分析とか機械学習には興味が無い。 自分がHadoopに興味を持ったのは、自分が担当していた“RDBを対象にした
jBatchでデータロードしてみる - kagamihogeの日記
やること jBatchを使用してテキストファイルの中身をOracleにロードする。 とはいえ、単なるデータロードであればワザワザjBatchを使うのはオーバーヘッドがかさむだけである。OracleでSQL*Loaderや、手動ならSQL DeveloperやA5:SQL等各種のツールを使うのが手っ取り早い。 ただし、ごく単純なデータロードの実装を通して学べることも多い。このエントリの目的は、ごく単純なデータロードを通してjBatchの挙動を知ることにある。 やることとしては、jBatchを使用してOracleにデータをロードし、また、いくつかのパラメータを変更して、そのときの実行時間の変化を確認する。 環境 Java Java SE Development Kit 7u65 Eclipse Luna(4.4.0) IDE for Java EE Developers GlassFish S
JPAからJDBCのバッチ更新を使う - kagamihogeの日記
JDBCのaddBatchとexecuteBatchの頻度変更時の動きをstatspackで見てみる - kagamihogeの日記は、JDBCを直接使用していた。が、JPAから同じことをするにはどういう設定などをすればよいのか。それをやってみて、ついでに実行速度の違いも計測する。 実際には、正確にはJPAではなくJPAのプロバイダーであるEclipsLink,Hibernateそれぞれに固有の設定をする。とはいえ、結局はそれらの設定もJDBCのバッチ更新をラッピングしているだけ、と思われる。 環境 DB CentOS-6.4-x86_64 Oracle Database Express Edition 11g Release 2 Java Java SE Development Kit 7u45 Eclipse Kepler(4.3.1) SR1 IDE for Java EE Deve
JDBCのaddBatchとexecuteBatchの頻度変更時の動きをstatspackで見てみる - kagamihogeの日記
JDBCのsetFetchSize変更時の動きをstatspackで見てみる - kagamihogeのblogに引き続いてstatspackの学習を続ける。昔書いたJDBC経由で100万件取得・追加してみた - kagamihogeのblogでは、JDBCのjava.sql.Statement#addBatch(String sql)とjava.sql.PreparedStatement#addBatch()呼び出しの頻度を変更するとDML文の実行速度が改善できる可能性があることを調べた。ここでは、なぜ速度が改善されるかを考える。やることとしては、バッチ更新を使用しないものと使用するものとで、それぞれstatspackのレポートを取得し、それらにどのような差が出るかを見てみる。 環境 DB CentOS-6.4-x86_64 Oracle Database Express Edition
Java Batch 仕様 (Public Review時点)
Public Review版を読み込んだときの勉強メモ。内容は今後改版される可能性がある。Read less
開発に役立つ，BATファイルの書き方・パターン集 （コマンドプロンプトの定石を体系的に学び，バッチ中級者になろう） - 主に言語とシステム開発に関して
バッチのまとめTOPへ Windows上の処理を自動化するプログラムが，BATファイルである。 「コマンドプロンプト」上での手作業を省略し，自動実行できる。 Windowsが存続する限り，BATファイルはなくならないだろう。 バッチ・プログラミングの需要は，何があろうとこの先生きのこる。 このWindows 10の時代でもそうだ。 BATは，MS-DOSの時代から長く使われてきた。 そのため，各コマンドに関する個別のノウハウや情報は多い。 だが，実用的なノウハウを体系的に整理したものは，あまり見かけない。 そこで以下では，BATをコーディングする際の良質なパターンを列挙する。 （０） BATプログラミングの特徴 （１） BATファイルの雛型 （１−１） 冒頭と末尾のテンプレート （１−２） 反復して実行可能に （２） バッチの構造化 （２−１） ルーチンの分割 （２−２） 実行ファイルや実
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
