JRubyじゃないよ Digdagのコードを追っていくとRbOperatorFactory.RbOperator#runTask()でRubyスクリプトを実行しています. 具体的にはProcessBuilderを使っています. システムの環境変数を見てrubyコマンドを実行しています. Tokyo Ruby会議#11 ワークフローエンジンDigdagのまとめ - Qiitaのビデオを見たときRuby使えると聞いて勝手にJRubyだろうなとか思ってました. Digdagのワークフローの仕組み digdag pushをすると アーカイブが作成されてそれがDigdag serverに送られる ワークフローを実行するとき テンポラリディレクトリに展開される ワークフロー実行されます では本題のBundlerを使う方法です. Digdagの仕組みをある程度知った上でBundlerを使う方法は幾つかあ

B 6 new stream processing platform with apache flink - Download as a PDF or view online for free

はじめに 機械学習に必要な人の顔の画像を集めようと思ったら結構大変だったので、ちょっと作業負荷を軽減させるためにスクリプトを作ってみました。 OpenCVのインストール 以下のコマンドでインストールします。 ちなみに、Python2.7用です。

# 画像読み込み image1 = Magick::Image.read('http://example.com/image1.jpg')[0] image2 = Magick::Image.read('http://example.com/image2.jpg')[0] p image1.difference(image2) # => [0.0, 0.0, 0.0] # 同じ画像だと0 # 画像読み込み image1 = Magick::Image.read('http://example.com/image1.jpg')[0] image2 = Magick::Image.read('http://example.com/image2.jpg')[0] p image1.composite(image2, 0, 0, Magick::DifferenceCompositeOp) # =

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

注目すべきはインスタンス毎の最大スループットで、いずれのタイプも複数のEBSを束ねることで最大800MB/sのスループットとなっています。しかし、これまで提供されていたEC2インスタンスタイプでは、あのx1.32xlargeを除きそのスループットを発揮することができませんでした。（m4.10xlargeで500MB/s） m4.16xlargeの登場によりこの上限を引き出すことが可能なインスタンスを手軽（？）に利用できるようになりました。 測定条件 利用AMI Windows_Server-2012-R2_RTM-Japanese-64Bit-Base-2016.07.13 - ami-021de263（東京リージョン） EBS設定 st1 2,000GBを追加アタッチ。ボリューム数を1/2/3でストライプしたボリュームを作成 ファイルシステム設定 NTFS/アロケーションユニットサイズ6

踏み台サーバ不要？EC2 Run Commandだけでインスタンス管理するためのシェルスクリプトを書いてみた 西澤です。EC2 Run Commandはとても便利なのですが、AWS Management Consoleからコマンド実行するのはイマイチだし、CUIでやるには覚えないといけないコマンドが多くて辛いなと思っていたので、シェルスクリプトで一発で実行できるようにしてみました。その内容について簡単にご紹介したいと思います。 AWS CLI を使用した Amazon EC2 Run Command のチュートリアル - Amazon Elastic Compute Cloud EC2 Run Commandとは？ あまり有名なサービスでは無いので、SSMやRun Commandを聞いたことが無い、という方は、まずこちらをご覧ください。概念的なところは、GUIも利用しながら操作した方が理解

はじめに Redshiftのテーブルにロードする際に簡単なのは、S3にCSVファイルなりを配置してそれをロードする方法です。 ファイル名にプレフィックスを使用して複数をロードする事も可能ですが、プレフィックスになっていない場合ではファイル毎に実行する必要が出てくるので面倒です。そんな時にマニフェストを作成してCOPY時に読み込ませれば、そこに記述してあるファイル一覧をロードできて便利です。 扱い方について調べたので記事にしておきます。 マニフェストについて 対象ファイルへの接続方法や処理について記述しておき、ロード時にマニフェストを読み込んでその指示通りに処理できるようにするものと理解しています。 環境 Windows10 Aginity For Redshift 準備 テーブル作成 create schema test; create table test.tablea ( id int

はじめに Spark SQLに触ってみたので手順などをまとめました。Spark SQLというのは Apache Hiveのようにクエリ実行することで分散処理ができるものです。Hiveとの違いはインメモリであるために高速に処理できることとクエリ言語にSQLが使えることです。10分位で試せると思いますのでSparkやEMRに触ったことがない方はぜひやってみてください。 1.EC2のキーペアを用意する EC2インスタンスにSSHで接続するのでキーペアがない場合は作成する必要があります。以下のAWSのサイトを見て作ってください。 キーペアがすでにある方はスキップしてもらって結構です。 Amazon EC2 のキーペア - Amazon Elastic Compute Cloud 2.サンプルのファイルを用意する 今回は私が趣味でやっているポケモンGOで捕まえたポケモンの名前、CP、タイプ情報が入っ