Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag | DevelopersIO
こんにちは、最近Embulk（エンバルク）を調べている川崎です。 タイトルの「DigDag」（ディグダグ） *1と聞いて○ァミコンや○ムコを思い浮かべた方はきっとアラサー以上ですね！ 今回はEmbulkを使い始めると直面するであろう課題について書いていきたいと思います。 これまでに書いたEmbulkエントリー [Embulk] Embulkについての個人的なまとめ [Embulk] guess機能を試してみた【追記】あり [Embulk] guess機能を試してみた Redshift編 [Embulk] タイムスタンプのカラムを追加する [Embulk] タイムスタンプのカラムを追加する add_timeプラグイン編 [Embulk] guess機能を試してみた (テーブルが存在する場合) Embulkを使いはじめると... Embulkはデータファイルの中身をDBにロードするような用途で
【AWS】AWSでFTPサーバー立てる時に気をつけるべき2つのこと＋α | DevelopersIO
はじめに こんにちは植木和樹です。本日はAWS環境にFTPサーバーを構築する際に軽く躓いてしまった事を備忘録を兼ねてまとめます。 FTPは言わずと知れたファイル転送プロトコルです。最近ではHTTPやssh（scp/sftp）が主流になり使う機会が随分と減りましたが、企業間でのファイルのやりとりの手段としていまだにFTPは健在です。 さてAWS環境にFTPサーバーを立てる際、通常は以下の設定を行います。 EC2インスタンスを起動してFTPサーバーの設定を行い、EIPを割り当てる。 EC2へのFTP（tcp/21）をセキュリティグループで許可する。 しかし上記の設定のみだとアクティブモードでは繋がりますが、パッシブモードで繋がりません。企業間でFTPを利用する際、多くは企業のファイアウォールを通ることになるためパッシブモードを利用するでしょう。今回はパッシブモードでも繋がるよう、この問題を解決
RDBMS in the Cloud: PostgreSQL on AWSを読んでみた | DevelopersIO
はじめに AWSにはRDSというマネージドなデータベースサービスがあることは皆さんご存知だと思います。そこで提供されているデータベースは、MySQL、Oracle、SQLServerの3種類です。そうです、PostgreSQLが無いのです！ナイナイ詐欺のAWSなので、そのうち出てくると思いますが、今のところはありませんので、自前で構築する必要があります。せっかく構築するなら、オンプレのコピー感覚で使うのではなく、クラウドネイティブに使いたいものです。今回は、そんなPostgreSQLをEC2上で構築するために考えるポイントをまとめたホワイトペーパーをベースに理解を深めたいと思います。 PostgreSQL on Amazon EC2 PostgreSQLは、ACID(Atomicity:原子性, Consistency:一貫性, Isolation:独立性, Durability:永続性)
Vagrant + Chefで環境構築も自動にする | DevelopersIO
Vagrantをもっと便利に使う この記事では、VirtualBoxのフロントエンドであるVagrantを使用して、仮想OSを作成してみました。 Vagrantは単に仮想OS作成が楽にできるだけでなく、Chef(等の自動設定ツール)と連携して環境構築まで楽にできるようです。 今回はChefを使用して、Vagrantで作成した仮想OSにソフトウェアをインストールしてみましょう。 環境構築方法 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.7.5 Vagrant : 1.2.2 Ruby : 1.9.3 VirtualBox : 4.1.2 ここで作ったCentOS環境を使用するので、vagrant upで起動できるようにしておきましょう。 Chef概要など 最近は社内でもあたりまえのように使用しているChefですが、私はほとんどさわったことがありませんでした。(r
Amazon S3のGlacierアーカイブ機能を活用する | DevelopersIO
よく訓練されたアップル信者、都元です。話題は攫えないと分かりつつも、また小ネタいきます。 数ヶ月前のネタですが、Amazon S3において「自動的にGlacierにアーカイブする」という機能がリリースとなりました。Glacier単体では正直利用しづらかったものが、S3を介してGlacierを使えるようになったことで非常に使いやすいものになりました。とは言え、実際にこの機能を使った事がないと、使いどころのイメージも付けづらいと思います。 S3とGlacierのデータ保存コスト 実は、筆者は個人的に、このS3とGlacierの連携機能を利用しています。自宅で利用しているNAS QNAP TS-219P II には、ファイルを1日1回自動的にS3にアップロードしてバックアップを取る機能があります。この機能を利用して、家族の写真等、消えたら精神的打撃が大きなデータを 99.999999999%（イ
Android のメモリ管理 #3 Heap dump でメモリリークの原因を解析する | DevelopersIO
Heap dump とは Heap dump は現時点でどのようなオブジェクトがメモリに確保されているか解析するための機能です。 動作中のアプリの任意のタイミングでヒープのスナップショットをとる (HPROF形式のファイルとして出力する) ことができます。 このツールも Allocation Tracker と同様、Android SDKに含まれている機能なのでAndroidの開発環境が最低限整っていれば誰でも使用することができます。 今回は Eclipse Memory Analyzer (以下MAT) の使用方法を通して、 Heap dump を利用したメモリ解析について解説したいと思います。 Androidアプリのヒープ領域 ヒープ領域とは、動的に確保できるメモリ領域のことを指します。Androidのヒープ領域は Linuxヒープ (ネイティブヒープ) と Dalvikヒープ (Ja
【番外編】Androidの爆速エミュレータ環境を構築する | DevelopersIO
※追記しました. OSXの方々は注意点もありますので、追記も併せてご覧ください 2012.10.17 Android爆速エミュレータ環境の作り方 Android開発者界隈のTwitter TLで、「Androidのエミュレータが低速で使い物にならないとか言って許されるのは小学生までだよねー。きゃははー」的な会話が繰り広げられていたので、これは知らないのはマズイのでは、という危機感から、一念発起し、爆速Androidエミュレータ環境の構築を試みました Androidのエミュレータが低速で使い物にならないというのは、すでに過去の話だそうです。真の情報強者の方々は、すでに爆速エミュレータでの開発を行っているようです。中には、実機よりも早いので、実機代わりに使ってるという方もおられるようです もうAndroidのエミュレータが遅いなんて言わせない！iPhoneのエミュレータに匹敵する(？)速度を手
JavaScriptのMVCフレームワークと仲間たち ｜ Classmethod.dev()
JavaScriptのMVCフレームワークと仲間たち JavaScriptでイイ感じに開発をしたいという欲求が高まってきたため、自分でフレームワークを作らずに世界の賢者たちから学びたいと思います。今回は、JavaScriptでMVCフレームワーク等を実現しているフレームワークや周辺のライブラリ、さらにはツールやユーティリティまで幅広くご紹介します。 (2012/1/17 updated) Backbone.js Spine.js JavaScriptMVC AngularJS SproutCore Ember.js YUI App Framework Broke.js Fidel.js Sammy.js KnockoutJS eyeballs.js The M Project Knockback Batman.js Shipyard.js Agility.js ベース jQuery Doj
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
