Amazon EMR の Avro フォーマットのデータを Amazon Redshift にロードする | DevelopersIO
先日、Amazon Redshift で Avro フォーマットのデータをロードできるように COPY コマンドが拡張されました。Avro といえば、Hadoop のシリアライズフォーマットの一つです。Avro ファイルを実際に作成したり、Pig から Avro ファイルをエクスポート〜 Redshift に投入する方法をご紹介したいと思います。 Amazon RedshiftでAvroフォーマットのデータロードをサポートしました 新たに COPY 文で FORMAT が追加になり、このオプションとして AVRO が指定できるようになっています。 COPY COPY table_name [ column_list ] FROM data_source [ WITH ] CREDENTIALS [AS] 'aws_access_credentials' [ [ FORMAT ] [ AS
Visual Studio CodeによるGo言語のデバッグ | DevelopersIO
はじめに 藤本です。 最近、仕事じゃないことでGo言語を書く機会が増えています。 業務上、プログラムを触ることがそんなに多くないせいか、記憶力が弱いせいか、基本的にプログラミングはIDEがないと辛いです。 私がIDEに特に期待することは、以下となります。 自動補完 デバッグ ジャンプ（というのかな？EclipseでCtrl + Clickで飛ぶやつ） IntelliJ IDEAやEclipseのGo言語Pluginを試してみましたが、EclipseによるJava開発やPyCharmによるPython開発のような感動は得られず、Atomエディタで開発していました。 そんな中、Visual Studio CodeでGo言語Extensionがあり、使い易いとの噂を聞いて、早速試してみました。結果、今のところはあまり不満ありません。 Visual Studio Codeについては下記記事をご参照
DockerのFluentd Logging Driverを試してみる | DevelopersIO
ども、大瀧です。 Dockerバージョン1.6でLogging Driverというプラガブルなログ機構が追加され、DockerコンテナのログをSyslogに送信するなど柔軟なログ構成ができるようになりました。 ログアグリゲータとして著名なFluentdのLogging Driverが最近Dockerのmasterブランチにマージされたので、試してみた様子をご紹介します。 検証環境 OS : Ubuntu 15.04 Vivid Vervet(AMI : ubuntu-vivid-15.04-amd64-server-20150616.1 (ami-0473a904) 東京リージョン) Docker : Master Binaries 1.8.0-dev/Git commit: 90024b9 まだリリースされていない段階なので、最新リリースのDockerパッケージをインストールした状態でG
Mac OSX向けDocker 1.8アップグレードガイド – Docker Toolboxの導入 | DevelopersIO
ども、大瀧です。 先日Dockerバージョン1.8が公開されました。これに伴い、Mac OSXでのDockerをデプロイする標準ツールがBoot2DockerからDocker Toolboxに変更になりました。今回はその辺りを踏まえて、Mac OSXで既にDockerを使っている方向けにDocker ToolboxおよびDockerバージョン1.8へのアップグレード手順をご紹介します。 検証環境、バージョン OS : Mac OS X Yosemite Docker : バージョン1.8.1 Docker Toolbox : バージョン1.8.1 Docker Toolboxとは Docker Toolboxとは、開発環境でDockerを実行するための関連ツールを含めたインストーラです。Toolboxをインストールすると以下のソフトウェアが一括で入ります。 Docker Client Do
AWSとGCPの対応表 | DevelopersIO
GoogleのDeveloper AdvocateチームのマネージャであるGreg Wilsonが、Amazon Web Services (AWS)とGoogle Cloud Platform (GCP)の対応表を個人ブログに書いていました。「AWSのコレに対応するサービスってGCPにあるの？」といった質問はよく出てくるので、AWSとGCPを比較検討しているユーザーの参考になるかと思います。もちろん厳密な対応づけではなくて、それぞれのサービス間には足りなかったり多かったりする部分がありますが、おおざっぱにはこんな対応になるかと思います。 カテゴリ Amazon Web Services Google Cloud Platform
Go言語 + cli-init でコマンドラインツールを作る | DevelopersIO
よく訓練されたアップル信者、都元です。最近社内のメンバーがみんなGo言語の世界で楽しそうなので、私も混ざってみることにしました。最初のセットアップや基礎文法等は、私も平行して急いで学ぶGo langシリーズで勉強中です。 コマンドラインツールが作りたい と思っています。ちょっとしたものを作るとしたらPythonなのかな、と思って友達のPythonistaにインタビューをしたところ、「ちょっとしたツール作るとかって用途の人は Golangに移行した（えっ」という衝撃的なコメントを貰い、もうこの際だからGo勉強すっかという空気になった次第。 具体的な環境構築 基本的には急いで学ぶGo langシリーズを読めばいいのですが、一点迷ったのがディレクトリ構成です。 Go言語で幸せになれる10のテクニックでは「GOPATHは一つだけ (Use a single GOPATH)」という指針が紹介されてい
Google Compute Engineのロードバランサを読み解く#1 #gcpja | DevelopersIO
この記事はこちらから転載したものです。 ども、大瀧です。 GCE(Google Compute Engine)でVMインスタンスと並んで注目される機能が、ロードバランサ(負荷分散)だと思います。今回から数回に渡ってロードバランサを触り、その特徴をまとめてみたいと思います。 GCEロードバランサの基本 GCEのロードバランサは、2つの独立したサービスがあります。 Network load balancing (L4ロードバランサ) HTTP load balancing (L7ロードバランサ)[Limited Preview] 参考 : Google佐藤さんのQiitaでの紹介 今回は、L4ロードバランサを提供するNetwork Load Balancingを試してみます。 VMインスタンスの準備 まずは、実際に作成して動作を確認します。今回はこちらのエントリーでご紹介した自動構成を利用し、
Docker 1.3の新機能を試してみる | DevelopersIO
はじめに boot2docker + figで始めるDockerコンテナ・オーケストレーションで書いた通り、Docker 1.3がリリースされました。 DOCKER 1.3: SIGNED IMAGES, PROCESS INJECTION, SECURITY OPTIONS, MAC SHARED DIRECTORIES 今回はDocker 1.3の新機能を試してみたいと思います！ やってみた docker exec 起動しているコンテナに対してプロセスを実行するdocker execコマンドが追加されました。例えば以下のようにコンテナを起動します。 $ docker run -d dockerfile/elasticsearch 7fa04e67eec8e44dd6f84f58eb74d7130dd5cdf3b13091f0369b2da2a30a78f9 docker psコマンドで
hbstudy#58 に行ってきてGCPに震えてきた | DevelopersIO
はじめに Twitterを見ているとなぜかいつもすぐ埋まるhbstudyに空きがでているとのこと。 ということで急遽申込をして行ってきました。 2時間、 Google Computing Platform(GCP)どっぷりでした。 GoogleのKazunori Sato さんがとても面白くわかりやすく説明してくれました。この話を聞いた後に、実はこの方がブログに書いている内容がほぼ講演内容だったということがわかりましたので、こちらより引用しつつ話を進めます。 注意点としては、クラスメソッドに入社してからAWS原理主義者になりつつある私のバイアスがかかっているかもしれません。 ちなみにgmailヘビーユーザーではありますが、GCPにはログインしたこともないので、そりゃ違うだろというところもあるかもしれません。随時訂正しますので御指摘ください。あ、あと$500のスタートアップクーポンをくれる親
Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた ｜ Developers.IO
Norikraとは Norikraとはリアルタイム集計プロダクトです。イベントストリームに対してSQLライクな言語で処理を書くことが出来ます。 例えば、ApacheのアクセスログをNorikraに流し込み、1分あたりのアクセス数やレスポンスタイムの最大値をリアルタイムに集計することが出来ます。 Norikraの利用例は作者であるtagomorisさんのブログで紹介があります。 今回は、Norikraを使ってDoS攻撃をブロックする仕組みを作ってみました。 DoS攻撃ブロックの仕組み アクセス元はApacheのアクセスログから取得し、ログの受け渡しにはFluentdを利用しました。 ブロックの手順は以下のようになります。 アクセスログをFluentdのin_tailプラグインで取得。 Fluentdのout_norikraプラグインで、アクセスログをNorikraに流し込み。 Norikra
ユニットテスト改善ガイド | DevelopersIO
先日、日本Javaユーザグループ（JJUG）主催のJJUG CCC 2013 Fallで、「ユニットテスト改善ガイド」というタイトルで登壇してきました。自分の経験を元に、ユニットテストをチームや組織へ導入する時に起こりえる問題とその解決のヒントに関するセッションです。本エントリーではそのセッションの内容を再構成して公開します。 はじめに 近年のシステム開発では、ユニットテストや継続的インテグレーション（以下、CI）の導入は必要不可欠と考えられています。とはいえ、どんな組織（チーム）でも簡単に導入できているわけではありません。特に、大きな組織や古くからの慣習を残している組織では導入したくとも中々進まないと感じているところが多いのではないでしょうか？。 私は、これまでに多くの開発現場でユニットテストやCIの導入について推進してきました。成功したケースもあれば失敗したケースもあります。そして、失
AWSにおけるセキュリティとコンプライアンスのベストプラクティスを読んでみた | DevelopersIO
AWSは今エンタープライズ祭り AWSと聞いて、ホームページを運営するためのレンタルサーバーぐらいに思っている方は認識を改めた方が良いかと思います。今、AWSをエンタープライズ分野で利用する企業が増えています。そこで、必ずといっていいほど出てくるキーワードが、セキュリティです。まぁ、自前でラックを用意して運用するよりも、AWSに預けた方が安全なのは明らかなのですが、セキュリティがザルなオンプレからクラウドに移行するにあたって、改めて考えてみようということで読んで頂ければと思っています。今回は、トレンドマイクロ社が公開しているホワイトペーパーを読みながら理解を深めます。 クラウドコンピューティングとは 毎度おなじみの用語の定義です。ここでは、NIST（The US National Institute of Standards and Technology）が定義するクラウドコンピューティン
[Grunt]Yeomanで開発ワークフローを楽にしよう[bower] | DevelopersIO
※2013/5/14 Yoemanってスペルミスしまくってたのを修正 Yeoman(ヨーマン)とは LESS、Sass、compass、Coffeescript、TypeScript等々、クライアントサイドのWebアプリケーション技術は多様化しています。 Coffee ScriptやLESS等の拡張言語はコンパイルする必要がありますし、jsファイルはconcat/最適化/ミニファイすることも多いです。 ソースを修正するたびにいちいち手動でコンパイルしたり最適化するのは、本来注力すべき事象ではありません。 Yeomanは開発者がアプリケーション開発に注力できるよう、アプリのひな形生成からテストやコンパイル、ファイル最適化といったワークフローを提供してくれます。 Yeomanについてはここでも少しふれていますが、開発を楽に楽しくするためのツールが満載のようですね。 まずはYoemonについての
node.jsのいろいろなモジュール31 – apiDocでRESTful APIドキュメントを生成する | DevelopersIO
RESTアプリケーション用ドキュメント apiDocモジュールは、RestfulAPI用ドキュメントジェネレーターです。 jsファイル内にJavadocやJsdocのように埋め込み、API用の説明を記述すると、apiDocコマンドでhtmlとして出力することができます。 デフォルトではこんな感じでドキュメントが出力されます。 なお、独自のテンプレートを使用することも可能みたいです。 環境構築方法 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.7.5 Node.js : v0.10.4 npm : 1.2.18 npmを使用してモジュールをインストールしましょう。グローバルオプションをつけてapiDocをインストールします。 % npm install apidoc -g これで問題なくapidocコマンドが使えるかと思ったのですが、私の環境だと、 「env: n
Karma(元Testacular)を使って簡単にテストを実行しよう | DevelopersIO
Karmaとは 昨年、Googleがnode.jsベースのJavaScriptテストランナー、「Testacular」をオープンソース化しました。 このツールは元々AngularJSのためのテストフレームワークとして作られたそうで、 クライアントサイドのJavascriptコードのテストを簡単に実行することができます。 このツール自体はテストランナーで、JasmineやMochaなどのテストフレームワークを使用してテストを行います。 先日このプロジェクトの名前が変更され、「Karma」という名前になりました。 今回はKarmaのインストールからテスト実行(+ Gruntでの実行)までをおこなってみます。 環境構築方法 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.7.4 Node.js : v0.10.0 npm : 1.2.14 Grunt : 0.4 npm
CSSのみとSass/SCSS、Lessに対応したレイアウト系CSSフレームワークについて調べて表にしてみた | DevelopersIO
みなさまこんにちわ。 Webサイト高速化やSCSSの連載を書いている野中です。 そういえばGoogle Readerが終了するとのことでとても残念ですね。 読者のみなさまも次の引っ越し先ツール探しで忙しいところだと思います。 そこで、クラスメソッド開発ブログのRSSも忘れずに登録をお願いします。 とても更新頻度の高いブログということもあり、いろいろな切り口のRSSを用意しています。 本題 それでは本題ですが、レイアウト系のCSSフレームワークって色々ありますよね。 個人的にはHTML上のクラスにあまり意味のない文字列は入れたくないので使っていませんでした。HTMLも編集しなければならないので。 ふとSass/SCSSでExtendしたりMixinsで制御できるものであれば無駄なクラス指定を減らして可変でレスポンシブなグリッド制御ができるんじゃないか思って探してみたら色々とありました。 最初
【後編：Webフォント化】アイコンをWebフォント化してリクエスト数の削減とRetina Displayに一発対応 | DevelopersIO
はじめに みなさんこんにちは、高速化やSCSSの記事を書いている野中です。 前「【前編：フォント作成】アイコンをWebフォント化してリクエスト数の削減とRetina Displayに一発対応」はマインクラフトネタでフォントの作成について紹介しました。 今回は、作成したフォントをWebフォント化して読み込んでみたいと思います。 前回作成した匠顔フォントはこちら Creeperフォントをダウンロード 1，Webフォントについて 少し古いですが詳しい解説はこちらの記事「Webフォントについて調べてみた」をどうぞ。 一部抜き出して紹介します。 1.1，Webフォントとは CSS2.1時代、Webサイト上で利用できるフォントはユーザーのローカル環境にインストールされているフォントに限られていました。Mac、Windows PC共通のフォントは無いためデザインにも大きな制約がありました。デザインフォン
node.jsのいろいろなモジュール22 – mochaでテストを書こう | DevelopersIO
mochaとは mocha(モカ)は、javascriptの単体テストでよく使用されているテストフレームワークです。 node.jsやブラウザから実行ですることもできます。また、非同期のテストも可能になってます。 なお、mocha自体はアサーション機能は持っていません。なので、値の検証は標準のassertとかchaiとかshouldを使用します。 TDDやBDDスタイルでテストを記述でき、テスト結果もいろいろな形式で出力できます。 今回はmochaの基本的な使用方法について紹介します。 環境構築方法 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.7.4 Node.js : v0.8.15 npm : 1.1.66 適当なディレクトリを作成し、そこでnpmを使用してmochaをインストールします。 mochaコマンドを使用するので、gオプションつきでインストールし
コーダー必見、SCSS・Compassで開発効率アップ｜Retina Display対応CSS Sprite編 | DevelopersIO
コーダー必見、SCSS・Compassで開発効率アップ｜Retina Display対応CSS Sprite編 はじめに 特に寒い今日この頃ですが読者の皆様は元気にお過ごしでしょうか？ 2月のリア充イベントといえばバレンタインですね（企業戦略）。バレンタイン用のチョコを販売するお店も増えてきました。 弊社は秋葉原という立地ですが意外なことに既婚者が多いので「リア充爆発しろ」と嘆く男性は少数のようです。 ちなみにビターチョコが好きです。 本題 今回は少し前に執筆した「コーダー必見、SCSS・Compassで開発効率アップ｜便利なCSS Sprite実装編」を発展させてSCSS・CompassでRetina Displayに対応する方法を紹介します。 事前に必要な知識 この記事では、以下の事前知識が必要になります。 記事中でも解説を挟みますが、詳しくは解説で案内しているページを参考にしてくださ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ember.js入門 の記事一覧 | DevelopersIO
