大栗です。 動的名前解決ができるHAProxyを使いたくなったのですが、Amazon Linux 2017.03でもHAProxyが1.5.2であるためソースからビルドする必要があります。ソースからビルドすると管理が行いにくくなるので、ソースインストールを管理できるporgを使って管理してみます。基本的には標準リポジトリでインストールできるものを使いたいのですがリポジトリのバージョンが上がっていないので仕方がありません。。。 2017年10月5日：手動で作成したファイルの追加方法がわかったので追記しています。 porgとは？ 以前はpacoという名前のプロジェクトでしたが、現在はporgとして開発が進められています。 ソースからビルドしたソフトウェアを管理できるツールです。 試してみる 以下の環境で試してみます。 OS: Amazon Linux 2017.03 インストール対象： HAP

主にクラスメソッドメンバーズにおけるサポートサービスとフートシリーズ（運用保守オプション）を担当するグループです。運用保守、システム監視、セキュリティ監視、継続的コンサルティングと、システム稼動後のお客様インフラを24時間365日体制で安定した状態に保つために日々お客様とやりとりしています。 このように、一つの部の中に担当業務が違う複数のグループがありますが、部全体のビジョンはただ一つ、「AWSに関する圧倒的な量のノウハウを用いて、AWSインフラを安く早く構築し、AWSのことをまるっとお任せしてもらうことで、お客様のビジネスに貢献する」です。そして同じビジョンを掲げたチームとして、採用方針もグループ毎に分けず、部として統一しています。 今回はAWS事業部の採用方針をご紹介します。 AWS事業部の採用方針 AWS事業部の採用方針は以下の3つです。 技術が好きな人を採る クラスメソッドはエンジ

渡辺です。 自分は「教える」ことにやり甲斐を感じます。 大学時代を思い返すと、家庭教師やサポートセンターのバイトをやってました。 ボードゲームをする時は、ルール説明などを行っていました。 ゲームのインストの一環としてインストカードやサマリを作ることもあり、プレゼン資料作りも得意になりました。 IT業界に入ってからは、勉強会の講師や資料作成・ハンズオンのチューターなどを行うようになりました。 技術書の執筆やIT系専門学校講師も経験しています。 最近では趣味のスノーボードで、インストラクターの資格をとり、スノーボードスクールで教えています。 「教える」ことが好きなんでしょう。 これまで、様々な分野で技術を教えてきました。 畑はまったく違ったとしても、解りやすく「教える」ための技術は大きく変わりません。 今回はそんな「教える」技術をまとめてみました。 なお、本エントリーの対象は、その分野に初めて

EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] 神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バック

はじめに 弊社で開発するモバイルバックエンドのサーバサイドAPIアプリケーションコード (Play framework + Scala) はビジネスロジックを担う主要なパッケージである services, domains が外部のインフラやAPIインターフェイスに直接依存しないようなパッケージ構成をとっています。（Clean Architecture） services, domains の構成についてはDDDの経験が浅く、まだまだ改善の余地があると考えており、今後どうしていくか考えていくにあたって参考になるであろうページをまとめてみました。 尚、DDDまわりにおける筆者の現在の知識はドメイン駆動設計の第二部までを読み終わり、第三部を読み始めた程度です。 DDDと関連のあるCQRS+ES（Command and Query Responsibility Segregation + Even

渡辺です。 以前、JUnit実践入門を執筆した経験もあり、社内でもブログの文章が読みやすいと評価を受けています（内容はともかくｗ）。 折角なので、技術ブログを書くときに注意する点をまとめてみました。 はじめに結論を書く 一番大切なこと、それは結論を最初に書くことです。 エンジニアには時間ありません。 はじめに、何が言いたいか、何を解決するのか、そこを最初に書かないと、読んでて苦痛です。 回りくどかったり、話がブレブレだと最悪です。 「XXの時、解決するにはXXする」とか「XXについて一言でまとめるとXXです」など、最初にまとめを書きましょう。 見出しですべてを伝える意識を持つ 見出しは大切です。 見出しを追っていけば、内容が頭に入ってくるのがベストです。 「見出しをまとめてしまったら、本文に書くことなくなった(´・ω・`)」となれば完璧です。 まさに今、蛇足しか書いてません（笑）。 短い文

target2の場合も同様に作成します。 ターゲットグループにインスタンスを登録する 作成したターゲットグループにEC2インスタンスを登録します。 ターゲットグループを選択してコンテキストメニューでインスタンスの登録と登録解除をクリックするか、ターゲットタブの編集をクリックします。 インスタンスtarget1-aとtarget1-cを登録します。 ALBにインスタンスが登録されます。ロードバランサに登録していないため状態はunusedとなります。 同様にtarget2にもインスタンスtarget2-aとtarget2-cを登録します。 ALBを作成する ALBを作成します。アプリケーションロードバランサーを選択します。 ロードバランサの基本的な設定を行います。 プロトコルはHTTPとHTTPSのみとなっています。今回はHTTPSを選択します。 HTTPSを選択したのでSSL証明書を選択しま

はじめに こんにちは、6月からAndroidの開発を担当している荒川です。 この記事は以下の方を対象にしています。 リモートリポジトリにGitHubを使っている タスクや課題の管理を小〜中規模のプロジェクトで行っている 複数の開発タスクが並行して進むプロジェクトにアサインされている 開発者のみのタスク管理を主体的に行いたい タスク管理ツールを使っているがイマイチうまくいっていない この記事では、私が実践して良かった経験則を紹介します。誰でも真似すれば必ずうまく行くという保証はありません。この記事の読者の方が、担当しているプロジェクトに合わせてアレンジを加えるとより効果が増すかと思います。 開発者のタスク管理 モバイルアプリサービス部では、コミュニケーションツールにBacklogやTrello、Pivotal Trackerを用いている事を突撃！隣の開発環境 パート3【クラスメソッド編】の記

はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64

こんにちは、せーのです。今日はアップデートした[AWS CLI 1.7.28]の中から新機能「EC2 Spot Fleet API」をご紹介します。 このAPIを使うと数千とあるEC2のスポットインスタンスの中から今使いたいEC2を見つけ出してくれます。 スポットインスタンスの隠れた苦労 みなさんはスポットインスタンスを使用する時にどのような操作を行うでしょうか。マネージメントコンソールからの操作は便利ですね。特に最近は画面が日本語化されましたので説明通りに上から埋めていけばほぼ躓くことなくスポットインスタンスが購入できるかと思います。 一方コードから使う場合にはどうでしょうか。スポットインスタンスは特に分散処理やバッチ処理などで沢山のEC2を立ちあげなければいけない時にコストをかけないように使用する場合が多いですが(このように分散処理で使う複数のEC2インスタンスの事を「フリート（艦隊）

2015年04月09日未明(日本時間午前1時頃)に行われた『AWS Summits 2015 San Francisco』のKeynote(基調講演)にて発表された機械学習サービス『Amazon Machine Learning』。 Amazon Machine Learning Management Console ちなみにこちらは速報記事的に書き上げた『サービスが出た！』エントリとなります。 Amazon Machine Learning(機械学習サービス) がAWS Summits 2015 San Francisco で発表されました。 #AWSSummit ｜ Developers.IO セッション内での『今から使えます！』という発表があった様に、このサービス、早速利用可能となっています。という訳で早速『試してみた』エントリとしてどんな感じで使えるのかをご紹介してみたいと思います

はじめに 最近はApache Sparkをちょこちょこと触っている、t.hondaです。前回に引き続きストリーミング処理についてです。今回は複数のキーワードでツイートを取得し、それぞれのツイートをユーザIDでJOINしてみたいと思います。 ソースコード ということで、いきなりソースコードです。尚、ScalaとSparkのバージョンは以下の通りです。 Scala 2.10.4 Apache Spark 1.2.0 import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.SparkContext._ import org.apache.spark.streaming.twitter._ import org.apache.spark.SparkConf import org.ap

はじめに Apache Sparkの用途の一つとして、ストリーミング処理があります。今回はその例として、Twitterから直近の人気のハッシュタグを取得する処理を取り上げてみたいと思います。 処理の流れと用語について ソースをお見せする前に、大まかな処理の流れと、用語について説明したいと思います。先ず処理の流れですが、以下のようになります。 Streamの作成 ハッシュタグを持つRDDの取得 DStreamの取得 DStream内のRDDよりハッシュタグを取得 見慣れない用語ばかりかと思いますが、以下で処理の流れに沿って解説したと思います。 1.Streamの作成 データを連続して取得するためのStreamを作成する処理です。今回はTwitterよりデータを取得するストリームを作りますが、他にも Kinesis、Kafka、Flume、ZeroMQ、TCPなどから取得することが出来るようで

はじめに こんにちは、虎塚です。 今日は、re:Invent 2014で発表された11個の新サービスの概要を、それぞれ日本語140文字以内にまとめてご紹介します。この記事を読めば、10ツイート程度の文章で、新サービスの概要をまとめて知ることができます（！？） なお、元ネタの記事はこちらです。新サービス・新機能が11個まとめられています。 New Services and Features Announced in Las Vegas 原文では英語ブログにリンクが貼られていますが、AWS日本語ブログにリンクしました。 セキュリティとコンプライアンスのための新サービス このカテゴリでは、3つの新サービスが発表されました。いずれもAWSの既存サービスをセキュリティとコンプライアンス面から補完するサービスです。リソースの可視性や監査に寄与するとともに、AWSを利用する組織内で標準化されたプロダクト

ノードのサイズを大きくする事で可能となるカーソルの数も増やせる様になり、クエリの同時実行についてもより大きなレベルで実行出来るようになります。もしワークブックから直接Redshiftに接続しているのであれば、Redshiftは十分な計算リソースとメモリ容量、更には十分なストレージ容量の結果を備えるようになり、結果としてクエリパフォーマンスの向上ときびきびとしたユーザーエクスペリエンスに繋がります。 クラスタののサイズをどのような内容にするのかについては、求めるワークブックの更新スピードとDWHに対するクエリの接続数を考慮して決定する事になります。もし多くのワークブックを同時に更新し、多くのユーザーが同時にクエリ接続を行える形を望むのであれば、高キャパシティのものを選びましょう。 データの暗号化 - 暗号化は慎重に 機密データを含む環境・ケースの場合、ディスクに格納されているデータの暗号化が

ついに実現！合同勉強会！！ 2014年10月9日(木) 19時より、クラスメソッド株式会社＠東京秋葉原にて Developers.IO Meetup 09 クラスメソッド & ゆめみ 合同勉強会 を開催しました。 先日開催した【CM Tech Talk】 〜クラウドとスマホアプリの先端技術に触れてみよう〜 Developers.IO Meetup 07に参加していただいたゆめみさんからお話をいただいたのがきっかけで今回の合同勉強会開催が実現しました。 弊社としても、「合同勉強会」を開催した例は多くなく当初は手探りでの企画となりましたが、今回も大変多くの方にご参加いただきまして誠にありがとうございました。 TestFlightはTestFlightではない アンダースコア株式会社 諏訪悠紀

更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ

はじめに こんにちは、虎塚です。 先週金曜日の18:30から1時間、AWSコンサルティング部でAnsibleをテーマに社内勉強会を開催しました。この記事では、会社の活動紹介を兼ねて、勉強会の様子をレポートします。 秋葉原オフィスと札幌オフィスにいた社員、東京や札幌近郊でリモート勤務中の社員10名以上が、Skype接続して実施しました。写真は、秋葉原オフィスの会議室に集まったAWSチームメンバーです。 今回の講師は植木さんでした。植木さん自身も上越からのリモート参加で、Skypeを使って画面共有しながら説明とデモを実施してくれました。上の写真で皆がディスプレイを食い入るように見ているのは、そのためです。 Ansibleの説明 デモンストレーション Ansibleをインストールする brew install ansible ssh/configを作成する ここで.ssh/configを自動生成

こんにちは、虎塚です。 AWSサミットのセッション「AWSビッグデータサービス Deep Dive」をタイムシフト聴講したので、レポートします。 講師は、HBaseのコントリビュータ、書籍の著者でもある蒋逸峰さん（アマゾン データ サービス ジャパン）です。 テーマは、EMRを中心とするAWSのさまざまなビッグデータサービスを効率使うために、押さえておきたいポイントの紹介とのことです。 AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | アマゾン ウェブ サービス（AWS 日本語） AWSビッグデータサービス Deep Dive（AWS Summit Tokyo 2014 | TA-01） Amazon Elastic MapReduce (EMR) のご紹介 What is EMR? EMARとは、マネージド型のHadoopサービス。オンプレミスのHadoopの導

Hadoopソースコードリーディング 第17回に参加してきました。今回のテーマは7月にApacheのTop-Level Project入りしたばかりのApache Tezについてでした。なお、全体的にApache Sparkと比較する形での説明が多かったので、Sparkについてご存じない方は前回のHadoopソースコードリーディング 第16回に参加してきましたをご参照下さい。 NTTデータ濱野さんの冒頭の挨拶 今日は別のイベントも多いためいつもの半分ぐらいの参加者だが、その分Deepにやれれば いつもの会場だと途中からピザとお酒だが、今回の会場は飲食禁止なので最後までシラフで Tezに関する勉強会は初回なのにいきなりタイトルがInternalsとかになってますねｗ Tez Internals （@oza_x86 さん） @oza_x86 さんからはTez Internalsということで、S