Treasure Dataの新データ転送ツールEmbulkを触ってみた #dtm_meetup | DevelopersIO
ども、大瀧です。 本日開催されたデータ転送ミドルウェア勉強会で、開発者の@frsyukiさんによって語られたEmbulkを早速触ってみました。 Embulkとは EmbulkはOSSのデータ転送ソフトウェアです。もう少し細かく分類するとBulk Loaderと呼ばれる、バッチ処理のためのデータ読み込み、変換処理を行う機能を持ちます。特徴は柔軟なプラグイン構造で、データを読み込むInputPlugin、データを出力するOutputPlugin、さらに読み込み処理自体もExecutorPluginと、機能のほとんどをプラグインとして後から追加、カスタマイズできるよう高度に抽象化されたアーキテクチャになっています。データのハンドリングもプラグインでの実装を想定しているようなので、ここまで来るとミドルウェアというより、データ転送のインターフェースを定義するフレームワークの実装、という方が近い感じか
HashiCorpの新プロダクトNomadとOttoを触ってみた | DevelopersIO
ども、大瀧です。 VagrantやTerraformで有名なHashiCorpのカンファレンスイベント、HashiConf 2015が今朝未明からポートランドで開催されています。そこでNomadとOttoという2つの新サービスが発表されました。両方とも発表直後に公開され、試せるようになっているのでサンプルを動かしてみた様子をレポートします。 Nomad by HashiCorp Otto by HashiCorp Nomad NomadはEasily deploy applications at any scaleというリード文からあるように、アプリケーションをデプロイするスケジューラです。あらかじめアプリケーションを実行するホストにエージェントをインストール、アプリケーションをジョブとして設定ファイル(*.nomad)に定義しておき、設定ファイルに従ってジョブを実行します。 デプロイツー
Amazon Elasticsearch Serviceでkuromojiを使って日本語全文検索する | DevelopersIO
はじめに [新機能]Amazon Elasticsearch Serviceがリリースされました！でお伝えした通り、Amazon Elasticsearch Service(Amazon ES)はICU AnalysisとKuromojiをサポートしています。最初からKuromojiをサポートしているというのが本当にナイス。 そんなわけで、Amazon ESで、Kuromojiを使って日本語全文検索をしてみました。 やってみた まずは、Kuromojiをtokenizer及びanalyzerとして使うIndexを作成します。 $ curl -XPOST 'http://search-myes-hoge.ap-northeast-1.es.amazonaws.com/kuromoji/' -d' { "index":{ "analysis":{ "tokenizer" : { "kuromo
【セッションレポート】Japanese Startup Use-Cases and Tech Deep Dive #cmdevio2015E | DevelopersIO
こんにちは福田です。 先日開催されたDevelopers.IOのアマゾン データ サービス ジャパン株式会社様セッションの「Japanese Startup Use-Cases and Tech Deep Dive」のレポートをお届けしたいと思います。 当日のスライドはこちらからダウンロード願います。 セッション情報 セッション番号：E-2 セッション名：Japanese Startup Use-Cases and Tech Deep Dive スピーカー：アマゾン データ サービス ジャパン株式会社 篠原英治氏 スピーカー紹介 アマゾン データ サービス ジャパン株式会社にてスタートアップのサポートを担当。 国内でスタートアップ支援イベントを主催。 AWS Pop-up Loft in San Francisco：スタートアップ支援施設 来年以降は東京でも同様のスタートアップセミナーをや
Amazon SESでSPFとDKIMを用いて高信頼なメールを送る | DevelopersIO
Amazon SESとは SESは、メールを配送するサービスです。APIやSMTPを使ってSESにアクセスをしてメール送信を依頼します。名前だけ聞いたことがあるけど、実際には使ったことが無い方が多いのではないでしょうか。ちなみに、メールの受信サービスは提供していません。以下にSESの特徴を列挙したいと思います。 SDK/APIからメールを送れる EC2でアプリケーションを開発している場合、メールを送りたいことがありますよね。実際にEC2からSMTPメールを大量に送っているとエラーが返ってきたりします。これは、自動的にスパム認定を受けてしまうからです。これを防ぐには申請とEIPの逆引き登録が必要なのですが、ちょっと面倒ですよね。SESのSDKを使えば直接APIをコールしてメールを送ることができます。 認証付メールが送れる 昔から行われているEメール送信には様々な問題がありました。差出人の偽装
Amazon EC2のキーペア生成について、本来あるべき形 | DevelopersIO
よく訓練されたアップル信者、都元です。EC2の世界にはキーペアという登録エンティティがあります。EC2サーバにSSH接続するための鍵 *1としての働きを持ちます。 暗号技術のおさらい 突然ですが、暗号の世界の技術を大きく3つとりあげ、簡単に整理しておきましょう。私の説明は正確ではないと思いますので、あわせてWikipediaあたりの説明もご参考に。 暗号：情報のヒミツを守る。詳しくは → 暗号 - Wikipedia 電子署名：ある文章を、ある人が認めた状態から改ざんされていないことを確認する。詳しくは → 電子署名 - Wikipedia 認証：通信の相手が、想定した本人であること（正当性）を確認する。詳しくは → 認証 - Wikipedia 一般的に暗号というと思い浮かべるものは「共通鍵暗号方式」でしょう。代表的なところでは暗号化zipでしょうか。暗号化時と復号化時に同じパスワードを
【社内資料公開】構築担当者向け 運用チームに引き継ぐ時に気にしてほしい3つのポイント | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。AWS上でのインフラ構築が終わり、アプリケーションがデプロイされるといよいよサービスローンチ。数日〜数週間様子をみて問題がなければ運用チームに業務を引き継ぐことが多いかと思います。 運用チームへの引き継ぎ資料を作って「あとはよろしくね」となるわけですが、その段階で「待て」がかかってしまうことがあります。（だいたい待てを言うのは私なんですが） 今回はスムーズに運用チームに業務引き継ぎができるように、私が注意しているポイントをまとめておきたいと思います。 3つのポイント 注意するポイントは3つです。 1. Input なにをトリガーに作業が始まるのか。どんな通知がくるのか。 2. Action 何をするのか。 3. Output 作業が終わったら誰に報告するのか。 1つずつ説明していきます。 1. Input 運用チームは基本的に「イベント・
VPC内のEC2インスタンスに複数IPアドレスを割り当てる | DevelopersIO
EC2インスタンスに複数IPアドレスを割り当てる 先日、大きな注目の機能追加がありました。1つのインスタンスに複数のIPアドレスを割り当てられるようになったのです。パブリックIPとプライベートIPをセットにして割り当てることができます。これにより、IPベースのバーチャルホストなどを組むことができるようになります。 ENIって？ ENI(Elastic Network Interface)は、EC2インスタンスに挿す仮想のNIC(ネットワークカード)です。1つのNIC毎に最大で30IPまで設定でき、1つのインスタンス毎に最大で8枚のNICの設定できますので、240のIPアドレスを設定することができます。インスタンスタイプを大きく設定しなければいけませんが、何台もインスタンスを用意することなくたくさんのIPアドレスを使うことができます。 ENIを作成する ENIを使って仮想NICを作成してみま
AWSに適切なSSL証明書の購入を考える | DevelopersIO
どのSSL証明書を買えば良いかよく相談されます AWS関連のお仕事をするようになって、お客様からよく相談されることの第3位ぐらいにSSL証明書の購入があります。毎回同じ説明するのも面倒なのでw、ブログでまとめたいと思います。 SSL証明書の安心感 SSL証明書には大きく分けて3つ（+1つ）の安心感レベルが存在します。 EV SSL証明書 EV SSL（Extended Validation SSL）証明書は、今のところ最も安心感のある証明書です。これを取得するためには、企業が実際に存在していること等、世界統一の認証プロセスがあり、日本では取得するために企業の登記簿謄本と印鑑証明書等の公的な文書が必要になります。ブラウザのアドレスバーが緑色になったらこの証明書を使っていることになります。最も新しい証明書の種類です。企業が自社の安心感を証明するものとして使うため、お値段もかなり高いです。 企業
Amazon EC2への侵入テスト申請について | DevelopersIO
最新の情報は以下ブログをご参照ください。 2017年版 AWSの侵入テストについて はじめに 今日はAWSの侵入テストの申請についてまとめたいと思います。 代行して申請する際にお客様にヒアリングをしている内容となります。 AWSの侵入テスト申請 AWS環境にて侵入テスト・脆弱性スキャンを実施する場合は、事前にAWSに申請を行い許可を得る必要があります。 事前に申請が必要な理由は、侵入テスト・脆弱性スキャンをAWSの適正利用規約と区別するためです。 侵入テストページからの引用 私たちの適正利用規約には、禁止されたセキュリティ違反およびネットワーク不正利用の説明を含む、 AWS 上で許可される行為および禁止されている行為についての説明があります。 しかし、侵入テストはこれらの行為と区別できないことがよくあるため、 当社は侵入テストおよび脆弱性スキャンを実施するための許可をお客様が申請できるポリ
AWS SDK for PHP v3のMultipart Upload機能を試してみた | DevelopersIO
望月＠シアトルです。24時間体制でブログを書くためにシアトルに飛ばされました。 少し前の話ですが、AWS SDK for PHPのVersion3が正式リリースされました。Version3の新機能の中で一つ目を引くものがありました。Amazon S3 Multipart Uploadsです。 Multipart Uploadを利用することで、巨大なファイルの分割アップロードによる並列性の向上、処理速度上昇、及びアップロードの中断/再開が可能になります。 Multipart UploadはもともとS3には機能としては備わっていますが、この機能を活用するためにはクライアントプログラム側で上述の特徴を活かすようなコードを記述しなければならず、活用するための敷居が少し高かったです。今回のリリースにより、これをSDKレベルでサポートしてくれたようです。素晴らしいですね。 というわけで、今日はMult
CentOS 6 (HVM)にcloud-initを設定してAmazon Linuxぽくする | DevelopersIO
CentOS6でcloud-init CentOS7には最初からcloud-initが設定されていますが、まだまだCentOS6を使いたい方が多いかと思います。さらに、新型インスタンスを使えるHVMを使いたい方も多いのではと思います。ということで、初期設定を手順にまとめてみました。 CentOS6(HVM)を指定して起動 AWS MarketPlaceからCentOS 6 (x86_64) - with Updates HVMのAMIを選択しましょう。 HVMを選択することで、インスタンスタイプにt2とかr3を選択できるようになります！ awscliの動作確認するので、IAM RoleでPowerUserあたり選択しておいてください。 基本セットアップ まずはログインしてセットアップしましょう。CentOS6の初期ユーザはrootですので気をつけてください。後でec2-userのみ接続でき
[レポート]NoSQLの必要性と主要プロダクト比較 #dbts2015 #be_crazy_about_db_tech | DevelopersIO
超おはようございます。最近めっきり暑くなってきましたね。城内です。 今回は、db tech showcase Tokyo 2015に参加してきましたので、セッションレポートを書きたいと思います。 セッション情報 セッション名：NoSQLの必要性と主要プロダクト比較 スピーカー：株式会社野村総合研究所 OpenStandiaチーム 渡部 徹太郎氏 スライド オープンソース サポート 保守 サービス（OSS サポート 保守 サービス）| OpenStandia™（オープンスタンディア） セッション内容 データを取り巻く環境の変化 データのボリュームが肥大化 →GoogleやFacebookの保持データがペタバイト級に データ処理の応答スピードが重要に →Webサイトのアクセス数が秒間10万アクセス データの多様性 →非構造データが増えてきているため、RDBMSでは格納が困難 RDBMSの現状
![[レポート]NoSQLの必要性と主要プロダクト比較 #dbts2015 #be_crazy_about_db_tech | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/539b7624ac59a4ebaeb32fc4fc84b959e66c9b87/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F06%2Fdbtechshowcase_tokyo_2015.png)
冷静に、開発者目線で見た「WWDC 2015」まとめ | DevelopersIO
WWDC 2015 2015年6月9日 午前2時（現地時間では6月8日 午前10時）からAppleが主催する 「WWDC 2015」 が開催されました。例年、WWDCではAppleの新製品や新機能の発表が行われます。各種メディアをはじめ、開発者やApple製品のユーザーからも注目される、年に一度のお祭りのようなイベントです。 前回のWWDC 2014では、新言語「Swift」が発表され、開発者からの注目を大いに集めました。 WWDC 2015でAppleが掲げたテーマは、 「The Epicenter of Change」（変化の震央） です。 一体我々にどんな変化をもたらすのか、また震央とは何かに注目し、開発者目線でレポートをお届けします。 それぞれの OS の変化 OS X El Capitan OS X Yosemiteの後継 Mac OSです。ヨセミテ国立公園の名所で命名されていく
[レポート] モバイル開発におけるデータストアの選び方 #AWSSummit | DevelopersIO
AWS Summit Tokyo 2015 "モバイル開発におけるデータストアの選び方" [Dev-04 Mobile] のセッションレポートです。 スピーカーはアマゾンデータサービスジャパンの 清水さんです。 AWS Mobile サービスの紹介 Mobile SDK クロスプラットフォーム 共通の認証 ネットワーク状況を自動ハンドリング オフライン対応 メモリフットプリントの削減 メモリ/ストレージなどのリソースを必要なだけ使う 2-Tier アーキテクチャ EC2を介さないアーキテクチャ Cognito キーとなる認証サービス Facebook、Googleなどの認証プロバイダ又は独自の認証 ゲストアクセスも可能 テンポラリのCredentialを発行するとこができる Credentialを埋め込まなくて良い データストアの選び方 4つ紹介します。 Cognito Sync Cogn
![[レポート] モバイル開発におけるデータストアの選び方 #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/823f7aca4a5fc29780be05be8d6f7645655fcd6c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F05%2Faws_summit_tokyo_2015.png)
突撃！隣の開発環境 パート1 【Wantedly編】 | DevelopersIO
こんにちは！おおはしりきたけです。今回は突撃！隣の開発環境というタイトルでイケてる開発会社さんの開発環境についてインタビューさせてもらいました。第1弾として、iOS オールスター勉強会でベストプレゼンターに輝いたWantedlyの杉上さんとRubyエンジニアの森脇さんにお願いしました。Wantedlyさんは既に@yimajoさんがQiitaで連載しているiOSアプリ開発の現場で訊いてみた！シリーズでiOSの開発現場についてのインタビューはされており一部重複してしまっている部分もありますが、ご了承下さい。 突撃！隣の開発環境とは 技術事例やノウハウなどは、ブログや勉強会などで共有されることが多いと思います。しかし、各社の開発環境や開発体制などは意外と共有されていないこと多いと思います。ノウハウの流出になるかもしれませんが、それ以上に、より良い開発を目指している会社さん同士で情報交換を行い、良
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday | DevelopersIO
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday こんにちは、虎塚です。 昨日は、LINE株式会社さんが開催されたイベントLINE DEVELOPER DAY_2015 Tokyoへ参加してきました。 Taichi Hashimotoさんが講演された「B-5: ビッグデータを活用するための分析プラットフォーム 〜データ集計した先に求められる分析技術」を聴きましたので、レポートします。 前半は、さまざまOSSを活用して構築された、社内の利用者のニーズに応じたデータ分析基盤の紹介でした。後半は、KPIを人間が見るのでなく、変化を自動検知して通知するシステムを開発中というお話でした。 以下、レポートです。 データ分析について LINEにとってデータ分析とは何か Collecting: データを集約する
[速報]AWSのアウトバウンドデータ転送料金が値下げされました | DevelopersIO
佐々木です。AWSのデータ転送料金が値下げされる、というニュースが来ました！ AWS Data Transfer Price Reduction | Amazon Web Services Blog この新価格体系は2014年12月1日から適用されます。 インターネットへのデータ転送送信 東京リージョンの値下げ幅も大きいですし、また最近では東京リージョンのDRサイトとして使われることが多いシンガポールリージョンの値下げ幅も大きい(今回最大)というのは嬉しいですね。 リージョン 最初の 1 GB/月 10 TB まで/月 次の 40 TB/月 次の 100 TB/月 次の 350 TB/月 バージニア北部
![[速報]AWSのアウトバウンドデータ転送料金が値下げされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d22525e8d47855df534beb0235a4134f0a80238d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F12%2Fawseyecatch.png)
Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
[AWS][iOS] Amazon SNS で APNs に大量 Publish してみた | DevelopersIO
APNs に Push する配信サーバーの課題 みなさま、Amazon SNS (※以降 SNS) は活用されていますでしょうか？ APNs (Apple Push Notification service) を利用してサーバーから iOS デバイスに Push 通知を送りたい、という要件はよくあると思います。 しかし次の記事にあるように、APNs の仕様上 エラーが発生したあとの Push 通知が無効になる という問題があります。ヘタすると 10 万ユーザーに送っているつもりが 1,000 ユーザーにしか届いていないという問題にもなりかねません。 Apple Push Notification Serviceのエラー処理について | hagino3000's blog また、APNs の仕様を読んでみると、次のような記述があります。 If you send a notification
![[AWS][iOS] Amazon SNS で APNs に大量 Publish してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a1dc55ed33340eb0040d75fdbe113624d4787f80/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F08%2FAmazon_SNS.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
