AWS Big Data Blog Tips for Migrating to Apache HBase on Amazon S3 from HDFS Starting with Amazon EMR 5.2.0, you have the option to run Apache HBase on Amazon S3. Running HBase on S3 gives you several added benefits, including lower costs, data durability, and easier scalability. HBase provides several options that you can use to migrate and back up HBase tables. The steps to migrate to HBase on S3

事象 Mac で PDF の文章をプレビューで開いて chrome にコピー&ペーストすると、濁点だけで1文字になる。 例えば、「グ」のように「ク」と濁点の2文字になる。 原因 Unicode には「文字+濁点」を1文字として表現する Normalization Form C(NFC) と、濁点だけで1文字として表現する Normalization Form D(NFD) があり、コピー元の PDF に NFD が使用されているため。 解決策 NFD→NFC変換ツール で NFD → NFC に変換できる 参考 Mac で PDF からコピーした濁点/半濁点付きの文字列を Firefox に貼り付けた時におかしくなる問題の対処方法 - 強火で進め 環境 macOS Sierra (10.12.4) プレビュー 9.0 (909.17) Google Chrome 58.0.3029.96

マルチクラウド戦略は、異なるクラウド プロバイダーの長所を使い分けたり、きわめて重要なワークロードを分散させたりすることを可能にします。たとえば、既存のアプリケーションには Amazon Web Services（AWS）を使っているものの、その一方で Google の Cloud Vision や Cloud Video Intelligence、Data Loss Prevention といった強力な API を使いたいとか、Google のビッグデータと機械学習の機能によってデータを分析し知見を引き出したいときに役立ちます。 今回は、Google Cloud Platform（GCP）と AWS のワークロードを統合するパターンの 1 つ（他にもたくさんあります）として、Google Cloud Endpoints と AWS Lambdaを使用する方法を紹介します。アーキテクチャを

メイドさんが大好きなフリーランスのプログラマーさんが Azure Container Service について記事を書いていたので、自分も使ってみました。 blog.shibayan.jp Azure Container Service は Marathon と DC/OS、Docker Swarm、または Kubernetes を使えます。 Azure クラウドでの Docker コンテナーのホスト | Microsoft Docs より しばやんが Kubernetes を使用していたので、違うのにしようかなと思いましたが、 Kubernetes を使用することにしました。 Azure Container Service を作成する Orchestrator を Kubernetes で選びます。 SSH public key と Service Principal の設定がちょっと難

DevOpsが日本に本格上陸して5年。DevOpsはいまどう語られているか？ DevOps Days Tokyo 2017 国内で最初のDevOpsに関する大型イベント「DevOps Days Tokyo 2012」が開催されたのは2012年。続いて2013年にも「DevOps Days Tokyo 2013」が開催されました。 DevOps Daysは世界各国で行われているDevOpsに関するグローバルなイベントです。そのイベントが日本に上陸して5年が経過した今年、国内で3回目の開催となる「DevOps Days Tokyo 2017」が開催されました。 DevOpsは言葉としてはIT業界に定着し、実践し始めている企業も登場する一方で、ベンダのマーケティングワードとして乱用されているという指摘もあります。いまDevOpsはどのような言葉として説明されているのでしょうか。 DevOps D

AWS X-Ray について AWS X-Ray とは何ですか？ AWS X-Ray が出来ること 概念 AWS X-Ray の画面 Service Map Traces Trace の詳細 AWS X-Ray を利用する方法 X-Ray SDK X-Ray デーモン X-Ray API AWS CLI ローカル環境でチュートリアル 環境 X-Ray デーモンの用意 X-Ray デーモンのインストール X-Ray デーモン設定ファイルの作成 アクセスキー、シークレットアクセスキーを用意 X-Ray デーモンの起動 アプリケーションの用意 Node.js と Express の用意 AWS SDK for JavaScript と X-Ray SDK の導入 app.js /set /get アプリケーションを実行して計測してみる アプリケーションの起動 アプリケーションへの断続的なアクセス

MIT（米国マサチューセッツ工科大学）に在籍する数学の教授が先ごろ、プリエンプティブル VM 上で 22 万コアという Google Compute Engine クラスタの新記録を打ち立てました。これは、パブリック クラウド上で稼働する HPC（ハイパフォーマンス コンピューティング）クラスタとしては史上最大規模となります。 この記録を生み出した Andrew V. Sutherland 氏は計算数論学者で、MIT で主任リサーチ サイエンティストを務めています。同氏は Compute Engine を使い、より高い種数の曲線に対して佐藤・テイト予想やバーチ・スウィンナートン＝ダイアー予想の一般論を模索しました。 Sutherland 氏は最近の研究で、L- 函数が簡単に計算でき、面白そうな佐藤・テイト分布を持つ可能性のある曲線を見つけるために、種数 3 の超楕円曲線を 10 の 17

BK木とは、 距離空間 内のデータをインデックス化する目的に特化した、木構造を指します。距離空間は基本的に、要素の組 $ (a,b) $ 全てについて距離関数 $ d(a,b) $ を持つオブジェクトの集合です。この距離関数は正しく動作することを保証するために、一連の公理を満たしていなければなりません。これが必要になる理由は、後述の「検索」のセクションできちんと説明します。 BK木のデータ構造は、一連のキーを検索し、与えられた検索キーの値に最も近いキーを見つける問題の解決策として、 1973年にBurkhardとKellerが提案したもの です。この問題を解決する素朴な方法は、要素の組に含まれる各要素と検索キーの値を単純に比較することです。一定の時間内に比較が完了した場合、この検索の解は $ O(n) $ となります。一方、BK木を採用すると、この時実行する比較の回数を減らせる可能性が高く

マルチクラウド戦略は、異なるクラウド プロバイダーの長所を使い分けたり、きわめて重要なワークロードを分散させたりすることを可能にします。たとえば、既存のアプリケーションには Amazon Web Services（AWS）を使っているものの、その一方で Google の Cloud Vision や Cloud Video Intelligence、Data Loss Prevention といった強力な API を使いたいとか、Google のビッグデータと機械学習の機能によってデータを分析し知見を引き出したいときに役立ちます。 今回は、Google Cloud Platform（GCP）と AWS のワークロードを統合するパターンの 1 つ（他にもたくさんあります）として、Google Cloud Endpoints と AWS Lambdaを使用する方法を紹介します。アーキテクチャを

Amazon Web Services ブログ AWS Batch上で深層学習 同僚のKiuk ChungがAWS Batchを使って深層学習をするという素晴らしい記事を書いてくれました。 GPUインスタンスは当然のように深層学習とペアになりますが、それはそのニューラルネットワークのアルゴリズムがGPUインスタンスの超並列処理能力を活かすことができるからです。AWSではg2やp2といったGPUインスタンスを提供しており、お客様はスケーラブルなGPUワークロードを実行することができます。AWS Batchを使うことでそのスケーラビリティをもっと効率よく使うことができます。(訳注: 丁度GTC 2017のKeynoteにて次期NVIDIA GPUであるV100に関する情報も発表されましたのでご参考頂ければ幸いです: AWS and NVIDIA Expand Deep Learning Par

まいど、大阪の市田です。 今回は、AWS CLIでS3にデータ転送する際のトラフィック帯域を抑える方法についてご紹介します。 帯域を抑えたい場面としては「自分の作業でオフィスの回線を圧迫しないようにする」といったような場合です。逆にAWS CLIのaws s3 syncを速くする場合は、下記のエントリが参考になるかと思います。 AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話 方法 具体的な方法として、下記の3つをご紹介します。 マルチパートアップロードの並列度を変える 帯域制御ツールを使う ファイルを分割して個別にアップロードし、S3上で結合 以下に、それぞれについて説明していきたいと思います。 マルチパートアップロードの並列度の変更 帯域制御とは直接関連がないですが、マルチパートアップロードの並列度を変えることで、少しながら帯域を

はじめに DI部のおおたきです。今回AWS Lambdaを使ってRDSの削除スクリプトを書いてみました。 pythonコードは初めて書いてみましたので、色々突っ込みどころがあるかもしれませんがご了承ください！ 作成したLambdaはCloudWatchでruleを作成して決まった時間に実行するようにしました。 ロールを作成する Lambdaを実行するにはロールが必要になりますので、最初にロールを作成します。 Management ConsoleのIAMからRolesから「Create new role」をクリックします。 「AWS Service Role」から「AWS Lambda」を選択します。 次に「Attach Policy」で「AmazonRDSFullAccess」を選択しロールを作成します。 Lambda関数を作成する CloudWatchの設定 Management Con

タイトルの通り、AWS CodeDeployを使うために後からIAM Roleをアタッチしてもデプロイが失敗してハマったので、その解決策。 結論 codedeploy-agent を再起動する 背景 2017年02月に発表された新機能で、既に作成しているEC2インスタンスにIAM Roleがアタッチできるようになった。 本当はもっと前からできるようになっていて欲しい機能。これのせいでどれだけ苦しめられたか。。 「既存のAmazon EC2インスタンスにIAM Roleがアタッチできるようになりました」 https://aws.amazon.com/jp/blogs/news/new-attach-an-aws-iam-role-to-an-existing-amazon-ec2-instance-by-using-the-aws-cli/ $ aws ec2 associate-iam-i

Azure Container Service ではオーケストレーションを選択する自由が有り、 Docker Swarm、Mesosphere DC/OS、 Kubernetes のいずれかを選べます。 3つも選べることは良いことなのですが、初めて使うと正直どれを選べば良いか迷います。 結論：Kubernetes を選ぶべき 結論から先に言うと Kubernetes を選ぶべきだと思います。今回はあまり技術的な部分（アーキテクチャ、機能性、安定性、性能）は触れずに、自分が普段行っている比較でまとめてみました。 理由1：Githubで比べる OSSのプロダクトでどれを選ぶべきか迷った場合は、GithubのPulseを参考にすると良いです。Docker Swarm、Mesosphere DC/OS、 Kubernetes のそれぞれ1ヶ月分を見ていきます。 Docker Swarm https

私たち Google はこの 2 年間、gRPC に多大な投資を行ってきました。投資の対象は、このオープンソース フレームワーク自体と、gRPC ベースの API です。私たちは gRPC をマイクロサービスの基本要素としてだけでなく、多くのパブリック API（特に、レイテンシ許容度が低い API、双方向ストリーミングが必要な API、モバイル利用が多い API）の基本要素としても位置づけています。 そしてこのたび、gRPC API を定義して実行し、gRPC および JSON-HTTP/1.1 インターフェースを Google Cloud Endpoints によってクライアントに提供できるようになりました。 私たちが最近リリースした API の大半は、gRPC と JSON-HTTP/1.1 の両方のインターフェースを提供します。私たちは 2016 年 3 月に Cloud Pub/S

TOP > 「コンテンツ作りの際に覚えておきたい、著作権や法令について」テーマで勉強会を開催しました【第30回オウンドメディア勉強会レポート】 こんにちは、Six Apart ブログ編集長＆オウンドメディア勉強会主催のことぶきです。 毎月第三木曜日に開催しているオウンドメディア勉強会、4月は「メディア関係者として知っておきたい、著作権・法令について」というテーマで開催しました。法令パートのスピーカーは、オールアバウト社で広告審査を担当されていた菅原太さん（現在は、軒先株式会社所属）。コンテンツ作りの際に覚えておきたい、法令について基礎的なところから教えてもらいました。 発表内容について、写真でお届けします。 印象に残ったのは、ルールには白黒つけられない「グレーゾーン」があるということ。そのグレーゾーンのどこまでを許容するかはメディアの姿勢次第です。自社の判断でアリにするもナシにするもあり。

Amazon Web Services ブログ GTC 2017にてAWSとNVIDIAは深層学習のパートナーシップを拡大させました 今年のNVIDIAのGPU Technology Conferenceにて、AWSとNVIDIAはいくつかのイニシアチブにおいてパートナーとなりました。1つ目はとてもワクワクしている最新のVoltaベースのGPUインスタンスで、LSTMの学習が3倍高速になるように、AI開発者が接する世界を完全に別物にしてしまうと我々は考えています。2つ目は、AWSで動いているDeep Learning Institute (DLI)を通じて10万人以上の開発者をトレーニングする計画を発表しました。3つ目として、広い開発者コミュニティのために深層学習を大規模にスケール可能とするツールの共同開発です。 GTCでAWSは複数のセッションを行っており、Apach MXNetを使って

Windowsで認証にActiveDirectoryを使っている環境だと、シングルサインオン(SSO)などやるときにKerberos認証を使いたいこともあるだろうということで調べていました。 他の認証方法はNTLMがあるけど、非推奨のようなのでKerberosのほうを調べることに。 Kerberosのサーバー実装はOSSでもあるので、開発だとUbuntuだとkrb5-serverなどを使えばよいみたい。 Dockerで手軽に動かせるものを探したところ以下は良さそうだった。 GitHub - gcavalcante8808/docker-krb5-server: A Krb5Server Docker Image very easy and simple to use. docker-krb5-serverを試す READMEの通り。docker-composeで起動。 cd tmp git

お仕事でそれなりにまとまったJavaのコードを書くので、ちょっと真面目に手元の環境をアップデートしようと思ったらいろいろあったので、メモを兼ねてまとめる。なお手元の環境のアップデートにともない、次のエントリを大きく参考にさせていただきました。多謝。 qiita.com なおそれまでの環境は EmacsでJavaを書く - nekop's blog を元にだいぶ前に整備したもので malabar-mode をずっと使ってたんだけど、Java8 Lambdaでインデントが崩れるとかいろいろあってちょっとストレスフルだったのが主なアップデート動機。 環境は OS X El Capitan *1 + Emacs 25.2 で、全面的に MELPA をつかってパッケージ管理やっている。 結論 最終的には ENSIME (の ENJINEモード) を使っている。これでコンパイルエラーを出すとかメソッド

Twitch is one of the leading community streaming video platforms today for developers, gamers, and the artists. Each day, millions visit Twitch to watch and discuss their passions by joining live sessions with other passionate online streamers. Amazon Web Services has joined the fun by adding the AWS Twitch Channel this past November to bring the latest AWS technologies to the Twitch audience. The

Today, we enabled additional Active Directory (AD) features in AWS Directory Service for Microsoft Active Directory (Enterprise Edition), also known as AWS Microsoft AD, that make it easier to migrate more .NET applications to the AWS Cloud. You can now improve the security of .NET applications by using group Managed Service Accounts (gMSA) and Kerberos constrained delegation (KCD) enabled feature

Starting today, customers running Amazon WorkSpaces in the Asia Pacific (Sydney) AWS region can use AWS Marketplace for Desktop Apps to purchase pre-packaged applications on a monthly subscription basis. AWS Marketplace for Desktop Apps makes it easy to discover, purchase and deploy applications for Amazon WorkSpaces. Customers can search for apps by name or by software vendor, or browse across ca

AWS News Blog AWS Online Tech Talks – May 2017 Spring has officially sprung. As you enjoy the blossoming of May flowers, it may be worthy to also note some of the great tech talks blossoming online during the month of May. This month’s AWS Online Tech Talks features sessions on topics like AI, DevOps, Data, and Serverless just to name a few. May 2017 – Schedule Below is the upcoming schedule for t

Amazon WorkMail now supports the Simple Mail Transfer Protocol (SMTP) protocol for sending email, which allows you to use an Internet Message Access Protocol (IMAP) capable email client to send email through WorkMail. Previously, you could use an IMAP email client to access your WorkMail email, but to send email, you still needed to configure an SMTP end point using a service like Amazon Simple Em