KMSのポート番号が変わったのは、HBaseのHMasterと被ったため。 参考: https://issues.apache.org/jira/browse/HBASE-10123 シェルスクリプトの書き直し CDHやHDPなど、BigTopを利用してビルドされたものにはinitスクリプトが用意されているため、サービスの起動停止にはinitスクリプトを利用しますが、素のApache Hadoopを利用する場合には、sbin/hadoop-daemon.sh, sbin/yarn-daemon.shなどを叩く必要がありました。 Hadoop 3ではこれらのスクリプトを直接叩くのは非推奨となり、代わりに--daemonオプションを利用します。--daemonオプションを利用したサービス起動・停止コマンドは以下のようになります。 $ hdfs --daemon start namenode $

今日のre:InventでDeep Learningを使った音声合成サービスのAmazon Pollyが発表されました。 正直、DLを使ったの音声合成が話題になったのなんて今年に入ってからだと思っていたのに、もう商用化したんか！という気持ちでいっぱいです。 Amazon Polly – 文章から音声へ、47の声と24の言語 | Amazon Web Services ブログ Amazon Polly – Lifelike Text-to-Speech [2016/12/02追記] PollyがDLベースという話は https://aws.amazon.com/jp/polly/ に、"Polly is an Amazon AI service that uses advanced deep learning technologies to synthesize speech that so

はじめまして。リブセンスアドベントカレンダー1日目を担当させて頂きます masahixixi です。 早いもので弊社アドベントカレンダーも3年目を迎えることができ枚数も毎年1枚ずつ増えており大変順調に推移しております。それでは宜しくお願い致します。 2016年12月1日をマッスルエンジニアリング元年とする こちらの画像は、2016年11月30日にマッスルエンジニアリングで検索を行った際の結果です。 1年後どうなっているか今から非常に楽しみです。 以下より本題です。 マッスルエンジニアリングとは 私達が普段行っている、開発や運用にマッスルを用いることで開発効率を上げたり、より良い運用に貢献していくことを指します。一個体が持つ筋量を最大化することによって今まで実現できていなかった機能の実装や可用性向上に寄与していくものと考えています。 マッスルはいつもあなたのそばに あなたはこんなことを思った

ところで私は、かつて「手を動かさない人」でした。 仕事にせよ、勉強にせよ、創作にせよ、音楽にせよ、どんなことでも「ごちゃごちゃ考えているより、まずやってみて場数をこなした方がスキルは育つ」というのは、大体の場合で当てはまる普遍的なセオリーであると思います。 ゲーム開発、アプリ開発なんかでも、実績を残している人はみんな「いいからまずやってみろ」って言いますよね。 手を動かすこと、超大事です。手を動かすことによって、課題が生まれ、自信が生まれ、ノウハウが蓄積されていく。頭で考えているだけでは何も始まりません。考えたものは、出力しなくてはいけません。 ところが、世の中には「手を動かさない人」がいます。取り敢えずやってみろ、というアドバイスを受けつつも、なかなか「取り敢えずやってみる」という実施タームに移れない、もしくは移らない人ですね。先日、Books&Appsさん内でもそれについての記事が掲載

コンニチハ、千葉です。Day2 キーノート。沢山のサービスが発表がありました。 この記事ではAWS OpsWorks For Chef Automateを紹介します。 AWS OpsWorks For Chef Automateとは？ AWS OpsWorks for Chef Automateでは、AWSでChef Automateサーバーを実行できます。Chefサーバーを数分でプロビジョニングし、AWS OpsWorks Stacksでその操作、バックアップ、修復、ソフトウェアアップグレードを処理できるようにします。 Chef AutomateのAWS OpsWorksを利用することで、Chefサーバーを管理するのではなく、コア構成管理タスクに専念できます。 起動してみた マネージメントコンソールよりOpsWorksを選択するとOpsWorks For Chef Automateが追加

昨日AWSウルトラクイズで優勝して浮かれている大栗です。 本日もre:Inventに参加しておりますが、Werner Vogels氏が話す2日目のKeynoteでEC2やオンプレミスサーバの管理を行う新サービスが発表されましたので、まとめてみます。 Amazon EC2 Systems Manager 機能 Amazon EC2 Systems Managerは新しいEC2やオンプレミスサーバを管理するサービスです。今まではSSM（Simple System Manager）というサービスがありましたが、SSMが持っているリモートコマンドの実行だけでなく、以下のような機能があります。 コマンド実行 EC2に対して様々なコマンドをリモートから実行できます。実行した内容はCloudTrailに記録されるため実行管理の監査も容易になります。既存のSSMの同等の機能のようです。 状態マネージャ ア

Amazon Web Services ブログ AWS Personal Health Dashboard – 関係するリソースの管理 AWS Service Heath Dashboardをリリースしたのは2008年になります。当時はAWS Cloudは比較的新しく、各サービスの利用状態を確認するのにいい手段でした(現在のService Health Dashboardと比べると、この8年でAWSがどのくらい成長した化が見て取れます)。 現在のダッシュボードは、AWSサービス毎の状態を俯瞰的に表示するため、個別最適されたダッシュボードというわけれではありませんでした。そのため、お客様と会話をすると、全体的なダッシュボードというよりは、お客様の利用サービス、リソースに合わせた状態管理を希望されることもありました。 新サービス Personal Health Dashboard 関心のあるサ

Amazon Web Services ブログ AWS X-Ray – 分散アプリケーションの内部を見る 大統領自由勲章の受賞者であるGrace Hopperが、プログラムからエラーを特定し取り除く作業にデバッグという言葉を与えた最初の人だと思います。 実際にコンピュータから本物のバグ(虫)を見つけたことはないですが、働き初めた頃にアセンブラ言語のデバッグに膨大な時間を費やしました。その当時は、デバッグとはコードを1ステップずつ実行し、各プロセッサのレジスタの中身をステップの前後で比較し、自分の頭の中のモデルと実際に起こっていることが一致しているかを検証するというものでした。これはとてもうんざりするようなものでしたが、バグが残る余地はほとんどなく、自分のコードがどの様に動くかの深い理解も得られるものでもありました。その後、1ステップずつの実行はなくなり、デバック出力(こんにちは、stder

AWS News Blog New – AWS Step Functions – Build Distributed Applications Using Visual Workflows We want to make it even easier for you to build complex, distributed applications by connecting multiple web and microservices. Whether you are implementing a complex business process or setting up a processing pipeline for photo uploads, we want you to focus on the code instead of on the coordination. W

Amazon Web Services ブログ AWS Batch – AWSでバッチ処理ジョブを実行する 私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な（当時の）IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語（JCL） 。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT

この図は、AWS Glue のユーザーが、複数のデータ統合エンジンを使用したジョブワークロードを作成するために、インターフェースオプションを選択する方法を示しています。左側に 1 つ、真ん中に 2 つ、右側に 1 つ、計 4 つのセクションを表示します。 左側の最初のセクションは、「データソース」と呼ばれています。 「Amazon S3」、「Amazon DynamoDB」、「Amazon EC2 上で実行するデータベース」、「データベース」および「SaaS」の、データソースが含まれます。 最初のセクションに、「インターフェースの選択」という図の上部にある真ん中のセクションを指す矢印があります。 この 2 番目のセクションには、3 つのセクションが含まれています。「AWS Glue Studio」、「Amazon SageMaker ノートブック」、「ノートブックと IDE」の 3 つです

Amazon Web Services ブログ Lambda@Edge – プレビュー ちょうど先週、私が Hacker News上で書いたコメントがきっかけでAWSのお客様から興味深いメールを頂きました。 彼はS3上でホストしているシングルページのアプリケーションを動作させていて（こちらについてはAmazon S3で静的なWebサイトの運用が可能に をご覧下さい。）、Amazon CloudFrontを経由して少ないレイテンシーで提供していると教えてくれました。そのページは、AWS Elastic Beanstalk上でホストしているAPIを使って、それぞれのユーザー向けにカスタマイズして表示するいくつかの動的な要素を含みます。 彼が説明してくれた彼の課題はこちらです。 適切に検索エンジンのインデックスを取得するために、またFacebookやTwitterないで正しく表示するためのコンテ

はじめに この記事は「ほんのちょっとだけRubyが動くVMをRubyで実装してみて、Rubyが実行される仕組みを理解しよう」という趣旨のゆるふわな記事です。 こんなコードを実行できるVMを実装します。 この記事ではRuby 2.3.3を使います。 注意点 本記事にでてくる用語は厳密な定義とかは気にせずゆるくふんわりと使ってます VMの実装はRubyを使うので結構ずるい感じです 構文解析、コンパイルはしません クラス定義、メソッド探索、コントロールフレームなどの概念はでてきません なのでRubyを題材にしてますが、Rubyの特徴的な機能にはあまり触れていません 対象読者 Rubyが好き 普段Webプログラミングとかしてる プログラミング言語の処理系としてのVMが気になる まえおき VMとは RubyはJavaやErlangなどと同じようにRuby用のVM(仮想マシン)上で実行されます。 C言

git では通常、リポジトリと作業ディレクトリとが一組になっています。git clone をすると、作業ディレクトリの中に .git ディレクトリ（＝リポジトリ）が作成されます。 そして、この作業ディレクトリの中でブランチを切り替えて作業するのが一般的かと思います。 さて、作業ディレクトリの中で何かの作業中に、別の割り込み作業が発生して、一時的にブランチを切り替えたくなったとしましょう。そんなときは、いったん現在のブランチに作業中の変更をコミットしておいてからブランチを切り替えたり、作業中の変更を git stash を使って保存してからブランチを切り替えたり、という操作をすることになります。 そういった操作が簡単に素早くできるのが git の特徴ではあります。しかしそれでも、そういった切り替えが多くなってくると、作業中の変更を失ってしまったり、現在のブランチを勘違いして作業してしまったり

この投稿は ErgoDox Advent Calendar 2016 の 2日目の記事です。 今回はErgoDoxを買いたい人向けに見ておくと良いサイトをまとめてみたいと思います まず、ぼくのErgoDox キーキャップ Modern Selectric - Black - Ergodox Base Setというキーキャップです。 IBM Selectric Typewriterのキーキャップにインスパイアされ、作られたらしい (画像は Covington Innovations より IBM Selectric Typewriter Resource Page を引用) ErgoDoxのバリエーション ErgoDoxを買いたいと思った時に外観の参考として 「ErgoDox」とGoogleの画像検索を試した方も多いかと思います。 すると、このように素敵なErgoDoxが検索に引っかかってき