“保存されたデータ”と“流れるデータ”の共通分析基盤はHadoopでどうつくる？
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Apache Hadoopに関連するMicrosoft AzureのサービスとHortonworks製品についての勉強会が7月19日に開催された。この会は、世界39都市で行われているビッグデータ関連のミートアップコミュニティー「Future Of Data」の活動の一環として、日本マイクロソフトとホートンワークスジャパンの主催で実施されたもの。会場の日本マイクロソフト品川本社のセミナールームには約130人の聴講者が集まった。 「Data at Rest」と「Data in Motion」 まず始めに、ホートンワークスジャパンの北瀬公彦氏が、6月28～30日に米国San Joseで開催された「Hadoop Summit 2016 San
kubernetes kubectlがめんどくさすぎたが既に最新版で補完機能があった話 - Qiita
追記 2016/08/03 の更新でgcloud付属のkubectlが1.3.3になった kubectlを別個に入れる必要なく利用できるようになりました。 gcloud付属のkubectl >= 1.3.0になったらまるで役に立たない情報。 tl;dr gcloud付属のkubectlにはまだcompletionがないから 最新版を持ってきてkubectlの補完機能を使って幸せになろう。 kubectl 1.3.0をここからDownload $ source <(kubectl completion zsh) 便利 logsでpod nameだけじゃなくて multi container podの場合、中で何が動いてるかも判定してくれる。(nginx, fluentdの例) これ以降読まなくていいやつ kubectl shellの補完が効かなくて死ぬほどめんどくさい。 どうにかなんねーのか
最近の画像認識の実力～MS の最先端の研究成果 Computer Vision API を Python で使ってみた - Qiita
最近、Computer Vision API を触っていて使い方を把握できてきたと共に、予想以上の性能の高さに驚いたのでせっかくだからまとめてみることにしました。 Computer Vision API とはそもそも何なのか、なぜすごいのか、実際使ってみるとどれほどの実力を叩きだすのかをご紹介した後、コードもお見せしたいと思います。 この記事を通して、コードを数行書くだけで手軽にこんなにパワフルな画像認識機能が使えるんだということが伝わり、ぜひ試していただけたらと思います。 そもそも、Computer Vision APIって何？ Microsoft が出している、REST で画像を投げると JSON 形式で画像を分析した結果を返してくれる API サービスのことです。 画像に写っている物体を認識しタグを出力するのはもちろん、画像上の物体の状態や状況を動詞や形容詞でタグとして出力してくれま
[Python][Scipy] 様々な距離でボロノイ図を作成してみた | DevelopersIO
はじめに K-means法やk近傍法等のクラスタリングで用いられる距離については、クラスタリングする対象によっては距離として私達が普段馴染んでいるユークリッド距離以外の距離を用いるとうまくいくケースがあります。（Mahout イン・アクション） 私達が普段馴染んでいるユークリッド距離と書きましたが、このユークリッド距離は2つのベクトル \( \boldsymbol{x}, \boldsymbol{y} \) が与えられたとき、次のように定義されます。 [latex] d_{\text{euclid}}(\boldsymbol{x}, \boldsymbol{y}) = \sqrt{\sum^n_{i = 1} (x_i - y_i)^2} [/latex] この距離という概念は数学的には類似度を測る尺度として抽象化され、2つのベクトルを引数としてとり実数を返却する関数 \( d\) は下記
![[Python][Scipy] 様々な距離でボロノイ図を作成してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/992bbc6f87fa14c022f36fc6503f76912ff1586c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F02%2Feye-catch-machine-learning.png)
Web開発でもアプリ開発でも使える状態遷移図を自動生成するツールを作りました - Qiita
概要 先日こちらの記事でgraphvizを使って状態遷移図を作成する方法をご紹介したのですが、これでもまだ複雑で記述量も多いのでとっつきづらいと思い、このgraphvizのソースコードを自動生成して画像を出力するコマンドラインアプリケーションを作成しました。 このアプリケーションはPyagram（ぱいあぐらむ）といい、その名前から察しがつくかと思いますがPythonを使用して開発されました。開発期間は１日でした。 このPyagramを使うことで複雑な状態遷移図を比較的簡単に作成することができるようになりますので、以下でご紹介したいと思います。 状態遷移図の描き方についてはこちらの記事を参考にしています。 出来上がりの図は以下のような感じになります。 図には幾つかのオブジェクトがあります。 図のタイトル（最上段） ビュー（二重丸） サーバサイドの処理（灰色の背景の一重丸） 画面遷移（破線の矢
ポケモンGOで自分の近くにポケモンが出現したらSlackに通知する | ロードバランスすだちくん
シンジです。会社や自宅で「歩かずに」ポケモンGOをやってるときって、起動させっぱなし画面付けっぱなしでヤリスギ感が半端ないので、近くにポケモンが出現したらSlackに通知させてお手軽にゲットしちゃおうという話です。 とりあえずソースはこちら Send Slack notifications whenever a Pokémon spawns nearby using a Pokémon GO SlackBot https://www.themarketingtechnologist.co/pokemon-go-slack-notifications/ Slack連携できるとこんな感じ とりあえずSlackに通知が来ます。ポケモンの名前が英語表記になってますが、これは後ほど説明します。 ほっほーと思いながらおもむろにリンクをクリックするとPOKEVISONの地図が出ます。 そして突如訪れる世
第22回［最終回］ まとめと本連載で解説できなかったこと | gihyo.jp
連載を終えて 本連載では、これまで21回に渡り、HadoopやSparkなどのソフトウェアを並列データ処理系と称して、前半においてはおもに当該処理系のアーキテクチャやデータ処理方法の原理を説明し、後半においては当該処理系の実装における技術的特徴を概観してきました。 前半では、いくつかの教科書や古い文献をベースに説明をしましたが、近年の発展が著しいと考えられている並列データ処理系においても、過去に深く研究された技術の組み合わせや応用である場合が多いことを感じていただけたかと思います。技術全般において言えることですが、最先端の技術を理解するには、基礎を丁寧に押さえることが最も重要だと思います。多くの参考文献を載せましたので、このような技術に興味がある方や今回を機に興味をもった方は、さらに理解を深めていっていただけると幸いです。 また、後半においては、近年の並列データ処理系が、過去の技術を基礎と
Spark Streamingの概要と検証シナリオ
はじめに ビッグデータ向けの処理基盤として「Apache Spark」（以降、Spark）が注目を集めています。Sparkは世界中で利用が進んでおり、アメリカのUberやAirbnb、イギリスのSpotifyといった企業から、CIAなどの政府機関まで広く利用されています。 Sparkにはストリームデータを処理する「Spark Streaming」というコンポーネントがあります。本連載では、Spark Streamingとその他のOSSを組み合わせたストリームデータ処理システムを構築し、その性能検証結果を紹介していきます。 Sparkは複数のコンポーネントで構成されており、Spark Streamingはその1つです。Spark Streamingについて説明する前に、まずSparkおよびSparkと関連の深いHadoopについて説明します。 Hadoopとは 情報システムでは、日々多くの各
aws-shellによるaws-cliの楽々実行 | DevelopersIO
こんにちは、藤本です。 aws-cliはAWSのAPIをコマンドラインで実行することができ、大変多くの操作を行うことができます。その反面、多機能過ぎてサブコマンド名やオプション名、オプションの使い方を覚えるのが大変です。シェルのCompletionを利用することでサブコマンド名、オプション名の入力補完である程度簡略化できますが、それでも複数コンソール立ち上げてhelpと行ったり来たり、マネジメントコンソールと行ったり来たりしています。そんなあなた(私)へaws-shellの利用をオススメします。 aws-shell aws-shellはGitHubのawslabsで提供されているaws-cliの効率化ツールです。昨年の9月頃に公開されています。aws-shellはまだ開発者向けのプレビュー版です。 aws-shellは以下のような機能を提供しています。（2016/07/24時点） サジェス
Terraform v0.7が誘う「Infrastructure as Code」の世界 | さくらのナレッジ
複数のクラウドプラットフォーム上のリソース/インフラをコードで管理できるTerraformというオープンソースのプロダクトがあります。 このTerraformですが、近日中におよそ１年ぶりとなる大型アップデート(v0.7)が予定されています。 今回のアップデート(v0.7)では、すでに存在するリソース/インフラをTerraform管理下に取り込める「import」機能が追加されます。 本稿では「Terraform + さくらのクラウド」という構成で、すでに手作業で作成済みのリソース/インフラをTerraformにインポート、構成変更を行うまでを実践を通じてご紹介いたします。 ごあいさつ みなさま、はじめまして。山本 和道(やまもと かずみち)と申します。 フリーのWeb系エンジニアをやっています。オープンソース活動として、さくらのクラウド関連ツールの開発をしております。 これまでDocke
Stream Processing Casual Talks #1 に行ってきた＆しゃべってきた - たごもりすメモ
なんか、やろうぜー、という話になってそのような勉強会が行われたので、参加してた。 connpass.com 会場＆飲食の提供はYahoo! Japanさん。ありがとうございました。面白かった。 しゃべってきた Norikraそのものの話はさすがに今更感あったので、Norikraの大事なところと、あとPerfect Norikra (仮)について話してきた。 How to Make Norikra Perfect from SATOSHI TAGOMORI まあ、まだ1byteも存在しないソフトウェアなんだけどな！ 存在しないソフトウェアについて話せるようになったの、ちょっと実績解除感があるのではないだろうか。だめか。 Norikraを分散処理対応にするにはクエリ処理エンジンおよびデータ転送層を丸ごと書き直すしかないなー、しかもそこに色々なアイデアが必要だなとは思っていて、そのうちのひとつで
Promiseテンプレート - Qiita
Promiseとは Promiseは非同期処理を抽象化したオブジェクトとそれを操作する仕組みの事をいいます。 参考：JavaScript Promiseの本 このエントリーは？ Promiseについていろいろ勉強した結果、 自分のなかでこういう書き方がわかりやすいかなぁとまとめた内容です。 今後も使いそうなのでテンプレートにしておきました。 ソース Promise処理を順番に処理したい場合 call_async_process.process_A(params) .then(function(value) { // 成功時：何か処理 // 次の関数の引数 return proaRes }) .then(call_async_process.process_B) .then(function(value) { // 成功時：何か処理 // 次の関数の引数 return probRes })
OpenStackとKubernetesを利用したマルチプラットフォームへのCI環境
Image Creation 各種Image creationのworkflowは下記です。 VM Image Creation GitHubへCodeをpush Jenkinsのmasterへhook Jenkins slaveでジョブを立ち上げる Packer repositoryをcheckout Service Jobを実行 build scriptによってPackerを実行する PackerはOpenStack Glance用のVMを起動する VMの設定と必要なアプリケーションをインストール snapshotを作成しglanceへ登録 Glanceに出来上がったimageをダウンロード Artifactoryへ出来上がったimageをアップロード Baremetal Image Creation GitHubへCodeをpush Jenkinsのmasterへhook Jenki
Webブラウザで高速な演算を可能にする低水準言語asm.jsと、WebAssembly詳解ーasm.jsの仕組みとコーディング例
Webブラウザで高速な演算を可能にする低水準言語asm.jsと、WebAssembly詳解ーasm.jsの仕組みとコーディング例 清水智公（Mozilla） 連載の第１回目は asm.jsの紹介と、asm.jsが導入された背景を概観しました。 Just in Timeコンパイルによって高速にJavaScriptを実行できるようになりましたが、立ち上がりが遅い、やり直しが発生する、コンパイルによって一時的に負荷が向上する、といった問題が残されています。 これを解決するためにプログラムの実行を行うより前にネイティブコードへとコンパイルするAhead of Timeコンパイルを導入したいのですが、JavaScriptは柔軟すぎて効率の良いネイティブコードを出力することが難しい、という問題がありました。 asm.jsはこの問題に一定の解をあたえるものとなります。今回はそのasm.jsがどのようなも
もうすぐIoT案件がやってくる!?フロントエンド開発が備えたい5つの視点
「IoTなんて自分の仕事とは関係なさそう」なんて言わないで。スマートフォンの登場がWeb制作の常識を変えたように、IoTだってフロントエンド開発者やデザイナーが扱う仕事になるかもしれません。 Word Wide Webは日々進化し、27年におよぶ歴史の中でその形は変化してきました。その歴史の中でコンテンツの表示やスタイリングの方法もしばしば移り変わってきました。最近ではレスポンシブWebの登場が大きな変化として挙げられるでしょう。レスポンシブWebは、さまざまなブラウザーとデバイスのサイズに適応させる、1つのWeb（One Web）のアプローチです。 Internet of Things（IoT：モノのインターネット）に対応したデバイスは常に増え続けています。たとえば、Raspberry Pi、スマートウォッチ、声だけで操作できるモバイルデバイスなど、たくさんあります。レスポンシブWebの
NTPとは？ NTPの仕組み含めておおまかに解説
NTPとは「Network Time Protocol」の略だ。 簡単に言えば、ネットワーク上で時間を同期するプロトコルのことである。コンピュータの時間合わせなどに使う。 このページではNTPの概要とその仕組みについて解説した。このページを見ればNTPについておおよその理解はできた状態になるはずだ。 NTPについて NTPはネットワーク上で時間同期するプロトコルのことだ。NTPはコンピュータの内部時刻を正しく設定するために、ネットワーク上の時刻サーバに問いあわせる手順を定義している。 実装したものの代表としてはサーバとして「ntpd」クライアントとして「ntpdate」などがある。ともにntpに関するオープンソースプロジェクト「http://www.ntp.org」でコードが配布されている。 「コンピュータの時刻」というのはPC側だけでみると軽視されがちだ。「少し時間がずれてるなぁ」くらい
ReactとReduxをES6で試す 実践編 - ゆとりエンジニア
2016 - 07 - 22 ReactとReduxをES6で試す 実践編 プログラミング 概要 普段 Rails と Android のコードしか書いてなくて、js系の フレームワーク を全く触ってなかったので流行りのReact.jsを使ってWebアプリを製作してみることにした。 調べてみたらReduxというmoduleが良いと書いてあったので試してみた。 読者対象は基本的に将来の自分ですが、もっとこんなのあるよ！とここ間違ってるよ！みたいな編集リクエストとかは大歓迎です。 今回の学習で 自動車免許学科試験 というWebアプリを作りました。よければ使ってください。 今回は製作編です。 今回作るもの がっつりDOMの生成をしまくるやつが良かったので自動車試験の学科試験問題をひたすら解くWebアプリを作った 雛形ファイルの作成 yeoman reduxジェネレーターで雛形ファイルを生成します
モバイルファーストなサービス開発におけるDockerの活用術 - CARTA TECH BLOG
こんにちは！ポイント交換サイト「PeX」の開発を行っていますVOYAGE MARKETINGの加藤です。 Crewからはちゃむと呼ばれています。 少し長くなりますので先に本エントリーの概略を3行でまとめると Docker成分多め 作ってみた 後半でテーマ深掘り です。 最後までお付き合い頂けると嬉しく思います。 はじめに タイトルは若干釣り気味ですが、個人的にDockerをwatchし続けています。 先月のDockercon 16で、ついにDocker for (Mac|Windows)がpublic betaになりましたね。 以前はDocker Toolboxで必要だったVirtualBoxを必要とせず、それぞれのOSでのネイティブ仮想化技術（MacOSはxhyve、WindowsはHyper-V）で動作するようになりました。 ますますDockerが使いやすくなってきていますね。 さて
gitにおけるコミットログ/メッセージ例文集100
私はコミットログの書き方に悩む英語の苦手な人間である。実際、似たような人は世の中に結構いるようで、頻出単語を集計したりまとめたものは既にあって役に立つのだけれど、これらはあくまで単語の話であり、具体的な文を構成する過程でやっぱり困る部分がかなりあった。 要するに、どういう時にどういう文が使われているのか、ということを示した例文集が欲しいのである。ググると他にも「例文集があればいいのに」みたいな声はあるくせして、しかし誰も作ろうとしない。何なんだお前ら。それじゃ私が楽できないじゃないか。 仕方なく自分でまとめたので、増田に垂れ流しておく。 はじめにここで挙げているコミットログは全て実際のコミットログからの転載である。当然ながら各コミットログの著作権はそれぞれの書き手にある。いずれも各英文でググれば出てくるし、フェアユースの範囲なら許してくれるだろうと考え名前とプロジェクト名は割愛したが、ここ
2016年ウェブオペレーションエンジニアの新卒研修 - Hatena Developer Blog
ウェブオペレーションエンジニアの id:y_uuki です。2016年度のウェブオペレーションエンジニアの新卒研修を紹介します。 今年はウェブオペレーションエンジニアとして2名(id:masayoshi id:taketo957)が新卒として入社しました。若手のインフラ系エンジニアが少ないと言われる昨今で、もともと7人のインフラチームに2人も新卒が加わることはなかなか珍しいのではないでしょうか。 今年の新卒エンジニアは 2016年度はてな新人エンジニア研修を行いました - Hatena Developer Blog のエントリで紹介した新人エンジニア研修の後に、チームに配属されました。通例であれば、チーム配属後はOJTという名目で即実戦投入されます。しかし、今回は、OJTの前段に2週間程度の研修期間を設けてみました。 研修の動機 ウェブオペレーションエンジニアは、一般的なコンピュータサイエ
Go言語を学びたいエンジニア必見の記事・スライド12選
Go言語の主な特徴として、「実行が高速である」「言語仕様がシンプルである」という点が挙げられます。 発表当初の対応OSはOS X（Mac）とLinuxのみでしたが、Go 1.0（2012年3月リリース）からはWindows、Go 1.4（2014年12月リリース）からはAndroidも対象となり、開発範囲が広がりました。 次世代のプログラミング言語として注目を集めるGo言語をこれから学ぼうと考えている方のために、Go言語が基礎からわかるサイト・記事、スライドを12個まとめてご紹介します。 Go言語が学べるサイト・記事 golang-jp - The Go Programming Language http://golang-jp.org/ Go言語の本家サイト（golang.org）を日本語に訳しているサイトです。 未翻訳の部分もありますが、英語が苦手な方にはとても役に立つサイトでしょう。
#golang stream caching - djherbis
djherbis/fscache Objective Our Web server needs to perform an “expensive” process to create downloads. We want to cache these files so they don’t have to be generated on every request. If two or more concurrent clients ask for the same file, don’t generate it twice. A naive cache design might look like this: Well the above code is pretty bad. We’re blocking all requests while the cache is being wr
[SQL] SQL文の書き順 〜PostgreSQL Tutorialを使いながら解説〜 | DevelopersIO
はじめに いざSQL文を書こうと思ったけど、どこから書けばよいのか迷うことはないでしょうか？ まずはselect句から書こうかな。。 使用するテーブルはわかっているのでfrom句から。。 where句はちょっと長くなるから後回しにして。。。 などなど 長いSQL文を書く必要がある時に、どこから書けばいいのか迷う方（僕もそうです）に読んでいただければと思います。 今回ご紹介する書き方は、あくまでも僕がSQL文を書く時に気をつけている方法ですので、他にもっといい書き方・書き順がある可能性があります。 今回は順番にフォーカスしているため、個々の句についての解説は割愛します。 環境 MacOS 10.10.5 PostgreSQL 9.4.5 実行順序 SQLが実行される順番は以下のようになっています。 FROM → WHERE → GROUPBY → HAVING → SELECT → ORDE
![[SQL] SQL文の書き順 〜PostgreSQL Tutorialを使いながら解説〜 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python未経験エンジニアがMacでTensorFlowの実行環境+快適なコーディング環境を構築するまで - Qiita
ビッグデータ処理データベースの全体像と使い分け