Apache FlinkとScalaでセンサーデータをウィンドウ集計をする - Qiita
Spark Streaming、Kafka Streamsに続いてストリーム処理フレームワークのApache Flinkを試します。Spark StreamingはPython、Kafka StreamsはJavaで書いたのでApache FlinkはScalaで書いてみようと思います。 Apache FlinkもKafkaと同様にScalaで書かれています。Scalaに特徴的な後方互換性を重視せずアグレッシブな開発をしています。そのためネットで検索できる情報もどんどん古くなりAPIもDeprecatedやPublicEvolvingになりがちで初学者には少し入りづらい状況です。なかなか学習用の良い記事が見つかりませんでしたが、センサーデータのウィンドウ集計の書き方はTHE RISE OF BIG DATA STREAMINGを参考にさせていただきました。 プロジェクトテンプレート Apa
Javaで形態素解析と辞書のカスタマイズ - Qiita
この記事で紹介すること この記事は次の２つのトピックについて記載しています。 Javaの形態素解析ライブラリKuromojiの使用方法 Kuromojiへのユーザ辞書の追加方法 Kuromojiはatilika社が開発し、Apache Software Foundationへ寄贈されているJava製の形態素解析ライブラリです。ライセンスは「Apache v2 License」となっています。形態素解析に必要な辞書をjarの中に格納しているため、ワンパッケージで形態素解析を行うことができます。また、用意されている辞書は以下のようなものがあります。 IPADIC (2.7.0-20070801) IPADIC NEologd (2.7.0-20070801-neologd-20151224) JUMANDIC (7.0-20130310) NAIST jdic (0.6.3b-20111013
Docker SwarmのOverlayネットワークにAmbariでZeppelinをセットアップする - Qiita
Hortonworks GalleryにAmbariのZeppelinサービスであるambari-zeppelin-serviceが公開されています。Option 2のAmbari Blueprintを使う方法は仮想マシン上に新しくHDPクラスタとZeppelinをインストールします。今回は仮想マシンではなく、Docker Swarm上にセットアップしてみます。 仮想マシンの作成 IDCFクラウドにDebian 8.2.0 64-bitテンプレートを使い仮想マシンを3台作成します。メモリを多めにスペックはstandard.M8を選びました。 Dockerホストのhostname Dockerホストのeth0 Docker Swarm
Spark on Dockerで分散型機械学習を始める - Part 4: AmbariでHadoopとSparkのsingle nodeセットアップ - Qiita
Spark on Dockerで分散型機械学習を始める - Part 4: AmbariでHadoopとSparkのsingle nodeセットアップhadoopSparkDockerHDPAmbari このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Notebookを使う Spark on Dockerで分散型機械学習を始める - Part 3: ローカルモードでspark-shellを起動する Spark on Dockerで分散型機械学習を始める - Part 4: AmbariでHadoopとSparkのsingle nodeセットアップ Apache Ambari Sparkの勉強はローカルモードでもspark-shel
Kafka in DockerにNode.jsのproducerとconsumerコンテナから接続する - Qiita
前回作成したKafkaクラスタをテストするために、簡単なNode.jsのproducerとconsumer用のコンテナを作成します。追加コンテナもKafkaとZooKeeperと同じdocker-compose.ymlに含めたかったのですが、うまく動かせませんでした。producerとconsumerのコンテナは通常のdocker runコマンドで起動することにします。 kafka-node Node.jsのKafkaクライアントはいくつかGitHubにあがっています。 kafka-node Prozess 今回のKafkaのバージョンは0.8.2.1です。Prozessは0.6のままので、0.8に対応しているkafka-nodを使うことにします。 プロジェクト 最初に作成したファイルのディレクトリ構造です。適当なディレクトリを作成します。 $ cd ~/docker_apps $ tre
Cassandra on DockerでIoT用データストアを用意する - Part1: Single Nodeインストール - Qiita
Cassandra on DockerでIoT用データストアを用意する - Part1: Single NodeインストールCassandraDockerCoreOSIoT時系列データベース IoT用のデータストアとして使える時系列データベースを調査しています。オープンソースのBluefloodとKairosDBや、商用IoTプラットフォームのThingWorxのバックエンドにCassandraが採用されています。 IoTに適した時系列データベース IoT用の時系列データベースはバックエンドにCassandraやMongoDB、HBaseを使うケースが多いようです。商用だとRealtime.coのBaaSはDynamoDBを、TempoIQは以前TempoDBと呼ばれていましたが、社名を変えエンタープライズ向けのセンサーデータ解析に特化したサービスになりました。 Blueflood Kai
Spark on Dockerで分散型機械学習を始める - Part2: UbuntuでIPython Notebookを使う - Qiita
Spark on Dockerで分散型機械学習を始める - Part2: UbuntuでIPython Notebookを使うhadoopSpark機械学習ipython_notebook sequenceiq/sparkのDockerイメージはCentOS 6.5を使っているので、そのままではIPythonのインスト-ルに失敗してしまいます。SequenceIQにはUbuntuのbaseimageもあります。これから自分でSparkのDockerfileを作ろうと思いましたが、ちょどよいイメージがLogBaseInc/docker-spark-ipythonがありました。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Note
Spark on Dockerで分散型機械学習を始める - Part1: インストール - Qiita
日経BPのITインフラテクノロジーAWARD 2015が発表されました。2015年にブレークすると予想されるクラウドやビッグデータの製品やサービスを選出しています。グランプリにDocker、準グランプリにApache Sparkが選ばれました。Sparkは2014年に入り盛り上がってきています。インメモリで高速に分散処理ができるため、機械学習のような繰り返し処理に向いています。MLibの機械学習ライブラリもあるので分散型機械学習フレームワークとして注目を集めています。そんなDockerとSparkを使い手軽に分散型機械学習の環境をつくり勉強していこうと思います。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Notebookを使
React入門 - Part2: Browserify/Reactify/Gulpを使う - Qiita
前回作成したhelloworldはブラウザでJSXTransformerを読み込みオンラインでjsにコンパイルしていました。実行時にChromeのデベロッパーツールに表示されるように、予めJSXはコンパイルすることが推奨されています。コンパイルの方法は、jsxコマンドを使う方法、 BrowserifyとReactifyを使う方法、最後にGulpのタスクでまとめる方法を順番に試してみます。 Getting Startedの復習 作成したhelloworld.jsxを少し修正してコンポーネントを作り構成してみます。ディレクトリ構成は以下です。 $ cd ~/react_apps/helloworld/ $ mkdir src dist $ mv helloworld.jsx src/ $ tree . . |-- dist |-- index.html `-- src `-- hellowor
React入門 - Part1: Getting Started - Qiita
ReactはFacebookがオープンソースで開発しているJavaScripライブラリです。ドキュメントサイトのGetting StartedとTutorialから勉強をはじめます。きっかけはClojureを勉強していて、OmというReactのClojureScriptインタフェースを紹介したInfoQの記事で興味を持ちました。Web UIのデータバインディングをリアクティブに書く方法を取り入れたいです。 Reactの特徴 Reactのページに書いてある特徴を簡単にまとめます。 JUST THE UI MVCのVだけComponentとして提供する VIRTUAL DOM VirtualDOMを使い差分だけ更新するため高速に動作する DATA FLOW 一方向のリアクティブなデータバインディング JSX JavaScript内にXML風に記述でき、DOM構造がわかりやすい 開発用コンテナ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Zeppelinでデータ分析を分散処理する - Part 2: Ambari on DockerにZeppelinをセットアップする - Qiita