2016-04-24 - sfchaos blog
技術評論社から近々刊行される「詳解Apache Spark」をご恵贈いただきました．ありがとうございます！ 詳解 Apache Spark 作者: 下田倫大,師岡一成,今井雄太,石川有,田中裕一,小宮篤史,加嵜長門出版社/メーカー: 技術評論社発売日: 2016/04/29メディア: 大型本この商品を含むブログ (5件) を見る Amazonの発送は4月29日からのようですが，都内のジュンク堂や紀伊國屋，書泉ブックタワーなどの大型書店では既に先行販売されているようです．是非手に取ってみてください． 総評 本書は，大規模並列分散基盤のApache Sparkについて，豊富な実践例を交えながら基本的なコンセプトや使用方法が解説された書籍です．この分野の第一線で実際に業務で使用している方々が，わかりやすく執筆されています．Sparkを使う必要があったりどんなものか知ってみたいと思ったりしているエ
Cloudera_Kafka_Reference_Architecture-Q115-102.indd
Reference Guide for Deploying and Configuring Apache Kafka WHITE PAPER Revised: 02/2015 REFERENCE GUIDE FOR DEPLOYING AND CONFIGURING APACHE KAFKA 2 1. Introduction 3 2. Apache Kafka Technology Overview 3 3. Common Use Cases for Kafka 4 4. Deploying a Kafka Cluster 5 5. Configuring a Kafka Cluster 6 5.1 Replication, Partitions, and Leaders 6 5.2 Producers and Consumers 6 5.3 Settings for Guarante
apache-loggen を使って Apache アクセスログのダミーログを生成する - ようへいの日々精進XP
Elasticsearch でダミーデータがほしい と思って調べたら apache-loggen というツールがあるらしいので試してみた。 apache-loggen とは Apache のダミーログを出力します Apache のダミーログを出力し続ける gem のようです。 http://mt.orz.at/archives/2012/10/apache.html http://blog.johtani.info/blog/2013/06/10/fluent-es-kibana/ インストールとヘルプ インストール sudo gem install apache-loggen --no-ri --no-rdoc -V ヘルプ $ apache-loggen -h Usage: apache-loggen [options] --limit=COUNT 最大何件出力するか。デフォルトは0で
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 （オープンソースカンファレンス 2015 Tokyo/Spring 講演資料）
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 （オープンソースカンファレンス 2015 Tokyo/Spring 講演資料）
Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
Spark Release 1.0.0 | Apache Spark
Spark 1.0.0 is a major release marking the start of the 1.X line. This release brings both a variety of new features and strong API compatibility guarantees throughout the 1.X line. Spark 1.0 adds a new major component, Spark SQL, for loading and manipulating structured data in Spark. It includes major extensions to all of Spark’s existing standard libraries (ML, Streaming, and GraphX) while also
電子書籍「Apache Kafka入門」をリリースしました - Advanced Technology Lab
こんにちは。シニアリサーチエンジニアの中野です アドバンスドテクノロジーラボで調査検証を進めてきたApache Kafkaについて、その結果をAmazonの電子書籍 としてまとめました。 (だいぶ前に公開だけしていたのですが、ブログに書くことを忘れていました！) Apache Kafka入門 伊橋 正義 (著), 原田 勝憲 (著), 中野 猛 (編) Hadoopなどの大規模分散処理には欠かせない、ノード間の協調動作を支えるミドルウェアであるKafkaですが、裏方の仕組みであるためあまりそれだけに注目されることはなく、そのためか日本語の情報ソースも限られていました。 そして、ラボではStormを、DB操作と同じ程度の気軽さで利用できる仕組みを開発しており、その中でKafkaを幅広く活用しています。 このため、Kafkaの情報を日本語で公開することは他所においても価値があると考え、このたび
Apache 初回リリースのStorm0.9.1のリリース内容は？ - Taste of Tech Topics
こんにちは。kimukimuです。 徐々に暖かくなってきていますね。春は目前です。 さて、つい先日Apache Stormとして初リリースとなる「0.9.1-incubating」がリリースされました！ ＃ちなみに前回リリースは「0.9.0.1」です。 今回リリース内容は大きく分けて、Apache Incubatorに移行したため発生したものと、 機能追加／不具合対応によるものの２つがあります。 節目のリリースですので両方についてリリースノートより主要な項目を紹介しますね。 1. Apache Incubatorとしてのリリース内容 ライセンスの変更 ライセンスが「Eclipse Public License - v 1.0」から「Apache License Version 2.0」に変更になってます。 今回の変更で今まで使っていた方が使えなくなる・・・ということはないのですが、 きちん
カスタマイズ済みのApacheログ書式もパースする Apache::Log::Parser の話 - たごもりすメモ
さて、Perlといえばテキスト処理、テキスト処理といえばPerlですね。そしてこのビッグでデータな現代においてテキスト処理といえばログの処理に決まっています。 ログの処理といってもいろいろですが、もちろん強く逞しく生きる現代っ子の我々は以下のようなログを扱います。 Apacheのログ Apacheのログなんだけどいくつかの書式が混ざってたりする combined に当然いろいろデータが足してある LTSVってなんですか？ そのような素敵な問題を解決するためのモジュールがCPANにあります。Apache::Log::Parserです。 あっ、そのページはダメ、こっち、こっちな。 Apache::Log::Parser Apache::Log::Parserは内部に2種類の解析器を備えており、パーサを初期化するときにどちらかを選びます。それぞれ以下のように動作します。 fast mode Ap
Apache Tez – Welcome to Apache TEZ®
Getting Started Overview Talks and Meetup Recordings Project License Documentation Install Guide Local Mode Tez UI Tez Shuffle Handler User Guides Community Mailing Lists Issue Tracking Project Team Project By-Laws User Meetup Group Tez Wiki Download Apache TEZ® Releases 0.4.1-incubating 0.5.4 0.6.2 0.7.1 0.8.5 0.9.2 0.10.2 All Releases Contribute JIRA Git (Read/Write) Git (Read-only) How to Contr
Auto-Scaling with Apache Helix and Apache YARN
At LinkedIn, many individual services integrate together to deliver a reliable and consistent end-user experience. Although each service handles a specialized set of responsibilities, they all share a common set of required features such as load-balancing, dynamic reconfiguration, health monitoring, and fault-detection. Last year we introduced Apache Helix, an open-source generic cluster managemen
StormがApache Incubatorプロジェクトになりました！ - Taste of Tech Topics
こんにちは。kimukimuです。 最近台風が多かったから・・・というわけではありませんが、久々のStormのニュースです。 Stormについて嬉しい発表がありました。 Stormが2013/09/18にApache Incubatorプロジェクトになりました！ ページも出来ています。 http://incubator.apache.org/projects/storm.html 最近StormのリードコミッタのNathanさんが事業を立ち上げてそちらに時間を使っているせいか、 不具合対応バージョンの0.8.3やZeroMQを使わず、新機能が追加されてモジュールも整理された0.9.0の WIPバージョンばかりが積み重なっている状態になっていました。 そのため、Apache Incubatorプロジェクトとして安定的に開発が進む土壌ができたというのは非常にありがたいですね。 Storm自体は
Apache HTTPD: `Options -FollowSymLinks` は不完全 - ダメ出し Blog
シンボリックリンク攻撃を防ぐための Apache HTTPD モジュールの解説はこちら: Apache HTTPD: mod_allowfileowner https://fumiyas.github.io/apache/mod-allowfileowner.html 背景 ロリポップの共有 Web サービス下のサイト改ざん事件で、 攻撃手法の一つとして 「他ユーザー所有のファイルへのシンボリックリンクを自分のコンテンツディレクトリ下に作り、Apache HTTPD 経由でアクセスする」手順が利用されたらしい。 参考: http://blog.tokumaru.org/2013/09/symlink-attack.html 当社サービス「ロリポップ！レンタルサーバー」ユーザーサイトへの第三者による大規模攻撃について http://lolipop.jp/info/news/4149/#090
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache SIS - The Apache SIS™ library
http://blog.yoslab.com/entry/2015/02/07/005533
Reactive Streams for Apache Kafka
Current and Future of Apache Kafka
Data practitioners | Cloudera
Apache Storm 0.9 training deck and tutorial
The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project - The Apache Software Foundation Blog