Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム
大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています。 バージョン1.0では、Stream APIの強化、Jav
Apache Struts 2に脆弱性報告--既に攻撃発生も
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます JavaのウェブアプリケーションフレームワークのApache Struts 2で深刻な脆弱性が報告された。既に脆弱性悪用攻撃が発生しているとみられ、情報処理推進機構（IPA）などが注意喚起している。 IPAによると、Apache Struts 2.3.5から2.3.31および同2.5から2.5.10のバージョンには、「Jakarta Multipart parser」のファイルアップロード処理に起因して、リモートから任意のコードが実行される恐れのある脆弱性が見つかった。 既に開発元のApache Software Foundationが脆弱性を修正した最新版のApache Struts 2.3.32および2.3.32をリリース済み。最新
クラウドごとに異なるAPIの違いを吸収するライブラリ「Apache Libcloud」、正式版がオープンソースで公開
クラウドごとに異なるAPIの違いを吸収するライブラリ「Apache Libcloud」、正式版がオープンソースで公開 多くのパブリッククラウドはAPI経由でインスタンスを起動したりストレージを構成することができるようになっていますが、クラウドごとにAPIの仕様は異なります。そのため、あるクラウドをAPI経由で制御するアプリケーションを作ったとしても、そのアプリケーションは特定のクラウドだけで有効です。 こうしたクラウドごとのAPIの違いを吸収しようとオープンソースで開発されているのが「Apache Libcloud」（以下Libcloud）です。パブリッククラウドやOpenStackのようなクラウド基盤ソフトウェアなど50以上のクラウドに対応しています。Libcloudを用いることで、クラウドにロックインされないクラウド管理アプリケーションが開発可能です。 そのLibcloudがバージョン
Apache Strutsに複数の脆弱性、攻撃実証コードも公開
脆弱性を悪用されると、任意のコードを実行されたり、サービス不能状態にさせられたりするなどの恐れがある。 Java WebアプリケーションフレームワークのApache Strutsに複数の脆弱性がみつかり、情報処理推進機構（IPA）やJPCERT コーディネーションセンターが6月20日付でユーザーに注意を呼び掛けた。対策は、脆弱性が修正された最新版の適用となっている。 脆弱性は任意のサービス実行、サービス妨害（DoS）、クロスサイトリクエストフォージェリ（CSRF）、Getterメソッドにおける検証回避、入力値検証の回避の全5件あり、Apache Struts 2.3.20から2.3.28.1までが影響を受ける。また、DoSの脆弱性についてはApache Struts 2.5にも影響が及ぶ。既にサポートが終了しているApache Struts 1への影響は不明。 特に任意のサービス実行につな
ビッグデータ技術の普及を目指すODPi、初のランタイム仕様を公開
Andrew Brust （Special to ZDNET.com） 翻訳校正： 編集部 2016-03-29 11:57 「Open Data Platform initiative（ODPi）」は米国時間3月28日、「Apache Hadoop」をベースにしたディストリビューションのランタイム仕様である「ODPi Runtime Specification」を、関連するテストスイートとともに公開した。このランタイム仕様は、標準化を推進するとともに、エコシステムの断片化の抑制、互換性の最大化を実現するため、Hadoopディストリビューションのコアコンポーネントに対する共通仕様を策定することを目指す。ODPiは2015年2月に設立された業界団体だ。 「Apache Hadoop 2.7」をベースにしたこのランタイム仕様は、「Hadoop Distributed File System（H
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
高速にApache Kafkaを試す - Qiita
Apache kafkaに入門した 最近Apache kafkaを探求している．触ることも多くなったのでローカルで簡単に試せる環境をちゃんと整えた．JVMだし動かすの大変そうと思われがちだがDockerを使えばコマンド1発で起動できる．以下では実際にBrokerを立ててsyslogの配信/購読をやってみる． バージョンは 0.8.2 を対象に書いている． まずKafka（Broker）を動かす．Dockerイメージtcnksm/single-kafkaを準備した．以下のように起動する．オプションはすべてDockerホスト外からBrokerにアクセスするための設定． $ docker run --rm -it \ --name kafka \ --publish 9092:9092 \ --env ADVERTISED_HOST=${DOCKER_HOST} \ --env ADVERTIS
「Apache HBase」がバージョン1.0に到達、開発開始から7年で
GoogleのBigTableを参考にオープンソースで開発されたHBaseは、HadoopのファイルシステムであるHDFS上に構築されたキーバリューストア型のデータベース。高いスケーラビリティや柔軟なテーブル構造、自動シャーディングやフェイルオーバー機能などを特長とします。 そのHBaseがバージョン1.0に到達したことが、The Apache Software Foundation Blogにポストされた記事「The Apache Software Foundation Announces Apache™ HBase™ v1.0」で発表されました。 The Apache Software Foundation Announces Apache™ HBase™ v1.0 : The Apache Software Foundation Blog 1.0で行われた改善点や新機能として以下が上
Apache Flex 4.9登場 - プロジェクトがApacheのトップレベルに昇格
Apache Flex is an application framework for easily building Flash-based applications for mobile devices, the browser and desktop. Apache Software Foundation(以下ASF)は14日(米国時間)、Apache Flexがトッププロジェクトレベルに引き上げられたことを伝えている。また、Apache Flexの最新版となる「Apache Flex 4.9」のリリースも発表している。 Apache FlexはもともとAdobeで開発されていたFlashベースのRIAフレームワーク。HTML5技術の台頭やAdobeの開発リソースを他の分野に割くためなどの理由によって、ソースコードをASFに寄贈していた。ASFはインキュベータプロジェクトとして「Ap
Apacheのアクセス制御をちゃんと理解する。 - こせきの技術日記
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
