Hadoopを安全にする「Apache Ranger」がASFのトップレベルプロジェクトに | OSDN Magazine
Apache Software Foundation（ASF）は2月8日（米国時間）、Apache Hadoopのセキュリティフレームワーク「Apache Ranger」がトップレベルプロジェクト（TLP）に昇格したことを発表した。 Apache RangerはApache Hadoopプラットフォームのデータセキュリティをモニタリング・管理するフレームワーク。Hadoopコンポーネント全体で一貫性のあるセキュリティポリシーを定義・設定し、一元的に管理できる。2014年7月にApache Incubatorとなり、最新安定版は1月末に公開されたバージョン0.6.3。 Hadoopのキー管理サービスAPIと互換性があり、HDFS Transparent Data Encryptionの暗号化キーの保存と管理ができるRanger Key Management Service、動的な列マスキング
米Intel、Apache Sparkベースの深層学習ライブラリ「BigDL」をオープンソースで公開 | OSDN Magazine
BigDLは分散型の深層学習ライブラリ。Apache Sparkプログラムとして深層学習アプリケーションを作成し、既存のSparkまたはHadoopクラスタを活用して動かすことができる。 Luaで作成された学術向けのコンピューティングフレームワーク「Torch」に倣ってモデリングされているのが特徴で、GPUアクセラレーションを使って高速な処理が行える。Tensor経由での数値計算、ハイレベルのニューラルネットワークなどの種類をサポートし、事前にトレーニングされたCaffe（オープンソースの深層学習フレームワーク）やTorch向けの既存モデルを読み込ませることもできる。 性能、効率の良いスケールアウトも特徴で、Intel MKL（Intel Math Kernel Library）とマルチスレッド化されたプログラミングを行うことで、単一ノードのXeonや汎用のGPU上でCaffeやTorch
Apache Bahir、トップレベルプロジェクトへ - ビッグデータ処理を強化
Apache Software Foundationは6月29日(米国時間)、「The Apache Software Foundation Announces Apache Bahir as a Top-Level Project : The Apache Software Foundation Blog」において、「Apache Bahir」がインキュベータから卒業してトップレベルプロジェクトになったと伝えた。分散分析プラットフォーム向けのエクステンションプラットフォームが、広く利用できるようになったことを意味している。 「Apache Bahir」はもともとビッグデータ処理プラットフォームかつ分散分析プラットフォームである「Apache Spark」におけるエクステンションプラットフォームとして開発されてきた経緯がある。Apache Bahir上にストリーミングコネクタ(プラグイン)
クラウドごとに異なるAPIの違いを吸収するライブラリ「Apache Libcloud」、正式版がオープンソースで公開
クラウドごとに異なるAPIの違いを吸収するライブラリ「Apache Libcloud」、正式版がオープンソースで公開 多くのパブリッククラウドはAPI経由でインスタンスを起動したりストレージを構成することができるようになっていますが、クラウドごとにAPIの仕様は異なります。そのため、あるクラウドをAPI経由で制御するアプリケーションを作ったとしても、そのアプリケーションは特定のクラウドだけで有効です。 こうしたクラウドごとのAPIの違いを吸収しようとオープンソースで開発されているのが「Apache Libcloud」（以下Libcloud）です。パブリッククラウドやOpenStackのようなクラウド基盤ソフトウェアなど50以上のクラウドに対応しています。Libcloudを用いることで、クラウドにロックインされないクラウド管理アプリケーションが開発可能です。 そのLibcloudがバージョン
オープンソースのクラウド基盤「Apache CloudStack 4.6」リリース。DockerイメージでのCloudStack提供も開始
オープンソースで開発されているクラウド基盤ソフトウェア「Apache Cloud Stack」の最新版「Apache CloudStack 4.6」がリリースされました。 CloudStackはオープンソースのクラウド基盤ソフトウェアの中でも比較的歴史の長いソフトウェアです。すでに数年前から商用クラウドサービスの基盤ソフトウェアとして複数の企業で採用されています。 CloudStack 4.6の主な新機能は以下です。 VPCのルータが冗長構成可能に 仮想プライベートクラウド（VPC）の可用性向上やディザスタリカバリ実現のため、VPCを構成する仮想ルータの冗長構成が可能になりました。 SSHキーの取得がWebブラウザから可能に インスタンスを操作するためのSSHキーの取得が各アカウントのWebUIから可能になりました。 Webブラウザからテンプレートやボリュームのアップロードが可能に 外部の
ApacheやNginxのSSL関連のおすすめ設定を生成する便利サイト - cakephperの日記(CakePHP, Laravel, PHP)
ApacheやNginxとopensslのバージョンを指定するとおすすめの暗号スイートなど、SSL設定ファイルを表示してくれるMozillaのサイトがあります。 https://mozilla.github.io/server-side-tls/ssl-config-generator/ これを使えば安全な暗号スイートのみを使ってる設定などが簡単に生成されますので、この通りに指定すれば良いです。 Apacheの場合はデフォルトでは暗号スイート設定の記述はなかったと思いますが、下記の3つは表示通りに指定しておくのが良いかと思います。 SSLProtocol SSLCipherSuite SSLHonorCipherOrder Oldを選択すると、古いブラウザにも対応してる暗号スイートを含めます。ただ暗号強度が弱いものが含まれるためサイトのアクセス傾向をみて古いブラウザのアクセスが無いのであれ
性能編
Q2：ログイベントをバッファリングするには？ AsyncAppender によってログイベントをバッファリングし、バッファが満杯になったら非同期でログ出力することができます。 <appender name="ASYNC" class="org.apache.log4j.AsyncAppender"> <param name="BufferSize" value="64" /> <appender-ref ref="FOR_LOG4J_PERFORMANCE" /> </appender> AsyncAppender は他のアペンダを非同期化するためのアペンダで、上の例では appender-ref 要素で非同期化するアペンダを指定しています。尚、この記述は XML ファイルでしかできません。BufferSize パラメータはログイベントのバッファサイズです。デフォルト設定は 128 です
Apache Hiveの今とこれから
分析指向データレイク実現の次の一手 ～Delta Lake、なにそれおいしいの？～（NTTデータ テクノロジーカンファレンス 2020 発表資料） 分析指向データレイク実現の次の一手 ～Delta Lake、なにそれおいしいの？～ （NTTデータ テクノロジーカンファレンス 2020 発表資料） 2020年10月16日（金） NTTデータ システム技術本部 デジタル技術部 梅森 直人 講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中！ https://www.youtube.com/watch?v=NDb9nORBT_A "Apache Flink’s Exactly-Once Semantics (EOS) integration for writing to Apache Kafka has several pitfalls, due mostly to t
Apache Drill 1.0がリリースされたのでAmazon S3と連携してみた | DevelopersIO
はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64
【初心者向け】ApacheBench入門 ｜ DevelopersIO
こんにちは、虎塚です。 今週クラスメソッド社内で性能テストツールのApacheBench をテーマにした勉強会を行うことになりました（勉強会というと固い感じですが、経験者から知見をいろいろ教えてもらおうという雑談会です）。 そこで、ApacheBenchをまったく使ったことがない方の予習用に、ごく基本的な情報をまとめておきましたので、公開します。 ApacheBenchのインストール方法 Apache HTTP Serverをインストールします。 sudo yum install httpd または、apr-utilパッケージをインストールすれば、httpdをインストールしなくてもApacheBenchを利用できます。 sudo yum install apr-util ApacheBenchの特徴 ApacheBenchは、Apache HTTP Serverに同梱されている性能テストツ
apacheとnginx – 忘れるために記す
主に、オープンソースカンファレンス2014 Tokyo/Spring Apacheコミッターが見た Apache vs nginx http://openstandia.jp/pdf/140228_osc_seminar_ssof8.pdf より webサーバ仕組み – ざっくりリクエストに対して、レスポンスを返却する apache – マルチプロセス、マルチスレッドアーキテクチャ-マルチプロセス、スレッドの場合、1つのプロセスまたはスレッドがこれを処理する。そのため、1アクセスを処理している間は他のアクセスを処理できず、同時接続数分だけプロセスまたはスレッドが必要となる マルチプロセス、マルチスレッドの違いマルチプロセスはメモリ空間を個別に持つが、マルチスレッドはメモリ空間を共有する メモリの使用効率が高く、プロセス切り替え時にメモリ空間の切り替えが発生しないためコストが低くなる マルチ
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
「Apache Hive 1.1」リリース、データ加工ツールの追加などが行われる | OSDN Magazine
Apache Hive開発チームは3月9日、Apache Hadoopベースのデータウェアハウス構築ソフトウェア「Apache Hive」の最新版「Apache Hive 1.1.0」をリリースした。プロジェクトのWebサイトより入手できる。 Apache Hiveは米FacebookがApache Software Foundation（ASF）に寄贈したデータウェアハウスソフトウェア。分散ストレージ環境にある大規模なデータセットのクエリや管理が可能で、SQLライクな言語「HiveQL」でデータクエリが可能。Map/Reduce開発車がカスタム構築したマッパーに組み込むこともできる。HBase、RCFileなども利用できる。 1.1は2015年2月に公開された初の正式版「Apache Hive 1.0」に続くもので、Hadoopは1系と2系に対応する。データの抽出や加工、ロード（ETL）
「Apache HBase」がバージョン1.0に到達、開発開始から7年で
GoogleのBigTableを参考にオープンソースで開発されたHBaseは、HadoopのファイルシステムであるHDFS上に構築されたキーバリューストア型のデータベース。高いスケーラビリティや柔軟なテーブル構造、自動シャーディングやフェイルオーバー機能などを特長とします。 そのHBaseがバージョン1.0に到達したことが、The Apache Software Foundation Blogにポストされた記事「The Apache Software Foundation Announces Apache™ HBase™ v1.0」で発表されました。 The Apache Software Foundation Announces Apache™ HBase™ v1.0 : The Apache Software Foundation Blog 1.0で行われた改善点や新機能として以下が上
Apache HTTP Server: MPMパラメータ チートシート
こんにちは滝澤です。たまにはapacheネタということで一つ。 Apache HTTP ServerのパラメータチューニングではMaxClientsなどのMPM（マルチ プロセッシング モジュール）関連のディレクティブの設定値を調整することが多いです。本記事ではMPM関連のディレクティブのデフォルト値やディレクティブ間の関係を表にまとめたので紹介します。 注意事項 UNIX系OSにおける説明となります。バージョン2.2系および2.4系の両方について説明します。 関係式においてバージョン2.4系の場合はMaxClientsをMaxRequestWorkersに置き換えて読んでください。 ディレクティブ名には公式サイトのリンクを張っています。公式の説明も確認してください。 デフォルトの欄で括弧付きものはそのディレクティブそのものは設定不可ではあるが、内部的に設定されているデフォルト値を示してい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Geode で始める�Spring Data Gemfire
http://taco.tools/
Apache Spark チュートリアル
Apache Spark の紹介（前半：Sparkのキホン）