2018-05-26に行われた「JJUG CCC 2018 Spring」で発表した時の資料です。
![Apache Kafkaとストリーム処理/Reactive Streams](https://cdn-ak-scissors.b.st-hatena.com/image/square/4d1755fd30748b26439de125ec0753c458f53c99/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F8e1bc0c7239041b780928300a2492f8a%2Fslide_0.jpg%3F10097425)
2018-05-26に行われた「JJUG CCC 2018 Spring」で発表した時の資料です。
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用(PoCではなく本番運用)した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
Open Source Serverless Cloud Platform Executes functions in response to events at any scale What is Apache OpenWhisk? Apache OpenWhisk is an open source, distributed Serverless platform that executes functions (fx) in response to events at any scale. OpenWhisk manages the infrastructure, servers and scaling using Docker containers so you can focus on building amazing and efficient applications. Th
外部から簡単にHTTP_PROXYという環境変数がセットでき、サーバ間通信や外部サイトと連携している場合に影響があるかもしれない脆弱性です。(HTTPoxy. CVE-2016-5385) PHPの場合はphp-fpm, mod_php, Guzzle4以上やいくつかのライブラリで影響あります。 対応方法は簡単です。 Apache側で対応する場合は、mod_headerを使える状況であれば、confファイルに下記の1行を追加。 RequestHeader unset Proxy FastCGIの場合は下記の1行を追加。 fastcgi_param HTTP_PROXY ""; Guzzleは6.2.1で対応されたようです。 Release 6.2.1 release · guzzle/guzzle · GitHub コミットログを見ると、CLIの時のみ、getenv('HTTP_PROXY
Apache Causeway™ enables domain-driven application development by dynamically generating a UI and API for your Spring Boot™ apps. That means: Productivity - your app is mostly business logic, with costly UI code eliminated. Discovery - you can work hand-in-hand with your business domain experts, to understand the problem space and to explore and then select a solution within the solution space. Ea
SystemML is now SystemDS To reflect the change of focus to the end-to-end data science lifecycle What is SystemDS? SystemDS is an open source ML system for the end-to-end data science lifecycle from data integration, cleaning, and feature engineering, over efficient, local and distributed ML model training, to deployment and serving. To this end, it provides a stack of declarative languages with R
概要 Apache の設定について共通化できるセキュリティ設定とその各項目についてまとめた。 設定例 必須設定 cat << _EOF_ > /etc/httpd/conf.d/security.conf # バージョン情報の隠蔽 ServerTokens Prod Header unset "X-Powered-By" # httpoxy 対策 RequestHeader unset Proxy # クリックジャッキング対策 Header append X-Frame-Options SAMEORIGIN # XSS対策 Header set X-XSS-Protection "1; mode=block" Header set X-Content-Type-Options nosniff # XST対策 TraceEnable Off <Directory /var/www/html>
2013, ZEPL (formerly known as NFLabs) started Zeppelin project here. 2014-12-23, Zeppelin project became an incubation project in Apache Software Foundation. 2016-06-18, Zeppelin project graduated incubation and became a Top Level Project in Apache Software Foundation. Please visit zeppelin.apache.org to see the official Apache Zeppelin website. Click and launch a Live Demo! 2020, Creators of Zepp
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米国家安全保障局(NSA)は2014年11月、データフローオーケストレーションソフトウェアである「Niagrafiles」(NiFi)をオープンソースとして提供した。 NSAらしからぬその行動をいぶかしむ者もいたが、公正を期して言えば、NSAがオープンソースコミュニティにテクノロジを寄贈するのはこれが初めてのことではない。その3年前にも、データベース「Accumulo」をApacheに寄贈している。 また、米国時間2015年8月下旬には、NSAのプロジェクトから生まれたApache NiFiを手がける企業Onyaraが、Hadoop関連企業として有名なHortonworksによって買収されたことで、この技術は再び脚光を浴びた。 データフ
An easy to use, powerful, and reliable system to process and distribute data. Features Apache NiFi supports powerful and scalable directed graphs of data routing, transformation, and system mediation logic. Apache NiFi includes the following capabilities: Browser-based user interface Seamless experience for design, control, feedback, and monitoring Data provenance tracking Complete lineage of info
オープンソースソフトウェアの非営利団体Apache Software Foundationは7月20日(米国時間)、「Apache NiFi」をトップレベルプロジェクト(TLP)に昇格することを発表した。 Apache NiFiは、フローベースのプログラミングというコンセプトを元にしたデータの処理および配信システム。データフロー管理とその自動化のために作成され、容易さ、拡張性、信頼性を特徴とする。元々は米国家安全保障局(NSA)で「Niagarafiles」として開発されたもので、NSAの「Technology Transfer Program(TTP)」の下で2014年11月にASFに移管された。インキュベータープロジェクトとして開発が進められてきたが、8ヶ月でTLPに昇格したことになる。 ツイート、センサーなどさまざまな種類、場所にあるデータソースから取得したデータをApache Ha
Apache / Giraph / Welcome To Apache Giraph! Last Published: 2020-08-11 | Version: 1.4.0-SNAPSHOT Welcome to Apache Giraph! Apache Giraph is an iterative graph processing system built for high scalability. For example, it is currently used at Facebook to analyze the social graph formed by users and their connections. Giraph originated as the open-source counterpart to Pregel, the graph processing a
導入 CentOS 7の公式Yumリポジトリから提供されているApacheで動作を確認しています。それ以外のOSでは、設定ファイルが置かれている場所 (英語) やドキュメントルートの初期値が異なる場合があるのでご注意ください。 Apache設定ファイル (*.conf) のシンタックスハイライト CentOS標準のYumリポジトリで提供されているテキストエディタのうちVim・Emacs以外のエディタは、初期状態で.confファイルのシンタックスハイライトが機能しません。以下のように設定ファイルの編集などを行い、シンタックスハイライトを有効にします。 gedit Bug 612368 – Language definition for Apache configuration filesで公開されているファイルを利用します。 # Apache設定ファイル用の言語設定ファイルをダウンロード w
こんにちは滝澤です。たまにはapacheネタということで一つ。 Apache HTTP ServerのパラメータチューニングではMaxClientsなどのMPM(マルチ プロセッシング モジュール)関連のディレクティブの設定値を調整することが多いです。本記事ではMPM関連のディレクティブのデフォルト値やディレクティブ間の関係を表にまとめたので紹介します。 注意事項 UNIX系OSにおける説明となります。バージョン2.2系および2.4系の両方について説明します。 関係式においてバージョン2.4系の場合はMaxClientsをMaxRequestWorkersに置き換えて読んでください。 ディレクティブ名には公式サイトのリンクを張っています。公式の説明も確認してください。 デフォルトの欄で括弧付きものはそのディレクティブそのものは設定不可ではあるが、内部的に設定されているデフォルト値を示してい
元ネタはこちら。 Apache AddHandler madness all over the place Gentoo Bug 538822 どういうことか 次のような指定は危険である。 AddHandler php5-script .php この時に指定される.phpはファイル名の末尾である必要はない。例えば、 aaa.php.html bbb.php.pngなどもphp5-scriptとして解釈されてしまうのだ。これは.XXX.YYYと複数の拡張子が書かれた場合、.XXXと.YYYもAddHandlerの対象となることが原因。 ちなみに次のような場合にはphp5-scriptとして解釈されない。 ccc.php_foo (.php_fooとして解釈されるため) ddd.php_bar.html (.php_barと.htmlとして解釈されるため)実はこのことはApacheのドキュメン
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
HTTPS(SSL利用)サイトがSEO的に優遇されるトレンドで、世間的にもHTTPS接続でサイト運用するサービスが増えてきています。 これが、ハイトラフィックサイトになってくると、このフロントエンドでSSL処理させることが負荷的にもなかなか辛いのです。 で、Apache 2.3以降では、Shared Object Cache Providerとして、memcachedが選択できるようになっています。 この仕組みを利用して、Apacheとmemcachedを並べることで、各サーバでユーザのSSL Session Cacheを共有しながらHTTPSリクエストを負荷分散できる構成を作ってみました。 WebサーバでSSLオフロード 常時SSLを利用したWebサイトを運用するために、SSLアクセラレータといったアプライアンス製品だとか、ソフトウェアだとApacheやNginxのSSLモジュールを使う
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く