2018-05-26に行われた「JJUG CCC 2018 Spring」で発表した時の資料です。
Apache Kafkaとストリーム処理/Reactive Streams
2018-05-26に行われた「JJUG CCC 2018 Spring」で発表した時の資料です。
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
openwhisk.apache.org
Open Source Serverless Cloud Platform Executes functions in response to events at any scale What is Apache OpenWhisk? Apache OpenWhisk is an open source, distributed Serverless platform that executes functions (fx) in response to events at any scale. OpenWhisk manages the infrastructure, servers and scaling using Docker containers so you can focus on building amazing and efficient applications. Th
PHPに関するHTTPOXY脆弱性の問題と対応方法 - Code Day's Night
外部から簡単にHTTP_PROXYという環境変数がセットでき、サーバ間通信や外部サイトと連携している場合に影響があるかもしれない脆弱性です。(HTTPoxy. CVE-2016-5385) PHPの場合はphp-fpm, mod_php, Guzzle4以上やいくつかのライブラリで影響あります。 対応方法は簡単です。 Apache側で対応する場合は、mod_headerを使える状況であれば、confファイルに下記の1行を追加。 RequestHeader unset Proxy FastCGIの場合は下記の1行を追加。 fastcgi_param HTTP_PROXY ""; Guzzleは6.2.1で対応されたようです。 Release 6.2.1 release · guzzle/guzzle · GitHub コミットログを見ると、CLIの時のみ、getenv('HTTP_PROXY
apache causeway
Apache Causeway™ enables domain-driven application development by dynamically generating a UI and API for your Spring Boot™ apps. That means: Productivity - your app is mostly business logic, with costly UI code eliminated. Discovery - you can work hand-in-hand with your business domain experts, to understand the problem space and to explore and then select a solution within the solution space. Ea
Apache SystemML
SystemML is now SystemDS To reflect the change of focus to the end-to-end data science lifecycle What is SystemDS? SystemDS is an open source ML system for the end-to-end data science lifecycle from data integration, cleaning, and feature engineering, over efficient, local and distributed ML model training, to deployment and serving. To this end, it provides a stack of declarative languages with R
Apacheセキュリティ設定 - Qiita
cat << _EOF_ > /etc/httpd/conf.d/security.conf # バージョン情報の隠蔽 ServerTokens ProductOnly Header always unset "X-Powered-By" # httpoxy 対策 RequestHeader unset Proxy # クリックジャッキング対策 Header always set X-Frame-Options "SAMEORIGIN" # XSS対策 Header always set X-XSS-Protection "1; mode=block" Header always set X-Content-Type-Options "nosniff" # XST対策 TraceEnable Off <Directory /var/www/html> # .htaccess の有効化 Al
Zeppelin project
2013, ZEPL (formerly known as NFLabs) started Zeppelin project here. 2014-12-23, Zeppelin project became an incubation project in Apache Software Foundation. 2016-06-18, Zeppelin project graduated incubation and became a Top Level Project in Apache Software Foundation. Please visit zeppelin.apache.org to see the official Apache Zeppelin website. Click and launch a Live Demo! 2020, Creators of Zepp
HortonworksのCTOが語る「Apache NiFi」--IoT分野で重視される理由
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米国家安全保障局（NSA）は2014年11月、データフローオーケストレーションソフトウェアである「Niagrafiles」（NiFi）をオープンソースとして提供した。 NSAらしからぬその行動をいぶかしむ者もいたが、公正を期して言えば、NSAがオープンソースコミュニティにテクノロジを寄贈するのはこれが初めてのことではない。その3年前にも、データベース「Accumulo」をApacheに寄贈している。 また、米国時間2015年8月下旬には、NSAのプロジェクトから生まれたApache NiFiを手がける企業Onyaraが、Hadoop関連企業として有名なHortonworksによって買収されたことで、この技術は再び脚光を浴びた。 データフ
NSA発のデータフロー管理システム「NiFi」、ASFのトップレベルプロジェクトへ | OSDN Magazine
オープンソースソフトウェアの非営利団体Apache Software Foundationは7月20日（米国時間）、「Apache NiFi」をトップレベルプロジェクト（TLP）に昇格することを発表した。 Apache NiFiは、フローベースのプログラミングというコンセプトを元にしたデータの処理および配信システム。データフロー管理とその自動化のために作成され、容易さ、拡張性、信頼性を特徴とする。元々は米国家安全保障局（NSA）で「Niagarafiles」として開発されたもので、NSAの「Technology Transfer Program（TTP）」の下で2014年11月にASFに移管された。インキュベータープロジェクトとして開発が進められてきたが、8ヶ月でTLPに昇格したことになる。 ツイート、センサーなどさまざまな種類、場所にあるデータソースから取得したデータをApache Ha
Giraph - Welcome To Apache Giraph!
Apache / Giraph / Welcome To Apache Giraph! Last Published: 2020-08-11 | Version: 1.4.0-SNAPSHOT Welcome to Apache Giraph! Apache Giraph is an iterative graph processing system built for high scalability. For example, it is currently used at Facebook to analyze the social graph formed by users and their connections. Giraph originated as the open-source counterpart to Pregel, the graph processing a
Apache 2.4 設定ファイルの記述例 - Qiita
############## ## 以上省略 ## ############## <IfModule unixd_module> # # If you wish httpd to run as a different user or group, you must run # httpd as root initially and it will switch. # # User/Group: The name (or #number) of the user/group to run httpd as. # It is usually good practice to create a dedicated user and group for # running httpd, as with most system services. # User apache Group apache
Apache HTTP Server: MPMパラメータ チートシート
こんにちは滝澤です。たまにはapacheネタということで一つ。 Apache HTTP ServerのパラメータチューニングではMaxClientsなどのMPM（マルチ プロセッシング モジュール）関連のディレクティブの設定値を調整することが多いです。本記事ではMPM関連のディレクティブのデフォルト値やディレクティブ間の関係を表にまとめたので紹介します。 注意事項 UNIX系OSにおける説明となります。バージョン2.2系および2.4系の両方について説明します。 関係式においてバージョン2.4系の場合はMaxClientsをMaxRequestWorkersに置き換えて読んでください。 ディレクティブ名には公式サイトのリンクを張っています。公式の説明も確認してください。 デフォルトの欄で括弧付きものはそのディレクティブそのものは設定不可ではあるが、内部的に設定されているデフォルト値を示してい
ApacheのAddHandlerはセキュリティ上の懸念から使用すべきではない - このブログはURLが変更になりました
元ネタはこちら。 Apache AddHandler madness all over the place Gentoo Bug 538822 どういうことか 次のような指定は危険である。 AddHandler php5-script .php この時に指定される.phpはファイル名の末尾である必要はない。例えば、 aaa.php.html bbb.php.pngなどもphp5-scriptとして解釈されてしまうのだ。これは.XXX.YYYと複数の拡張子が書かれた場合、.XXXと.YYYもAddHandlerの対象となることが原因。 ちなみに次のような場合にはphp5-scriptとして解釈されない。 ccc.php_foo (.php_fooとして解釈されるため) ddd.php_bar.html (.php_barと.htmlとして解釈されるため)実はこのことはApacheのドキュメン
Apacheチューニング
2. チューニング • KeepAliveの設定 • コンテンツの圧縮転送 • 不要モジュールの削除 • シンボリックリンク先の参照許可 • TimeOutの設定 • DNS問い合わせの無効 • .htaccessの無効化 • Prefork MPMのチューニング • Worker MPMのチューニング 3. KeepAliveの設定 ディレクティブ 値 説明 KeepAlive On 同一クライアントに対し コネクションを使い回す MaxKeepAliveRequests 1ページあたりの平均 的なコンテンツ数 + α 1つのKeepAliveで受け付け るリクエスト数 KeepAliveTimeout 1ページ当たりの平均 的な転送時間＋α クライアントからのリクエ ストがなくてもKeepAliveを 維持する秒数 5. 不要モジュールの削除 デフォルトでは多くの拡張モジュー ルが組み
複数のWebサーバでSSLセッションキャッシュを共有してSSL処理を高速化(Apache + mod_ssl + mod_socache_memcache) - 元RX-7乗りの適当な日々
HTTPS(SSL利用)サイトがSEO的に優遇されるトレンドで、世間的にもHTTPS接続でサイト運用するサービスが増えてきています。 これが、ハイトラフィックサイトになってくると、このフロントエンドでSSL処理させることが負荷的にもなかなか辛いのです。 で、Apache 2.3以降では、Shared Object Cache Providerとして、memcachedが選択できるようになっています。 この仕組みを利用して、Apacheとmemcachedを並べることで、各サーバでユーザのSSL Session Cacheを共有しながらHTTPSリクエストを負荷分散できる構成を作ってみました。 WebサーバでSSLオフロード 常時SSLを利用したWebサイトを運用するために、SSLアクセラレータといったアプライアンス製品だとか、ソフトウェアだとApacheやNginxのSSLモジュールを使う
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - apache/superset: Apache Superset is a Data Visualization and Data Exploration Platform
Apache Flink® — Stateful Computations over Data Streams
Samza
Apache NiFi
