Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム
大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています。 バージョン1.0では、Stream APIの強化、Jav
Apache HTTP Serverのバージョンを当てる方法 | MBSD Blog
2017.09.04 プロフェッショナルサービス事業部 米山 俊嗣 セキュリティ診断(Webアプリケーション診断やネットワーク診断)の結果、バナーに表示されたバージョンを隠しましょう、TRACEメソッドを無効にしましょうなどの報告をすることがあります。これらの設定は、サーバを構築する上での”お作法”ではあると考えていますが、この”お作法”を行ったから大丈夫というわけではありません。 今回はこのような設定を行っても、バージョンは特定できるものなので、やはり、パッチはしっかりと当てましょうというお話になります。 さて、Apache httpd 2.2.XはEOLが2017年12月と発表されており、2.2.34が最終バージョンになる可能性が高く、このタイミングで、リプレースやバージョンアップを考えている方もいらっしゃると思います。既に運用中のシステムで何か変えることは色々と難しいと思いますが、リ
Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita
データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，それでもできるだけ簡単にモニターリングしたいです． Airflow と Slack を組み合わせることで，データのクリティを日々モニタリングすることができます．データエンジニアリングにユニットテスト的な概念を持ち込めないかと模索してきましたが，Airflow + Slack は個人的には一つの理想形と言えます． Apache Airflow とは？ Apache Airflow は，プログラムでジ
お知らせ&イベント | Apache Struts2の脆弱性を悪用した不正アクセスについて | NICT-情報通信研究機構
NICTユニバーサルコミュニケーション研究所では、Apache Struts2の脆弱性の公表を踏まえて、3月13日（月）以降、NICTが作成した音声対話研究用のソフトウェア開発キット（MCML音声インタラクションSDK）を外部の研究者等に提供する公開サーバの運用を停止しています。 その後の内部調査により、当該サーバは外部から非常に早い段階に不正にアクセスを受けており、サーバの中に、利用者のID、メールアドレス、暗号化されたパスワードの情報が含まれていることが、5月1日（月）付けで判明しました。
GMO社が被害を受けたStruts 2（CVE-2017-5638）問題で我々は何を学ぶべきか？ - Qiita
GMOペイメントゲートウェイ社（以下GMOPG）という、クレジット決済代行を取り扱う、 国内最大手の会社がクレジットカード番号を流出させたとして、 3/10以降大きく報道されました。 この事故から、我々エンジニアが学ぶべき事は何でしょうか？ 発生した事象について CVE-2017-5638とはなにか ファイルアップロードにおけるマルチーパートヘッダーの解釈部分に脆弱性があり、 リモートコード実行（RCE）が可能な状態であったらしい 本投稿の趣旨から外れるので、詳しくは調べていません。 経緯・経過 3/6 脆弱性情報が公開されたらしい (Cf. Apache Struts 2における脆弱性 (S2-045、CVE-2017-5638)の被害拡大について ) 3/8 IPAが情報を掲載 (Cf. Apache Struts2 の脆弱性対策について(CVE-2017-5638)(S2-045)
Apache Struts2の脆弱性（CVE-2017-5638）を検証してみた - とある診断員の備忘録
Blogでもやろうかなと思いつつ、やるやる詐欺になっていたし、たまたま朝早く目が覚めたので思い切って始めることにしました。このBlogでは私が趣味でチョコチョコやっている脆弱性やスキャナの検証などについて書いていこうと思います。 さて、話題となっている以下Struts2の脆弱性を昨日検証しました。 S2-045 - Apache Struts 2 Documentation - Apache Software Foundation 上記に記載がありますが、リモートから任意のコマンドが実行可能な脆弱性であり、影響範囲は Struts 2.3.5 - 2.3.31及び2.5 - 2.5.10だそうです。 また、既に複数サイトにてPoCが公開されているようです。 Strutsの脆弱性については定期的にみつかっているので、以前に試した検証用の環境などをすでにお持ちの方も多いと思われますが、dock
AWS Lambda + AWS WAF でDOS攻撃からの ✝守護者✝ を実装する | DevelopersIO
はじめに DOS攻撃からいかにシステムを守るか。オートスケールの仕組みが充実し、大量のアクセスでも耐えられるようになってきている昨今ですが、悪意ある急激なアクセス増加は誰も望まないはずです。防御する仕組みが欲しいところではありますが、開発の時間が限られている中で、防護機構の自動化まで持っていくのは骨が折れます。そこで今回は、AWSを使ったシステムを構築するシーンで、DOS攻撃から自動でWAFを設定する仕組みを作ります。重視した点は以下2点です。 安価であること。可能な限り新しいAWSリソースを使わない、使うとしても高価なものは避ける。 ポータビリティが高いこと。別の環境に同様の手順で導入できること。 DOS攻撃防御の仕組み比較 Apache の mod_dosdetector アプリケーションサーバ群の前段にApacheサーバを置き、そこにmod_dosdetectorを導入することを考え
Apacheセキュリティ設定 - Qiita
概要 Apache の設定について共通化できるセキュリティ設定とその各項目についてまとめた。 設定例 必須設定 cat << _EOF_ > /etc/httpd/conf.d/security.conf # バージョン情報の隠蔽 ServerTokens Prod Header unset "X-Powered-By" # httpoxy 対策 RequestHeader unset Proxy # クリックジャッキング対策 Header append X-Frame-Options SAMEORIGIN # XSS対策 Header set X-XSS-Protection "1; mode=block" Header set X-Content-Type-Options nosniff # XST対策 TraceEnable Off <Directory /var/www/html>
WordPressの侵入対策は脆弱性管理とパスワード管理を中心に考えよう
この記事はWordPress Advent Calendar 2015の7日目の記事です。 今年初めてWordCamp Tokyoにて講演の機会をいただき、WordPressのセキュリティについて話しました（スライド）。そこでもお話ししましたが、WordPressに限らず、Webサイトへの侵入経路は2種類しかありません。それは以下の2つです。 ソフトウェアの脆弱性を悪用される 認証を突破される したがって、侵入対策としては以下が重要になります。 全てのソフトウェア（OS、Apache等、PHP、WordPress本体、プラグイン、テーマ等）を最新の状態に保つ パスワードを強固なものにする 以上! と叫びたい気分ですが、それではシンプル過ぎると思いますので、以下、WordCampでお話した内容とリンクしながら、もう少し細く説明したいと思います。 全てのソフトウェアを最新の状態に保つ Word
Apache Traffic Server の設定やちょっとした制御ロジックを mruby で書けるようになるかもしれないプラグイン書いてる - ブログ・ア・ラ・クレーム
mod_mruby や ngx_mruby 、 h2o_mruby 、 libvmod_mruby など、さまざまな HTTP サーバの設定などを mruby スクリプトで書ける世の中になりつつありますね。 そんな風潮の後押しもあり、近頃、題意の通り mruby で ATS(Apache Traffic Server) の設定やヘッダの加工などのロジックを mruby で記述可能にするプラグイン、 ts_mruby をちまちまと開発しています。 ts_mruby によって例えば下記のようなロジックが mruby で書けるようになります。 リクエストヘッダを付与したり削除する if server_name == "NGINX" Server = Nginx elsif server_name == "Apache" Server = Apache elsif server_name == "
ApacheやNginxのSSL関連のおすすめ設定を生成する便利サイト - cakephperの日記(CakePHP, Laravel, PHP)
ApacheやNginxとopensslのバージョンを指定するとおすすめの暗号スイートなど、SSL設定ファイルを表示してくれるMozillaのサイトがあります。 https://mozilla.github.io/server-side-tls/ssl-config-generator/ これを使えば安全な暗号スイートのみを使ってる設定などが簡単に生成されますので、この通りに指定すれば良いです。 Apacheの場合はデフォルトでは暗号スイート設定の記述はなかったと思いますが、下記の3つは表示通りに指定しておくのが良いかと思います。 SSLProtocol SSLCipherSuite SSLHonorCipherOrder Oldを選択すると、古いブラウザにも対応してる暗号スイートを含めます。ただ暗号強度が弱いものが含まれるためサイトのアクセス傾向をみて古いブラウザのアクセスが無いのであれ
Apache 2.4 設定ファイルの記述例 - Qiita
導入 CentOS 7の公式Yumリポジトリから提供されているApacheで動作を確認しています。それ以外のOSでは、設定ファイルが置かれている場所 (英語) やドキュメントルートの初期値が異なる場合があるのでご注意ください。 Apache設定ファイル (*.conf) のシンタックスハイライト CentOS標準のYumリポジトリで提供されているテキストエディタのうちVim・Emacs以外のエディタは、初期状態で.confファイルのシンタックスハイライトが機能しません。以下のように設定ファイルの編集などを行い、シンタックスハイライトを有効にします。 gedit Bug 612368 – Language definition for Apache configuration filesで公開されているファイルを利用します。 # Apache設定ファイル用の言語設定ファイルをダウンロード w
.htaccess の書き方
.htaccess とは.htaccess のルールファイル名コメントアウト文字コードと改行httpd.conf転送と有効範囲正規表現Apache のモジュールと .htaccess で利用可能なディレクティブモジュールとディレクティブ一覧HTTP環境変数後方参照RewriteRuleの後方参照RewriteCondの後方参照まとめ.htaccess とは[1] Apache HTTP Server Webサーバソフトウェアが "Apache" である必要があります。 .htaccess とは、Webサーバの動作を制御するための設定ファイル [1] です。設定例としては、特定のファイルやディレクトリのアクセスを禁止したり、HTTP 404(Not Found：未検出)エラーページをカスタマイズすることもできます。.htaccess は設置しなくともWebサイトは問題なく動作しますが、セキュ
実践Cloud DIパターン – 環境ごとにApache設定ファイルを読み分ける | DevelopersIO
はじめに Cloud DIパターンというCloud Design Pattern(CDP)があります。 CDP:Cloud DIパターン - AWS-CloudDesignPattern AWSではAMIで好きなサーバをいくらでも増やすことが可能です。ですが、例えば開発環境のサーバでAMIを取得し、それを本番環境用のサーバとして起動したとします。果たしてそのサーバは正常に機能するでしょうか。恐らく多くのパターンでは本番サーバとして振る舞うことができないのではないかと思います。理由は単純で、サーバの設定が開発環境用になっているからですね。 せっかくAMIでサーバを複製できるので、開発環境と本番環境がひとつのマシンイメージから起動できたら非常に楽になると思います。それを実現するための一つのパターンがCloud DIです。EC2のタグに記載された情報を読み込み、それを利用してサーバの振る舞いを変
【初心者向け】ApacheBench入門 ｜ DevelopersIO
こんにちは、虎塚です。 今週クラスメソッド社内で性能テストツールのApacheBench をテーマにした勉強会を行うことになりました（勉強会というと固い感じですが、経験者から知見をいろいろ教えてもらおうという雑談会です）。 そこで、ApacheBenchをまったく使ったことがない方の予習用に、ごく基本的な情報をまとめておきましたので、公開します。 ApacheBenchのインストール方法 Apache HTTP Serverをインストールします。 sudo yum install httpd または、apr-utilパッケージをインストールすれば、httpdをインストールしなくてもApacheBenchを利用できます。 sudo yum install apr-util ApacheBenchの特徴 ApacheBenchは、Apache HTTP Serverに同梱されている性能テストツ
apacheとnginx – 忘れるために記す
主に、オープンソースカンファレンス2014 Tokyo/Spring Apacheコミッターが見た Apache vs nginx http://openstandia.jp/pdf/140228_osc_seminar_ssof8.pdf より webサーバ仕組み – ざっくりリクエストに対して、レスポンスを返却する apache – マルチプロセス、マルチスレッドアーキテクチャ-マルチプロセス、スレッドの場合、1つのプロセスまたはスレッドがこれを処理する。そのため、1アクセスを処理している間は他のアクセスを処理できず、同時接続数分だけプロセスまたはスレッドが必要となる マルチプロセス、マルチスレッドの違いマルチプロセスはメモリ空間を個別に持つが、マルチスレッドはメモリ空間を共有する メモリの使用効率が高く、プロセス切り替え時にメモリ空間の切り替えが発生しないためコストが低くなる マルチ
Apache HTTP Server: MPMパラメータ チートシート
こんにちは滝澤です。たまにはapacheネタということで一つ。 Apache HTTP ServerのパラメータチューニングではMaxClientsなどのMPM（マルチ プロセッシング モジュール）関連のディレクティブの設定値を調整することが多いです。本記事ではMPM関連のディレクティブのデフォルト値やディレクティブ間の関係を表にまとめたので紹介します。 注意事項 UNIX系OSにおける説明となります。バージョン2.2系および2.4系の両方について説明します。 関係式においてバージョン2.4系の場合はMaxClientsをMaxRequestWorkersに置き換えて読んでください。 ディレクティブ名には公式サイトのリンクを張っています。公式の説明も確認してください。 デフォルトの欄で括弧付きものはそのディレクティブそのものは設定不可ではあるが、内部的に設定されているデフォルト値を示してい
cp、mvの現在状況を確認出来る『cv』コマンド | 俺的備忘録 〜なんかいろいろ〜
いままで、パフォーマンスやネットワークのモニタリングコマンドについて扱ってきたが、今回はcpやmvプロセスのモニタリングコマンド『cv』について紹介する。 このコマンドは、OS上で実行されているcpやmvの実行状況（何%終了したか等）を確認することが出来る。 1.インストール 以下のコマンドを実行し、『cv』コマンドをインストールする。 git clone https://github.com/Xfennec/cv cd cv make sudo make install これでインストールできた。 2.コマンド実行 インストールは出来たので、次は実際にコマンドを実行してみよう。 まずはヘルプの内容を出力。 $ cv --help cv - Coreutils Viewer --------------------- Shows running coreutils basic comman
Bootstrapベースの管理画面用テンプレート·Charisma MOONGIFT
CharismaはHTML5/JavaScript製のオープンソース・ソフトウェア（Apache Licnese 2.0）です。 Webシステム開発において意外と不遇なのが管理画面です。内部の人が使うものなので適当に作られるケースが多くなります。そこで使ってみたいのがCharismaです。リッチな管理画面をBoostrapをベースに作り上げる事ができます。 ウィジェットがついた、リッチな管理画面です。ここまで恵まれているケースは早々ないでしょう。 ドラッグ&ドロップによる配置変更もサポート。 折り畳んで隠す事もできます。 グリッドは細かくサポートされています。 カレンダー。システム内部のデータをマッピングすると見通しが良くなりそうです。 メンバー一覧。検索やラベルもあって便利そうです。 ギャラリー。サムネイル写真をきれいに並べています。 タイポグラフィ。様々なタグをサポートしているので奇麗
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバ構築・デプロイが簡単に！Elastic beanstalk
