2015-03-21 #TokyoWebmining 44th の発表資料です。
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
LibreOffice/Apache OpenOffice ～2011年の総括と新たな選択～ | gihyo.jp
激動の2011年 OpenOffice.orgにとって2011年は、激動の年でした。 これは昨年寄稿させていただいたOpenOffice.orgについての新春特別企画記事と同じ書き出しですが、実のところ一昨年よりも昨年のほうがずっと激動の一年だったと言えます。 なお、昨年の記事を踏まえて、今年のこの記事を読んでいただけるとより理解が深まるはずです。少しばかり振り返っておくと、Oracleは2010年10月13日（OpenOffice.org 10周年の日）に「Oracle Demonstrates Continued Support for OpenOffice.org」（参考訳: OracleはOpenOffice.orgのサポート継続を明示します）というプレスリリースを発表しています。これを読んだ筆者はOracleが少なくとも2011年内にOpenOffice.orgを手放すようなこ
「Apache HBase」がバージョン1.0に到達、開発開始から7年で
GoogleのBigTableを参考にオープンソースで開発されたHBaseは、HadoopのファイルシステムであるHDFS上に構築されたキーバリューストア型のデータベース。高いスケーラビリティや柔軟なテーブル構造、自動シャーディングやフェイルオーバー機能などを特長とします。 そのHBaseがバージョン1.0に到達したことが、The Apache Software Foundation Blogにポストされた記事「The Apache Software Foundation Announces Apache™ HBase™ v1.0」で発表されました。 The Apache Software Foundation Announces Apache™ HBase™ v1.0 : The Apache Software Foundation Blog 1.0で行われた改善点や新機能として以下が上
Zabbixで作るサーバー監視環境（Zabbix 2.4対応版） | さくらのナレッジ
これらディレクトリで公開されているzabbix-releaseパッケージをダウンロードし、dpkgコマンドでインストールすることでZabbixのaptリポジトリが利用可能となる。 Zabbixサーバーのインストール Zabbixを利用するには、Zabbixサーバーと呼ばれるソフトウェアが必要だ。Zabbixサーバーは指定されたサーバーの監視を行うソフトウェアで、監視対象から取得したデータをデータベースに保存する。また、Webブラウザ経由で利用できるWebフロントエンドも提供される。管理者はこのフロントエンド経由で各種データを確認したり、Zabbixの設定を行える。まずはこのZabbixサーバーの構築方法について紹介しよう。 なお、今回はCentOS 7上でZabbixサーバーを稼働させる例を紹介する。Zabbixサーバーを利用するには別途データベースやWebサーバーが必要となるが、今回はC
ApacheのAddHandlerはセキュリティ上の懸念から使用すべきではない - このブログはURLが変更になりました
元ネタはこちら。 Apache AddHandler madness all over the place Gentoo Bug 538822 どういうことか 次のような指定は危険である。 AddHandler php5-script .php この時に指定される.phpはファイル名の末尾である必要はない。例えば、 aaa.php.html bbb.php.pngなどもphp5-scriptとして解釈されてしまうのだ。これは.XXX.YYYと複数の拡張子が書かれた場合、.XXXと.YYYもAddHandlerの対象となることが原因。 ちなみに次のような場合にはphp5-scriptとして解釈されない。 ccc.php_foo (.php_fooとして解釈されるため) ddd.php_bar.html (.php_barと.htmlとして解釈されるため)実はこのことはApacheのドキュメン
ブログやサイトのパフォーマンス改善やセキュリティ向上のためによく使う.htaccessの設定のまとめ
ブログやWebサイトのパフォーマンスの改善やSEO、セキュリティの向上に役立つ.htaccessの設定を紹介します。 ドメインをwww有り・無しに統一、新ドメインに引っ越した時のリダイレクト、URLをクリーンなものにしたり、共有サーバーでのPHPのバージョンを指定したりなど、すぐに利用できるものばかりです。 .htaccess Snippets -GitHub 元記事には有用な.htaccessのスニペットがPublic Domainでまとめられおり、それら全部に加えて.htaccessファイルの作成と使い方を加えました。 .htaccessファイルの作成と使い方 リライトとリダイレクトの設定 セキュリティの設定 パフォーマンスの設定 その他のいろいろ有用な設定 .htaccessファイルの作成と使い方 「.htaccess」ファイルを作成することは非常に簡単です。 テキストベースのアプリ
第2回 知っておきたいスケールアウトの基礎知識 その1 | gihyo.jp
サービスを初めてから高負荷になるまで さて、今回からは具体的に、個人でサービスを初めてからシステムを増強していくまでの課程を説明していきたいと思います。 まずサービスを始める際は、手っ取り早さやコストの問題などから、複数のユーザと共有のレンタルサーバから始めるケースが多いですが、ある程度の人気が出てくるとアクセスに耐えきれなくなり専用サーバを借りるというパターンになると思います。 ここまではわかりやすくシステムを増強することができるのですが、専用サーバで耐えきれなくなってきた際はそれ以降はどのようにすればよいのでしょうか？ その負荷はホンモノか？ まず、サーバの負荷が高いといっても現象はさまざまです。負荷が高いといった現象は具体的に発見されるのは、「ユーザから見たレスポンス」から発見されることが多いはずです。 ここで単純に「サーバを増強しなければ！」と判断はせずに、何が原因でパフォーマン
.htaccessの有用な設定を集めたコレクション「.htaccess Snippets」 | ソフトアンテナ
Apacheの設定をディレクトリ単位で制御するためのファイル「.htaccess」。管理者だけではなく一般ユーザーにとってもお馴染みのファイルですが、急に設定を変更しようとしても、書き方を忘れてしまってすぐには出来ないという方も多いかもしれません。 「.htaccess Snippets」はそのようなときに参照したい便利な設定集です。有用な.htaccessの設定が、やりたいこと別に簡潔にまとめられています。覚えておけばいざというときに役に立つこと間違いないと思われます。 見慣れた設定も確認できる .htaccess Snippetsの内容は、リライト / リダイレクト、セキュリティ、パフォーマンス、その他に大別されていて、例えばセキュリティカテゴリの中では、アクセス制御の書き方などが説明されています。 全て禁止で一部許可する場合。 Order deny, allow Deny from
Linuxに存在する脆弱性「GHOST」、システム管理者は落ち着いて対処を |
Linux GNU Cライブラリ（glibc）に存在する脆弱性がセキュリティ企業「Qualys」によって確認されました。この脆弱性「CVE-2015-0235」が利用されると、Linuxのオペレーティングシステム（OS）を搭載する PC上で任意のコードを実行することが可能になり、結果的にサーバーの乗っ取りや不正プログラム感染させることができます。「Heartbleed」や「Shellshock」、「POODLE」と同様に、この脆弱性は「GHOST」と名付けられました。その後の調査により、この脆弱性は深刻であるものの、攻撃に利用するのが難しく、攻撃の可能性は極めて低いことが判明しました。 「GHOST」は、glibc の関数「gethostbyname*()」を呼び出すことで引き起こされるバッファーオーバーフローの脆弱性です。この関数は、ドメイン名を IPアドレスに解決するためにさまざまなア
第20回 Javaアプリケーション向けの認証フレームワーク「Apache Shiro」 | gihyo.jp
使いやすい認証機構を実現する「Apache Shiro」 今回取り上げる「Apache Shiro」は、Javaアプリケーション向けに開発された認証と承認のためのオープンソースのフレームワークです。Shiroを使うことで、ログインなどの認証の仕組みや、アクセス管理、セッション管理などといった機構を、容易にアプリケーションに付け加えることができるようになります。 JDKにはJAAS（Java Authentication and Authorization Service）という認証・承認サービスが用意されていますが、JAASで提供されるAPIはあまり使い勝手が良くなく、わかりにくいという意見が大多数を占めていました。ShiroはJAASよりも理解しやすく、簡単に利用できる認証・承認の仕組みを提供する目的で開発されました。Shiroを利用するメリットとしては次のようなものが挙げられています。
細かすぎて伝わらないSSL/TLS
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 「細かいと言うより長いよね」 はじめに こんにちは。ATS の脆弱性を発見した小柴さんや ATS に HTTP/2 の実装を行っている大久保さんと同じチームの一年目、匿名社員M さんからいじられている新人です。今回ありがたい事に、こういったすごい方々を含めモヒカン諸先輩方より「何か書かないの？」「いつ書くの？」という数々のプレッシャーお言葉をいただきました。 というわけで、SSL/TLS の Session 再開機能に関して書いていこうかと思います。 SSL/TLS は機密性、完全性そして真正性に対して安全な通信を行うための仕組みです。しかし、この仕組みは暗号技術を多用し特に接続において複雑なプロトコルを用い、Client, Se
Netflixが採用するCassandra／マルチテナントのコンテナ型DBとしてのSAP HANA
Netflixが採用するCassandra／マルチテナントのコンテナ型DBとしてのSAP HANA：Database Watch（2014年12月版）（1/2 ページ） ハードコアな負荷テストツールを公開したことでも知られる「Netflix」が採用するデータベースとは？ インメモリDB「SAP HANA」のマルチテナント対応についても紹介。 連載バックナンバー 最近分散データベース管理システム「Cassandra」が東京でミートアップイベントを行うなど活気づいてきています。どのような仕組みでしょうか。SAP HANAは最新版SP9が出ました。キーワードは「シンプル化」です。 全てのノードが等価、Cassandraは「爆速で拡大中」 NoSQLの一つであるCassandra。「前に聞いた気がするけど……」という方もいるかと思います。数年前に話題になり、近年は少し注目が下火になっていましたが、
kuromoji.js - Webブラウザ上で分かち書き！ MOONGIFT
テキストから意味を読み取るというのは非常に難しく、そのための専用ソフトウェアが存在するほどです。そしてテキスト解析手法の一つとして知られているのが分かち書きです。日本語であればChasenがよく知られています。 kuromoji.jsはそんな分かち書き処理をJavaScriptで行ってしまおうというソフトウェアになります。KuromojiというApache財団のオープンソース分かち書きエンジンをJavaScriptにポーティングしています。 kuromoji.jsの使い方 こちらはデモです。Webブラウザベースで動作しています。nodeでも使えます。 適当な文章をリアルタイムに分かち書きできます。 kuromoji.jsは辞書ファイルをAjaxで取得しています。そのためサイズは大きくなりますが、分かち書きの精度はとても高くなります。サーバサイドで辞書を用意したり分かち書きエンジンを用意する
第19回 Javaプログラムから外部プロセスを起動するための「Apache Commons Exec」 | gihyo.jp
Apache Commons Execとは Javaプログラムから外部プロセスを実行する一般的な方法としては、標準ライブラリに用意されているjava.lang.ProcessBuilderクラスや、java.lang.Runtime.exec()メソッドがあります。しかしこれらのクラス／メソッドによるサポートは限定的であり、あまり使い勝手が良くないことでも知られています。「Apache Commons Exec」（以下、Commons Exec）は、そのような標準的な方法に変わる外部プロセスの起動手段を提供してくれるオープンソースのライブラリです。特にプロセスに対する適切な入出力処理が、比較的簡単に記述できるようになっている点が大きなメリットです。 Commons Execはこのページよりダウンロードできます。本稿執筆時点での最新版はバージョン1.1です。ダウンロードしたファイルを解凍
nginx の worker_connections は worker 当たりの同時接続数だと思ってたけどどうも違うっぽい - noob
※2014-12-18 追記※ はてブとかtwitterがついててちょっとビックリしてます． そしてtwitterで貴重なご意見をいただきました． 1024以下でもう少し増やすとどうなるかなぁ。workerに偏りがあってエラー出てるのかも。例えば8*768とか。 / “nginx の worker_connections は worker 当たりの同時接続数だと思ってたけどど…” http://t.co/5aLNa0VeOy— MATSUMOTO, Ryosuke (@matsumotory) 2014, 12月 16 なるほどー． ということでworker_processes 8, worker_connections 768でざっくりですが早速試してみました． 結果，worker_connections are not enoughエラーは見られなくなったように思います． # というの
Nginxを改造して欲しかった画像サーバーを作った | nonomura.jp
スマートフォンサイトに向けての最適化だったり、 Webページのレイアウトの変更だったりで、 同じ画像でも様々なサイズを利用することがある。 サイトの運用を続けていると、 同じ画像でも数通りのファイルを保存していて、 ファイル数が大量になってIOがキツくなってきた。 数多くなるとIO辛いから、 ファイル増やさないように気をつけてね、 と社内で言い続けていたら… Webサイトでは、本来小さい画像で良いところに 大きい画像を使用して、 JavaScriptでリサイズする処理が多用されはじめ、 今度は転送量が増加しはじめて、 これ以上増えるとデータセンターの月額費用が 増加してしまいそうに…。 なんとかせねば！と対応をはじめるわけです。 そこでまず最初にやったのが、 本当は速いImageMagick と同じように、Apacheモジュールを自作して、 ImageMagic
Webサーバのチューニング
1. WEBサーバのチューニング CONTENTS ⇒ Apache ⇒ その他 ※普段のデフォルトからの変更内容とその他。 もっとこうしたほうがいいという ご意見ありましたらぜひ伺いたいです！ @smallpalace 2. 自己紹介 ID：Twitter smallpalace お仕事： 課金系ASPや各種携帯サービス運営等をしている会社 でサーバインフラ系の仕事をしています。+主婦。 興味のあること： 楽して高速化、効率よく設定運用し寝る時間を確保 比較的好きなこと： MySQL、シェルスクリプト 好きな食べ物： 早朝メンテ明けに一人で築地に行く程度に魚が好きです。 4. サーバの情報を隠ぺいする 44,45c44 < ServerTokens Prod < TraceEnable off ・ ProductOnly。気休めのセキュリティ対策。バージョン --- 等を隠す。
Apacheチューニング
2. チューニング • KeepAliveの設定 • コンテンツの圧縮転送 • 不要モジュールの削除 • シンボリックリンク先の参照許可 • TimeOutの設定 • DNS問い合わせの無効 • .htaccessの無効化 • Prefork MPMのチューニング • Worker MPMのチューニング 3. KeepAliveの設定 ディレクティブ 値 説明 KeepAlive On 同一クライアントに対し コネクションを使い回す MaxKeepAliveRequests 1ページあたりの平均 的なコンテンツ数 + α 1つのKeepAliveで受け付け るリクエスト数 KeepAliveTimeout 1ページ当たりの平均 的な転送時間＋α クライアントからのリクエ ストがなくてもKeepAliveを 維持する秒数 5. 不要モジュールの削除 デフォルトでは多くの拡張モジュー ルが組み
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - phanan/htaccess: ✂A collection of useful .htaccess snippets.
kazmax - Linuxで自宅サーバー