Amazon EMR での Apache Spark | AWS
Amazon EMR は Apache Spark を実行するのに最適です。AWS マネジメントコンソール、AWS CLI、または Amazon EMR API 使用すると、Spark マネージドクラスターをすばやく簡単に作成できます。さらに、Amazon EMR ファイルシステム (EMRFS) を使用した Amazon S3 との高速接続、Amazon EC2 スポット市場および AWS Glue データカタログとの統合、Auto Scaling によるクラスターへのインスタンスの追加と削除など、Amazon EMR の他の機能も活用できます。AWS Lake Formation はきめ細かなアクセス制御を可能にし、AWS Step Functions との統合はデータパイプラインのオーケストレーションを支援します。 EMR Studio (現在プレビューで提供) は、R、Python
Apache Lucene 使い方メモ - Qiita
1.8.0_20 デモを動かす インストール ここ から zip または tar をダウンロードする。 以後、 F:\tmp\lucene の下に以下のように解凍したと仮定して説明を続ける。 F:\tmp\lucene `-lucene-4.9.0 |-CHANGES.txt |-JRE_VERSION_MIGRATION.txt |-LICENSE.txt |-MIGRATE.txt |-NOTICE.txt |-README.txt |-SYSTEM_REQUIREMENTS.txt |-analysis/ |-benchmark/ |-classification/ |-codecs/ ： （以下略）
Apache Hadoop - Wikipedia
Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。 HadoopはApacheのトップレベルプロジェクトの1つであり、世界規模の開発貢献者コミュニティによって開発され、使用されている。[2] Hadoopは、以下の4つのモジュールによって構成されている。 Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。 Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。 Hadoop YARN: Hado
mod_rewrite-3019
公開日：2014-03-27 更新日：2022-10-16 Mod_Rewriteとは・・・Webサーバーである「Apache（アパッチ）」上で利用することができる機能です。 機能内容を簡単にいえば、ユーザー（又は検索エンジン）からのリクエストにあるURL情報を、変更し「リダイレクト」する事ができます。 例えば、 「Aさん」というユーザーが、当サイト（https://viral-community.com）へアクセスするとします。 この時、「Aさん」は、当サイトのWebサーバー（Apache）に対して、 「https://viral-community.com のページヘ、アクセスしたいよ～」とリクエストを送ります。 もし、この時「Mod_Rewrite」が機能していれば、このリクエストのURL情報：https://viral-community.com を、別のURL「http://●●
秒間100万リクエストを支えるオープンソースのコードを書くヤフーのインフラチームに、はてなエンジニアが迫る - はてなニュース
国内有数のWebサービスを手がけるYahoo! JAPANは、その毎秒100万リクエストという膨大なトラフィックを支える大規模なインフラチームを抱えています。そのうち画像などを配信するプライベートCDNでは、オープンソースのATS（Apache Traffic Server）をキャッシュサーバーに採用し、本家OSSプロジェクトでの開発にも積極的に参加しています。OSSのコミッタを業務とするYahoo! JAPANのプラットフォーム開発エンジニアのお二人と、はてなからインフラチームとMackerelのエンジニアが参加し、インフラエンジニアの働き方について座談会形式でお聞きしました。 座談会出席者は、（上写真、左より）ヤフー株式会社の小柴薫居さんと北條正和さん、はてなの坪内佑樹（id:y_uuki）と松木雅幸（id:Songmu）。構成はITジャーナリストの星暁雄。記事の最後にプレゼントのお知
Recipe: Apache Logs + rsyslog (parsing) + Elasticsearch - Sematext
More than two years ago we posted a recipe on how to centralize syslog in Elasticsearch in order to search and analyze them with Kibana, all by using only rsyslog. This works well, because rsyslog is fast and light, as we shown in later posts and recent presentations. This recipe is about tailing Apache HTTPD logs with rsyslog, parsing them into structured JSON documents, and forwarding them to El
サービス終了のお知らせ
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
mod_rewriteでリダイレクト | 黒ぶちメガネのblog
mod_rewriteでリダイレクトさせるメモです。 例外のアドレス以外にアクセスした場合は、全て指定のアドレス（ここではgoogleを例にする）へリダイレクトする方法です。 ■以下のアドレスはリダイレクトさせない http://www.example.com/hogehoge/* ■上記以外は全てリダイレクト http://www.example.com/* ■リダイレクト記述方法 RewriteEngine on RewriteRule ^/hogehoge/(.*)$ - [L] RewriteRule ^/(.*).*$ http://www.google.co.jp/? [R,L] googleの最後に?がついているのは、クエリを取り外すためです。 リダイレクトで、ハマった・・・・。
さくらVPSを使って便利な開発環境を構築する - UNIX的なアレ
開発環境は難しい 最適な開発環境をつくるのっていつも難しいなーと思います。サーバ側に入って開発する人もいれば、クライアント側のIDEあげてる人もいるわけで人それぞれです。 その人に特化した開発環境をつくるだけであればそこまで難しい話ではありませんが、チームでの開発となるとそのあたりをうまく解消するのがだんだん難しくなってきます。また、新しくサブドメインが増えたりなど開発環境も常にアップデートし続ける必要があります。 このあたりを、サーバエンジニアが手動でやってると死にます。悪しきDev/Opsの対立関係がうまれてしまうので、なんとかしないといけない。 というわけで、オフィス移転をきっかけに開発環境を作りなおしてみました。以下の3点からさくらVPSを選びました。 コストを抑えたい 最近さくらVPSに東京リージョンができた ローカルネットワーク接続できるようになった 新規開発環境をつくる上での
Windowsに不勉強なクソマカーがWindowsマスターの皆様からお叱りを受けた話 - uzullaがブログ
Windowsマスターの皆様、申し訳ございませんでした！(挨拶) 一つ前のエントリ( http://uzulla.hateblo.jp/entry/2013/08/12/013207 )、まったく私の不勉強を世間に晒すエントリなのは当人も理解しておりましたが、世間の風は2013も下期にはいったというのにXPばかりつかってきた糞マカーには予想よりもつらいものでした！ アイッティー業界、ドッグイヤーなのに、XPとかでがんばってきた無精な人間は殺すべし、慈悲はない、インガオホー！ そして、こちらのほうが重要だと理解しておりますが、「とりあえずなんかうまくうごいてなかったらゲイツをなぐるべし」という糞マカーの内輪の感覚を世の中に気軽に発信したばかりに、ギガ盛り牛丼つくったり、冷凍庫の中にはいった写真をツイットするような目で見られる事態になってしまいました。 自分の想像力の欠如、そしてインターネッツ
Apache 2.4系でのモダンなアクセス制御の書き方
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 これまでのApache2.2系以前でのアクセス制御の書き方は賛否両論でした。僕はあまり好きじゃありませんでした。 過去のアクセス制御に関しては、以下の記事がとてもわかりやすくまとめられていると思います。 こせきの技術日記 – Apacheのアクセス制御をちゃんと理解する。 ここで、以下のように言及されています。 こんなバッドノウハウ、本当はどうでもいいと思う。Apache 3.0では、かっこいいDSL(VCL)で書けるようにする構想があるらしいのでがんばってほしい。 ということで、2.4系ではDSLとはいかないまでも、Require*というディレクティブを使ったモダンな書き方ができるようになったので、それを2.2系以前のアクセス制御の記述と比
Webサーバの性能を測る | IIJの技術 | インターネットイニシアティブ（IIJ）
UNIX系のOSで利用できるWebサーバの性能測定ツールといえば、Apache Benchやhttperfを思い浮かべる人が多いのではないでしょうか。これらの計測ツールは、残念ながら最近の高速なWebサーバを計測するには非力です。この記事では、高速なWebサーバにも負けないweighttpの使い方を紹介します。 weighttpとは何か weighttpは、Webサーバlighttpdの開発者が実装したWebサーバの性能測定ツールです。以下のような特徴を持ちます。 Webサーバのスループット（リクエスト毎秒）を測定できる ネイティブスレッドを複数起動し測定性能を向上できる libevを利用することで、モダンなポール・システムコールを利用する Apache Benchによく似たコマンドラインオプションを持つ 2.は Apache Benchやhttperfにはない機能です。ここが決定的に異な
高負荷サイトのボトルネックを見つけるには : DSAS開発者の部屋
はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営している某ソーシャル系のサイトなんですが、イベント開始時刻と同時にアクセス数が急増するのです。とはいえ、所詮は普段の2倍とか3倍程度の数なのだから、少なくとも1秒以内にレスポンスを返せるくらいの性能は維持したいものです。 しかし実際は困ったことに、応答に3秒以上もかかってしまう処理が大量に発生してしまう状況に陥ってしまっていました。これはきっと、どこかにボトルネックがあるに違いありません。 仮説を立
koie blog : いってきた： カーネル/VM探検隊@つくば
2012年09月24日14:09 カテゴリsw いってきた： カーネル/VM探検隊@つくば http://atnd.org/event/kernelvmTKB https://sites.google.com/site/kernelvm/ 2012-09-22 13:10〜19:00 筑波大学 3A402 地図: https://docs.google.com/document/pub?id=1Q5KpYa-E2GtFGt5ihSSofQfmTl5XABxItchisEQu_Uk タイムテーブル: https://docs.google.com/document/pub?id=1mtOohndwHiq00wbUQ6U_pUShZ-RFHOUtryHDwWB5Q3M ハッシュタグ: #kernelvm (not #kernelvmTKB) ライブ配信: http://live.streami
Webサーバのチューニング
4. サーバの情報を隠ぺいする 44,45c44 < ServerTokens Prod < TraceEnable off ・ ProductOnly。気休めのセキュリティ対策。バージョン --- 等を隠す。 クライアントのリクエストに応答するヘッダ内でApache > ServerTokens OS としか表示されなくなる。 ・ Traceメソッドを使えないようにするBasic認証のパス ワードトレース防止 532c524 < ServerSignature Off ・ エラーメッセージ出力時にフッタを表示しない。気休め。 --- > ServerSignature On 5. キープアライブ関連 69c68 < Timeout 60 --- > Timeout 120 ・1分待ったらタイムアウトとする。 75c74 ・1度の接続で複数リクエストのやり取りをする、キープ アライブを有効
MRTGによるサーバ監視システムの構築
※1：「トラフィック量」「ディスクI/O」は特に閾値の設定はしていません。 ※2：MRTGでは必ず2つのパラメータを利用するため、第1、第2パラメータともhttpdのプロセス数としています。 ※3：ディスクの負荷状況を測るためディスクI/O状況を取得しますが、このデータはSNMP経由では取れないため、ssh経由で情報を取得します。 監視エージェント側の設定 トラフィック量、CPUのロードアベレージ、メモリ使用状況などは標準の状態でデータ取得が可能ですが、httpdのプロセス数やディスクの使用状況などを取得するにはエージェント側でSNMPの設定が必要になります。ここでは監視されるエージェント側に必要な設定を説明します。 httpdのプロセス数をSNMP経由で渡す設定 Apacheなど多くのソフトウェアでは、処理を高速化するために複数のデーモンプロセスを起動し、クライアントからの要求を並列に処
Google、Webページ表示の高速化支援ツール「mod_pagespeed」を正式リリース
Google、Webページ表示の高速化支援ツール「mod_pagespeed」を正式リリース：読み込み時間を最大で半分に短縮 米Googleは10月10日、Webページの表示速度を自動的に高速化できるオープンソースのApacheモジュール「mod_pagespeed」が正式版になったと発表した。 米Googleは10月10日、Webページの表示速度を自動的に高速化できるオープンソースのApacheモジュール「mod_pagespeed」がβ版を脱し、正式版になったと発表した。 mod_pagespeedは、WebページやCSS、JavaScript、画像といったアセットのベストプラクティスを自動的に適用してくれるApache HTTPサーバ用ツール。カスタムフィルタを使ってHTMLを修正したり、JavaScriptとCSSファイルのサイズ縮小、画像ファイルの不要なメタデータ削除などを通じて
Apache 2.4.1 で気になった新機能などのメモ - （ひ）メモ
Overview of new features in Apache HTTP Server 2.4 - Apache HTTP Server Expressions http://httpd.apache.org/docs/2.4/en/expr.html やSetEnvIfExpr, RewriteCond, Headerで使える評価式 の追加 http://httpd.apache.org/docs/2.4/en/mod/core.html#if ヘッダや環境変数を参照して細かい制御ができるようになったことに加え、else的なブロックを書くのに苦労したことがあるんで朗報です ErrorLogFormat http://httpd.apache.org/docs/2.4/en/mod/core.html#errorlogformat ErrorLogも書式設定できるように。 %L (L
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
共用サーバにおけるSymlink Attacksによる攻撃とその対策について - さくらインターネット創業日記
TechCrunch | Startup and Technology News
