メッセージングPF「Apache Pulsar」の使い方（入門編）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部クラウドプラットフォーム本部の水嶋と申します。私は現在、社内向けにキューイング・Pub-Sub・ストリーミングなどのメッセージングプラットフォームを提供するチームに所属しています。 このチームでは、メッセージングプラットフォームとしてOSS Apache Pulsar（以降、Pulsar）を利用しています。チームは数年間Pulsarを開発・運用しており、この経験からノウハウが蓄積されています。これらを公開し、皆さんにぜひPulsarについて興味を持っていただければと考えています。そこで、Pulsarの使い方、運用方法、ヤフーでの事例などをシリーズ記事として投稿していくことにいたしました。本稿に限らず、今
Apache Hive を使ったテーブルのサンプリング - CUBE SUGAR CONTAINER
Apache Hive では、大規模なデータセットに対してクエリを実行すると完了までに長い時間がかかる。 そこで、全体から一部を抽出した標本に対してクエリを実行する場合がある。 今回は、その標本を抽出する方法 (サンプリング) について扱う。 使った環境は次の通り。 $ cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) $ uname -r 3.10.0-693.5.2.el7.x86_64 $ hadoop version Hadoop 2.8.3 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b3fe56402d908019d99af1f1f4fc65cb1d1436a2 Compiled by jdu on 2017-12-05T
Mac OS X で Apache Spark を触ってみる - CUBE SUGAR CONTAINER
最近 Apache Spark について耳にすることが多い。 Apache Spark は、ビッグデータ処理における並列分散処理基盤を提供する OSS の一つ。 似たような用途としては Apache Hadoop も有名だけど、それよりも最大で 100 倍ほど高速に動作するんだとか。 高速に動作する理由としては、各ノードのメモリに乗り切るサイズのデータならディスクを介さずに扱える点が大きいらしい。 今回は、そんな Apache Spark を Mac OS X で軽く触ってみることにする。 本来であれば、用途的には複数のノードを用意して並列分散処理をさせるところだけど使うのは一つのノードだけ。 また Apache Spark を操作するには Java, Scala, Python のインターフェースがある。 その中でも、今回は Python のインターフェース (PySpark) を使って
Mac OS X で Apache Kafka を触ってみる - CUBE SUGAR CONTAINER
Apache Kafka は OSS の分散型メッセージングミドルウェア。 似た性質を持ったソフトウェアとしては ActiveMQ や RabbitMQ などが挙げられる。 ただし、ActiveMQ や RabbitMQ との大きな違いは、独自のバイナリプロトコルを用いてメッセージをやり取りするところ。 ActiveMQ や RabbitMQ は標準化された AMQP や MQTT を扱う場合が多い。 独自プロトコルというと、なんだか未来が無さそうなイメージがあるけど、その逆で Kafka はビッグデータ処理の場面ではほぼデファクトの位置にあるようだ。 今回は、そんな Kafka を手元の Mac でさくっと試してみることにする。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.4 BuildVersion
Apache Sparkによるスケーラブル機械学習入門
IBM Bluemixは、PaaS（Platform as a Service）として皆さんに最強の開発環境を提供します。Bluemixの特徴として、開発基盤だけではなく、100を超えるサービス「IBM Watson、ランタイム、IoT、Storage（DB）、アナリティクス、モバイル」など、豊富な開発環境やAPIがシンプルな形で提供されており、より素早くアプリケーションを構築＆運用することが可能です。「IBM Bluemix User Group（BMXUG）リレー寄稿」では、コミュニティの皆さんが最近もっとも注目しているBluemixのサービスを、順番に紹介していきます。今回は「Apache Spark」と「機械学習」を取り上げます。 近年IoTへの関心が大きく高まっていますが、インターネットに接続された各種デバイスから集約される大量の情報を有効活用するには、集められた情報をいかに処理
Apacheセキュリティ設定 - Qiita
概要 Apache の設定について共通化できるセキュリティ設定とその各項目についてまとめた。 設定例 必須設定 cat << _EOF_ > /etc/httpd/conf.d/security.conf # バージョン情報の隠蔽 ServerTokens ProductOnly Header always unset "X-Powered-By" # httpoxy 対策 RequestHeader unset Proxy # クリックジャッキング対策 Header always set X-Frame-Options "SAMEORIGIN" # XSS対策 Header always set X-XSS-Protection "1; mode=block" Header always set X-Content-Type-Options "nosniff" # XST対策 Trace
Apache 2.4 設定ファイルの記述例 - Qiita
導入 CentOS 7の公式Yumリポジトリから提供されているApacheで動作を確認しています。それ以外のOSでは、設定ファイルが置かれている場所 (英語) やドキュメントルートの初期値が異なる場合があるのでご注意ください。 Apache設定ファイル (*.conf) のシンタックスハイライト CentOS標準のYumリポジトリで提供されているテキストエディタのうちVim・Emacs以外のエディタは、初期状態で.confファイルのシンタックスハイライトが機能しません。以下のように設定ファイルの編集などを行い、シンタックスハイライトを有効にします。 gedit Bug 612368 – Language definition for Apache configuration filesで公開されているファイルを利用します。 # Apache設定ファイル用の言語設定ファイルをダウンロード w
あなたのApache設定ファイルを劇的に読みやすく改善する12の方法 · DQNEO日記
はじめに Apacheの設定ファイル、ちゃんと書けますか？一つ一つ意味を理解していますか？ http.confを開いた瞬間に「うっ頭が頭痛」になったことはないでしょうか？ yumやaptでApacheをインストールして、設定ファイルをちょろっと編集しただけでお茶を濁したことはないでしょうか？ でもいつまでもその状態ではいけません。そろそろ本気で勉強して無駄のない設定ファイルを書くときが来たのです。 2015年のWebサーバ界におけるApacheの立ち位置についておさらい 2015年現在、静的コンテンツの配信やリバースプロキシの役割はその用途に特化したWebサーバを使うのが主流になっています。具体的にはNginxがデファクトスタンダートになっています。 Apacheにもイベント駆動型で動くmpm eventというモジュールがあり、これを使えば高速に多数の接続をさばくことができます。 人間とウ
.htaccess の書き方
.htaccess とは.htaccess のルールファイル名コメントアウト文字コードと改行httpd.conf転送と有効範囲正規表現Apache のモジュールと .htaccess で利用可能なディレクティブモジュールとディレクティブ一覧HTTP環境変数後方参照RewriteRuleの後方参照RewriteCondの後方参照まとめ.htaccess とは[1] Apache HTTP Server Webサーバソフトウェアが "Apache" である必要があります。 .htaccess とは、Webサーバの動作を制御するための設定ファイル [1] です。設定例としては、特定のファイルやディレクトリのアクセスを禁止したり、HTTP 404(Not Found：未検出)エラーページをカスタマイズすることもできます。.htaccess は設置しなくともWebサイトは問題なく動作しますが、セキュ
apacheとnginx – 忘れるために記す
主に、オープンソースカンファレンス2014 Tokyo/Spring Apacheコミッターが見た Apache vs nginx http://openstandia.jp/pdf/140228_osc_seminar_ssof8.pdf より webサーバ仕組み – ざっくりリクエストに対して、レスポンスを返却する apache – マルチプロセス、マルチスレッドアーキテクチャ-マルチプロセス、スレッドの場合、1つのプロセスまたはスレッドがこれを処理する。そのため、1アクセスを処理している間は他のアクセスを処理できず、同時接続数分だけプロセスまたはスレッドが必要となる マルチプロセス、マルチスレッドの違いマルチプロセスはメモリ空間を個別に持つが、マルチスレッドはメモリ空間を共有する メモリの使用効率が高く、プロセス切り替え時にメモリ空間の切り替えが発生しないためコストが低くなる マルチ
Apacheモジュールのアップデート時にrestartは必要か
Apacheのモジュールをアップデートしたときに通常は再起動を行っていますが、そもそも再起動が必要なのか、gracefulだけで大丈夫だったりしないかということを調べてみました。 Apacheのモジュールロードのタイミング モジュールをロードするコードはこのあたりだろうか。 https://github.com/apache/httpd/blob/2.4.10/modules/core/mod_so.c https://github.com/apache/httpd/blob/2.4.10/modules/core/mod_so.c Apache からは APR の apr_dso_load() を使っているみたいなので、APRの方を覗いてみる。 https://github.com/apache/apr/blob/1.5.1/dso/unix/dso.c 複数のOSをサポートするために
Apacheのチューニングメモ - Qiita
個人的Apacheチューニングのメモ。 間違いがあったら教えて下さい！ prefork 前提 Apacheでは、リクエストはApacheの子サーバプロセスが処理する。 子サーバプロセスは動的にforkで生成されたり、殺されたりする。 が、forkはとても重い処理なので、forkが発生しないように設定するのがよい。 チューニング方針 負荷が高かろうが低かろうが常に一定数のプロセスが動いている状態にする。 preforkの動作 MaxClientsは絶対値。 子プロセス数はこの値を超えない。 （以下正確ではないですが簡単に） Apacheは負荷が高くなってきたら 子プロセスを生成していく アイドル状態の子プロセスはMinSpareServers以上になるよう維持 MaxClients以上の子プロセスは生成しない MinSpareServersよりMaxClientsが強い 負荷が低くなってきた
たった6個のsedを通せば、Apacheログは驚くほど扱いやすくなる - Qiita
Q. awk '{print $9}'とかでUser-Agent丸ごと取り出したい とか思ったことない? Apacheのログ解析で。でもできないじゃない。例えば 192.168.0.1 - - [17/Apr/2014:11:22:33 +0900] "GET /index.html HTTP/1.1" 200 43206 "https://www.google.co.jp/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36"
Apache Benchを使った負荷テストのやり方 | Web活メモ帳
2016/07/11 追記しています 皆さん負荷テストツールって普段使ってますか？ WEBシステムを開発する際には、1人〜十数人で開発をすると思いますが、 受諾案件では要件を満たす開発ばかりしていて速度やパフォーマンスのチューニングを行う事が少ないと思います。 いざ運用が始まって、サーバーが落ちた・・とならないように負荷テストを事前にやっておきましょう。 Apache Benchでのサーバーパフォーマンスのチェック方法をメモしておきますので、どなたかの役に立てれば幸いです。 負荷テストとは 負荷テストって何ですか？という方のために簡単に説明をすると 低い負荷ではシステム上問題が無くても、高負荷での動作だと不具合を起こす現象を回避するためのテストです。 アクセスが集中して落ちてるサイトがありますよね。。 想定されるアクセスがあっても落ちないサイトにするための負荷テストです。 Webサーバーの
ApacheとIISのシェア逆転!? nginxは? Webサーバの世界で今何が起きているのか (1/3)
1995年のWeb黎明期に誕生したWebサーバの「Apache」は、当時の主要WebサーバだったNCSAを瞬く間に抜き去り、翌年には業界最大手のシェアを持つWebサーバソフトウェアとなった。20年近い年月を経てなおトップの座に居続けるApacheだが、この状況に最近になり変化が訪れつつある。 Netcraftが今年6月6日に発表した「June 2014 Web Server Survey」によれば、世界のWebサイト全体に対する最新調査において、MicrosoftのIIS（Microsoft Internet Information Services）で稼働するWebサイトの数がApacheに肉迫し、ほぼ拮抗状態となっている。 Apacheのシェアはここ数年減少の一途をたどっており、その減少分をMicrosoftが獲得し続けている形だ。直近の5月と6月のサイト数比較でも、Apacheのサイ
nginxにリバースプロキシ設定してapacheと連携させる | DevelopersIO
はじめに railsとwebサーバを連携する場合はapache × passengerまたはnginx × unicornのどちらかを使用することが多いかと思います。 昔はwebサーバといえばapacheでしたが、最近はかなりnginxが使われてきています。 apacheとnginxのを比較したときに、静的ファイルはnginxが動的ファイルはapacheが早いと言われています。 そこで今回はnginxにリバースプロキシの設定をし、apacheと連携してみました。つまりhtmlや画像などの静的ファイルはnginxで処理し、railsの処理はapache経由で処理させることをやってみました。 開発環境 今回はmacのvirtual boxにubuntuをインストールし環境を構築しました。 ubuntu 12.04 32bit apache 2.2 nginx 1.6 ruby 2.00 rai
目指せ脱オフィス！ Apache HTTPDで社内フォワードプロキシを立ててみた | DevelopersIO
はじめに こんにちは植木和樹です。本日は社内フォワードプロキシサーバー構築手順の備忘録になります。 お客様と案件のやりとりをする際にクラスメソッドではredmineやBacklogなどチケット管理システムを使うことが多いです。redmineを使う際には弊社グローバルIPからしか繋がらないようIP制限をかけています。redmine以外にも開発中・検証中のサーバー環境にはIP制限をかけてクローリングや第三者からの閲覧を防ぐことも多いです。 社内LANからこのredmineにコメントを書き込む際には問題ないのですが、出先や在宅勤務中はコメントが書き込めず困ってしまいます。そのためクラスメソッドにはVPN環境が用意され、社内LANに接続して作業ができるようになっています。 しかしVPN経由でIP制限のかかったサイトに繋ぐには下記のような手順をふむ必要があります。 Macbookに入っているVMwa
CentOS6.4+PHP5.5+Apache環境を一撃で構築するVagrantfileを公開します · DQNEO日記
https://github.com/DQNEO/vagrant-php55-apache やっていることは、下記記事の手順をVagrantfile化しただけです。 (PHP5.5はremiレポジトリからインストール) 3分でCentOS6にPHP5.5とApacheをインストールする方法 上記Vagrantfileを使う利点は、 コンパイルが一切走らないのでインストールがすぐ終わる Chefを使ってないので仕組みが単純。(カスタマイズも簡単。setup.shをいじるだけです。) PHPを自前ビルドしたい/php-fpmを使いたい人は phpenv + php-build + nginx + php-fpmで動かしたい人は下記のVagrantfileを使うとよいでしょう。 phpenv + php-build 環境を Vagrant で構築する - Shin x blog
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apacheチューニング
10分で基礎をマスターするApache Camel - Qiita
