[B! Apache] oasis440のブックマーク

Apache Spark で分散処理入門 - Qiita

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモメモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscala、pythonの方がすっきりかけている気がじます。これからも随時編集していきます Apache Spark とは上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin

oasis440 2017/08/08

リンク

Apache Spark - partitionについて - - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

oasis440 2017/08/08

Apache
Spark

リンク

Apacheのチューニングメモ - Qiita

個人的Apacheチューニングのメモ。間違いがあったら教えて下さい！ prefork 前提 Apacheでは、リクエストはApacheの子サーバプロセスが処理する。子サーバプロセスは動的にforkで生成されたり、殺されたりする。が、forkはとても重い処理なので、forkが発生しないように設定するのがよい。チューニング方針負荷が高かろうが低かろうが常に一定数のプロセスが動いている状態にする。 preforkの動作 MaxClientsは絶対値。子プロセス数はこの値を超えない。（以下正確ではないですが簡単に） Apacheは負荷が高くなってきたら子プロセスを生成していくアイドル状態の子プロセスはMinSpareServers以上になるよう維持 MaxClients以上の子プロセスは生成しない MinSpareServersよりMaxClientsが強い負荷が低くなってきた

oasis440 2017/06/30

リンク

Apache Benchでサクッと性能テスト - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今日はWEBサーバの性能測定についてです!! WEBサーバを構築していると、どこまでの負荷に耐えられるか、パフォーマンスはどうか気になりますよね。これをしっかり確認しておかないと、アクセス過多になるとパフォーマンスが激悪になったり、負荷がかかった時に、システムダウンなんてことになりかねないです。で、そんなことにならないように気軽にWEBサーバの性能を測定できるのがApacheに標準で付いている**ab（Apache Bench）**ツール。 Apache Benchは、DOS攻撃にも使えるツールです!! 使用する際は十分注意してく

oasis440 2017/05/24

リンク

Airflowによるデータパイプラインのスケジュールとモニタリング - Speee DEVELOPER BLOG

こんにちは！WEBマーケティング事業部エンジニアの@hatappiです。現在私のプロジェクトでデータパイプラインのスケジュールとモニタリングをAirflowというオープンソースのツールを使用して運用しています。今回は導入や使い勝手の話です。 Airflowとは？ airbnbがオープンソースで開発したワークフロー管理プラットフォームです。 ※ 現在はApache Incubatorのオープンソースプロジェクトになっています。 Airflowはバッチ同士の関係を管理し、可視化することが出来ます。また、実行した際のLogや実行時間の推移など、様々なデータの閲覧をデフォルトの機能として使用することが出来ます。データパイプラインとは？プロジェクトを運用していると、複数のテーブルにデータが入っており、それらのサマリーを作成するといった経験をしたことはありませんか？これらの一連のプロセスの

oasis440 2017/03/14

Apache

リンク

nginxのrewriteを使ったリダイレクト | サバカン屋テックブログ

はじめに AWS規範ガイダンスの「AWSクラウドで高度なメインフレームファイルビューアを構築」を実際にやってみました。 COBOLのコピーブックの情報を使って、固定長データを処理するという内容です。 S3に格納したデータ…

oasis440 2014/11/05

リンク

LuceneのAnalyzer、KuromojiのModeごとの挙動を確認する - CLOVER🍀

昨日、LuceneのAnalyzerをいくつか触ってみたわけですが、そのうちのJananeseAnalyzer（形態素解析器Kuromojiを使っているやつ）のEXTENDEDモードの挙動が納得いかなくて、もう少し追ってみることにしました。なにせ、ロンウィットのページ http://www.rondhuit.com/solr%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E5%AF%BE%E5%BF%9C.html によれば、モード説明 NORMAL 形態素解析による通常の単語分割を行う SEARCH 複合語で構成された単語を細かく分割する。例えば「関西国際空港」という固有名詞を「関西」「国際」「空港」に分割する。このため、「国際」や「空港」で「関西国際空港」をヒットすることができるようになる。 EXTENDED SEARCHモードの処理をしつつ、追加で、辞