NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
月間57億PV、300台のサーバを運用するミツバチワークスが編み出したインフラ技術
ミツバチワークスのエンジニアは、「月間57億PV」という巨大なトラフィックをさばくため、さまざまな技術を駆使してインフラを構築している。主と副の2本立てでデータベースを運用し、300台のサーバを使いながら「負荷の限界」に挑むエンジニアに、技術ノウハウを聞く。 ミツバチワークスが運営するケータイブログサービス「DECOLOG」は、異色のサービスである。10代後半から20代前半の女性に最も人気のあるケータイブログサービスで、「デコメール」などを利用して、かわいくカラフルなブログを作成できる。広告基準を厳しくすることで女性ユーザーにも不安なく使ってもらえるような安心感を作り出し、口コミだけでじわじわとアクセス数を伸ばしてきた。 結果、2010年7月実績で月間57億PV（ページビュー）超、想定800万UU（ユニークユーザー）、会員登録者数180万件と、ケータイブログサイトでは国内最大のサービスとし
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
ApacheのExpireとDeflateで表示を高速化する
アクセス数が増えてくると表示速度が遅くなったりすることもしばしば。まあ、Apacheのプロセスの上限を増やせば良いんでしょうけれど、それにはメモリを増やす必要があり、メモリを増やすには先立つものが。 メモリを増やす前にやれることがあるんじゃないかといろいろ試した中の1つがApacheのExpireとDeflateの機能を利用することでした。意外と効果があるかも？ Expireは、極端に言うと、指定した期間はブラウザに保存されたキャッシュを読め、ということが出来るものです。ブラウザに保存されたキャッシュを読むので、サーバーから全てを読み込むより表示速度が速くなります。キャッシュがなければ意味が無いわけで、一見さんに対してはこの方法はあまり意味がありません。でも、頻繁にアクセスする人に対しては(キャッシュを貯めない設定とかにしていなければ)有効に働きます。 一方、Deflateは、サーバにある
ウノウラボ Unoh Labs: サーバのネットワーク速度の調査/測定方法
こんにちは。kyagi です。先日データセンタ内のサーバ群のうち、なぜか特定の１台だけネットワークの速度が極端に遅いという問題がありました。今回はサーバマシンのネットワーク速度の測定方法と原因についてお話しします。同様のトラブルが発生している方のお役に立てば幸いです。問題解決までの手順としては以下になります。 1. 現在の状態を調べる 2. ハード/ソフト含めて考えられる原因をいくつか挙げる 3. 原因について改善されるまでひとつひとつ検証していく まず現在の NIC の HW 情報とドライバを lspci で調査します。ここでは Broadcom の NetXtreme BCM5722 という NIC を使用していることがわかります。 # lspci -vvv | grep Ether 01:00.0 Ethernet controller: Broadcom Corporation
「モバゲータウン」のつくりかた − TechTargetジャパン システム開発
低価格なPCサーバ1000台で1日6億PVをさばく 「モバゲータウン」（以下、モバゲー）といえば、誰しも「中高生に絶大な人気を誇る携帯サイト」という認識ぐらいはあるだろう。ゲーム、ニュースに小説、占いなどのコンテンツ、アバター（仮想キャラクター）を装ったSNSコミュニケーション、ディー・エヌ・エー（以下、DeNA）が運営するショッピングやオークションサイトなどが利用できる、携帯電話向けの総合ポータルサイトだ。 DeNAのポータル事業本部 システム部 部長、武部氏 モバゲーは2009年5月現在で会員数1419万人、月間ページビュー（PV）は約183億を誇る。つまり、1日当たり6億PVである。さぞかし大掛かりなシステムを運用しているのだろうと想像してしまうが、意外にそうではない。 DeNAポータル事業本部 システム部の部長、武部雄一氏は「モバゲーのシステムは、比較的低価格なPCサーバ機1000
Apacheのトラブルを解決する10のヒント - builder by ZDNet Japan
本当のデータ活用できていますか？ データドリブンがあたりまえと言われる今あらためて考えたいデータ活用のありかた これからの社内DX 真のDXのため、まずは社内のデジタル化を DXのファーストステップのヒント データ活用は次のステージへ トラディショナルからモダンへ進化するBI 未来への挑戦の成功はデータとともにある コマース広告の大変動 プライバシー保護とパーソナライズの狭間で マーケティングの効果を最大化するためには オープンソース活用はあたりまえ！ そんな今だからこそ改めて考える 企業ITにおけるOSS活用のメリットとリスク 仮想環境データ保護の新次元 高度化・複雑化するIT環境の課題への解決策 最新鋭データ保護・管理ソフトウェア基盤 最新ストレージで変わるIT運用 仮想化テクノロジーとFlashArrayの組合せで 運用負荷軽減と高性能化を実現したDMM 現場主導のデジタル変革 ビジ
XAMPP for Windows
含む: Apache 2.4.58, MariaDB 10.4.32, PHP 8.0.30, phpMyAdmin 5.2.1, OpenSSL 3.1.3, XAMPP Control Panel 3.2.4, Webalizer 2.23-04, Mercury Mail Transport System 4.63, FileZilla FTP Server 0.9.41, Tomcat 8.5.96 (with mod_proxy_ajp as connector), Strawberry Perl 5.32.1.1 Portable 含む: Apache 2.4.58, MariaDB 10.4.32, PHP 8.1.25, phpMyAdmin 5.2.1, OpenSSL 3.1.3, XAMPP Control Panel 3.2.4, Webalizer 2.23-04
Linux、割り込み不可能なスリープ状態の監視スクリプト - goungoun技術系雑記帳
STATがD(割り込み不可能なスリープ状態)のプロセスを減らすことができれば、システム負荷を下げられるはず。 ps、topはコマンド実行した瞬間の状況が表示されるだけ。 STATがDのプロセスがどの程度発生しているのか視覚化できたらなぁ。 スクリプト概要 ps、topコマンドの簡易機能版といったところだが、 STATがDのプロセスを監視する機能に特化した。 $ ./pps プロセス監視ツール * はデフォルト設定 -mode=ma : ps を定周期で行うイメージ -mode=mb : プロセスのステータスのみを定周期で表示するイメージ -mode=mc : top イメージ -stat=D :* ステータスが D を表示 -stat=DS : ステータスが D or S を表示 -delay=1 :* 周期[s] 0.3s〜 -n=20 :* 最大表示プロセス数(=表示行数) --hel
数字でわかる最適レンタルサーバー | Web担当者Forum
レンタルサーバー選びというと、初期費用や月額料金といった、料金がまず気になるところだ。しかし、いくら安価でも、スペックが不足していて目的を果たせないレンタルサーバーを選んでしまっては意味がない。レンタルサーバー選びでは、料金以外にも、ディスク容量や転送量制限などの数値も重要な要素となるのだ。 とはいえ、必要なディスク容量なんてはっきりわからないことが多いし、適切な転送量なんて自分が教えてもらいたいくらいだろう。困った挙げ句、「どうせメールとウェブだけだから」と適当に決めてしまうのは危険だ。サービスを開始したあとでレンタルサーバーを引っ越すのは手間がかかるし、メールやウェブは意外に多くのディスク容量や転送量を必要としているからだ。 この記事では、ディスク容量や転送量などのリソースの算出法を紹介するので、今後のレンタルサーバー選びの目安としてほしい。 考慮すべき3つの基本要素レンタルサーバーを
はてなブックマークの裏側その後 - naoyaのはてなダイアリー
まるごとPerl! Vol.1 で執筆させていただいたはてなブックマークのシステムに関する記事が ThinkIT で読めるようになりました。記事全体を何回かにわけて掲載していただいています。まるごとPerlの記事なのですが、実は Perl のことはあまり触れていなくてはてなのサーバー運用概論みたいは話が主なところです。 http://www.thinkit.co.jp/free/article/0610/1/1/ http://www.thinkit.co.jp/free/article/0610/1/2/ せっかくなので現状報告も含めて少し補足をしてみようかなと思います。 現在の数字 記事の中での数字は6月のもので ユーザー：45,000人 ブックマーク数：535万件 ページビュー：5,000万/月 サーバー：17台 となってますが、現在 10 月の方はというと ユーザー: 60,000
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
負荷対策概論 - Y-110's Wiki
最新文章 2018-12-26 17:10▪ 致敬英雄，致敬不朽的精魂 2018-12-26 17:10▪ 四十年来闵行人的文化生活史一幕幕回放 2018-12-26 17:10▪ “笔尖上的童画”——欢图学员作品成果展将在东方网文化活动... 2018-12-26 17:10▪ “金色热线”12月27日将迎来年终特别节目 2018-12-26 17:10▪ 北京市发布持续低温蓝色预警信号 2018-12-26 17:10▪ 北京市网信办推进自媒体账号专项治理关闭11万个 2018-12-26 17:10▪ 有创意的崇明“橘农”让梦想和情怀扎根农场 2018-12-26 17:10▪ 突发！上海地铁3、4号线晚高峰运行延误系人员进入线路 2018-12-26 17:10▪ 中国经济总量将达90万亿关键时刻传递重要信息 2018-12-26 17:10▪ 海底捞："吃出卫生巾"系人为当事顾客
結城浩のはてな日記 - はてな認証API / ためしに作ってみました
はてな認証APIが公開されましたので、ためしてみました。 懸念事項 なおやさんところ経由ではてな認証APIの公開について(開発者さま向け)を読んで感じたこと。 おそらくすぐに「はてな認証APIで○○を作ってみました」的なものが登場するでしょう。おもしろいアプリが登場することを期待。 ただし、一般ユーザにきちんと認識させないと、悪意のある第三者が一般ユーザのパスワードを奪うアプリを作ってしまう危険性があります。たとえば「はてな認証APIを利用しています」と偽って、「ログイン名とパスワードを入力させるフォーム」を見せるアプリが出た場合、ユーザは誤解しないか。 それから…解説した図がほしいです。→認証部分のシーケンス図は結城が描きました(このエントリの下の方で公開しています)。 結城さんちのはてな認証APIテスト 追記：2006-04-24 21:09: とりあえず、作ってみました。以下をお試し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ywcafe.net