AmazonS3に並列アップロード - 橋本詳解
http://d.hatena.ne.jp/shokai/20100220/1266646461 をgearmanで並列化した upload-worker.rb #!/usr/bin/env ruby require 'rubygems' require 'gearman' require 'aws/s3' BUCKET = "your-bucket-name" GEAR_TASK = 'upload-awss3' if ARGV.size > 0 (ARGV.first.to_i-1).times do pid = fork break if !pid puts "fork pid:#{pid}" end end AWS::S3::Base.establish_connection!(:access_key_id => "your-key", :secret_access_key =>
ローエンドプロセッサでサーバを効率化--カーネギーメロン大学の「弱小ノード」
メインストリームサーバは、マルチコアプロセッサと膨大な記憶容量を搭載してますます屈強になっているが、カーネギーメロン大学とIntel Labs Pittsburghの研究者たちは、コンピュータ界きってのやせっぽちの弱虫の方が、今日のインターネット上でのジョブの多くに適している可能性があると考えている。 研究者たちが提唱する代替物には、「弱小ノードの高速アレイ（Fast Array of Wimpy Nodes：FAWN）」という名前が付けられている。これは、ACM Symposium on Operating Systems Principlesで発表されたばかりの論文に記述されている。 簡単に言えば、汎用サーバを使うよりも、ローエンドのプロセッサとフラッシュメモリで構成されたサーバのクラスタを使用した方が、作業によっては低いコストと少ない消費電力で処理できると、研究者たちは考えている。近
マルチコア時代の高並列性IOアーキテクチャ Wavy - Blog by Sadayuki Furuhashi
シングルスレッドではもう遅い。 以前にマルチコア時代の高速サーバーの実装で、「ネットワークIOはマルチスレッドで動かすが、その他の部分はシングルスレッドで動かす」というIOアーキテクチャの実装（mp::iothreads）を紹介しました。iothreadsはロジック部分をシングルスレッドで書けるため実装の手間を抑えることができ、ネットワークIOがボトルネックになるプログラムには特に適していると思われます。 しかし実際にiothreadsを使ってプログラムを書いてみると、非常に負荷が高い状況でシングルスレッドの部分の処理速度がボトルネックになってしまうことがありました。 そこでマルチコアCPUの性能を引き出すために、徹頭徹尾マルチスレッドで動かすIOアーキテクチャを実装してみました。 1つのスレッドが、ある時はepoll_wait()し、ある時はread(2)を行い、ある時はイベントを処理す
大規模SNS実現のためのGREEのアプローチ
大規模なサイトでは、どのようにWebアプリケーションをスケーラブルに構築しているのか。GREEのアプローチを、グリー取締役CTOにして、PHPフレームワークEthna（えすな）の開発者でもある藤本真樹氏が解説する。Webアプリケーション開発者必見だ。 はじめに Webサイト構築で面白いのは、つい先日までどう見ても小規模なユーザーベースで動作していたサイトが、瞬く間に数万人、数十万人のユーザーを抱えることになったりする*ことです。また、最初は小規模だったアプリケーションが、少しずつ改善していくうちに、大規模なアプリケーション*になることがあります。本稿では、徐々に大きくなるWebアプリケーションをスケーラブルに構築する方法を説明します。 技術はコモディティ化しているけれど Webアプリケーションの開発に携わっている方は特に実感されていることと思いますが、ここ数年Webかいわいの動きは非常に速
High Performance Programming 高速化
High Performance Programming 高性能プログラミング この講義は、応用数理工学特論、数理工学特論 II、材料応用数学特論に対 応します。 レポート課題１ レポート課題２ レポート解答 参考書 R. Allen and K. Kennedy, "Optimizing Compilers for Modern Architectures", Morgan Kaufmann. M. Wolfe, "High Performance Compilers for Parallel Computing", Addision-Wesley. 寒川光、「RISC 超高速化プログラミング技法」、共立 中澤喜三郎、「計算機アーキテクチャと構成方式」、朝倉 天野英晴、「並列コンピュータ」、昭晃堂 D. E. Culler, J. P. Singh, A. Gupta, "Paral
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pubsubhubbub - Google Code