rsyncのちょっとイイ話2. 株式会社サイバーエージェント勤務 仕事ではアプリケーションエンジニア 言語は主に Java と Perl あたり Apache とか Tomcat のミドルウェアの管理はギリギリ守備範囲内 自己紹介 3. rsync とは… もともとは rcp の置き換えとして開発された ローカル / リモートにファイルを効率的に転送 daemon として立ち上げることもできるし、 ssh 経由でファイルが転送出来たり 使われ方としてはバックアップとか Web アプリケーションのディプロイとか？
Photoshopを凌駕するリアルタイムの動画像切り貼り処理 - A Successful Failure
Photoshop等の画像編集アプリケーションを用いた画像処理において、パッチツールを用いた画像の切り貼りは重要な操作である。パッチツールを用いた切り貼り操作では、貼り付けたパッチ画像は周囲にあわせて自動的に調整され、境界面が目立たないようになる。SIGGRAPH2009において、ヘブライ大学の研究グループが、この切り貼り操作を高速で行う手法を提案している。動画に対してもリアルタイムに切り貼り操作を行う事ができる。まずは動画をご覧頂くのが良いだろう。 本エントリでは論文*1を参照して、本手法の紹介を行う。例によって図表は論文の引用である。 【告知】@LunarModule7でつぶやいています。 興味のあるかたはフォローください。 Mean-Value Seamless Cloning (a) Source patch(b) Laplace membrane(c) Mean-value me
Facebook，自社開発のログ・データ収集ソフト「Scribe」をオープンソース化
米Facebookは米国時間2008年10月24日，同社が各種サーバーのサービス・ログを収集するために使用しているシステム・ソフトウエア「Scribe」をオープンソース・ソフトウエアとして公開したと発表した。オープンソース・コミュニティSourceForge.netのWebサイトでソースコードを提供している。 Scribeは，大量のサーバーで運用しているさまざまなサービスのログ・データをリアルタイムに集めるインフラ・ソフトウエア。同社はScribeをデータベースのメモリー使用量の監視など，多種多様な目的に使っている。日々発生する膨大な情報を集めることが可能で，拡張性が高く，ネットワークやマシンに障害が発生しても継続作動する堅牢性を備えるという。 かつて同社は，オープンソース・ソフトウエアや特定ベンダーの製品を使ってログを集めていた。しかし，大量のデータに対処可能なシステムを構築できなかった
InfoQ: HTTPSコネクションの最初の数ミリ秒
ほとんどの人がHTTPSとSSL (Secure Sockets Layer) を結びつけて考えます。SSLは1990年代半ばにNetscape社が開発した仕組みですが、今ではこの事実はあまり正確でないかもしれません。Netscape社が市場のシェアを失うにしたがって、SSLのメンテナンスはインターネット技術タスクフォース(IETF)へ移管されました。Netscape社から移管されて以降の初めてバージョンはTransport Layer Security (TLS)1.0と名付けられ、1999年1月にリリースされました。TLSが使われだして10年も経っているので、純粋な"SSL"のトラフィックを見ることはほとんどありません。 Client Hello TLSはすべてのトラフィックを異なるタイプの"レコード"で包みます。ブラウザが出す先頭のバイト値は16進数表記で0x16 = 22。 これは
suicaは実はたまに落ちている - 紅茶屋くいっぱのあれこれ日記
suicaのサーバーはみんなの知らないところで、実はたまに落ちているそうだ。 だがシステムが止まることはない、計算上センターは3日ぐらいは止まっていても大丈夫だそうだ。 だからサーバーが落ちたなどとニュース沙汰になることは殆ど無い。 suica開発陣頭指揮をされていたかたが、その実績をまとめてと頼まれ、博士論文にしたそうだ。 suicaの実例を述べるだけだと技術論文になってしまうので、一般化して論文を書きあげたそうなのだが、審査に携わった専門家の人達はそんなものが動くわけないだろうといったらしい。しかし現実問題としてsuicaは動いてしまっている。 本人いわく、だってそれで動いちゃってるんだもん。だそうだ。 実装は時として奇妙に見えるかもしれない。 フィールドには神がいる。 …その意や、なんで落ちても大丈夫かなどはまた後ほど。 スイカのセミナー 昨日はスイカのセミナーだった。 JR東でスイ
Google Marketingにおけるコンピューターサイエンスと統計学（内田誠・グーグル） - Cafe Babe
第87回知識ベースシステム研究会は，65名の方々に参加して頂き，議論をおこなった．この場を借りて，発表者と参加者に感謝したい． 昨年のように仕事に追われて忘れないように（爆），早めに内田誠氏の招待講演「Google Marketingにおけるコンピューターサイエンスと統計学」についてざっと報告しておきたい．また，Twitterのつぶやきも#sigkbsというハッシュタグで検索できる．資料は非公開であるが，聞いたことを他の伝えるのはかまわないそうなので，簡単に報告する．（追記：なお内田氏の指摘を受けて，一部修正した） 内田氏は，GoogleのQuantitative Marketingと呼ばれるデータ分析部門に属している．20名程度のチーム（数学・統計学などの分野の学位取得者ばかり）の中で，唯一のアジアパシフィック担当（日本にいるが，本社の部門直属）である．今回は彼らがGoogleのインフラ
AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ - Wataru's blog
3D映画として現在大ヒットを飛ばしているAVATAR。私の周りでも凄く話題になっていて、IMAXを持つ映画館に近いうちに見に行きたいと思っています。 本日は、AVATAR製作時に使われたITシステムの話を、ご紹介したいと思います。 34ラックという、驚きの超巨大システム AVATARのデータ総容量は、何と、3PB(ペタバイト)!もの大きさだったそうです。毎週、ときには日ごとに数TB(テラバイト)ものデータが出来る上に、それらを色々なフォーマットで保存しなければならないためだそうです。 これだけのデータを処理するために、ITシステムのラック総数は何と34本、そして各ラックには32台のサーバが搭載され、プロセッサ総数は40,000、メモリ合計は104TBに達したそうです。しかも、全てのサーバが10GbEで接続されていたとのこと。 とてつもなく巨大なシステムですね。ここまで来ると小規模なスパコン
分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
Song of Cloud: グローバルトランザクション処理のパターン
送金のトランザクション処理パターンでは、Google App Engine (GAE)のEntity Groupにまたがるトランザクション処理を行う方法について紹介しました。また、それに少しだけ最適化を施した結果、下図のような処理になりました。 しかし、このトランザクション処理はいくつかの制約があります。 (a) 送金中に合計金額がずれる (b) 送金先の口座に制約をかけられない このトランザクションはEventual Consistency (結果整合性)というレベルの整合性保証しかしないため、2つのEntity Groupの値にずれが発生する場合があります(a)。たとえば、口座(A)から口座(B)に1000円だけ送金する場合、(1)と(2)の間は「口座(A)から出金したが、口座(B)に入金されていない」という状態になります。 また、送金元の口座に制約はかけられますが、送金先の口座に制約
写真に基づく3D空間構築手法の到達点 - A Successful Failure
一昔前は実世界の建築物を元にウォークスルー可能な3D空間を構築しようと思ったら、まず各部屋の形状を計測器を用いて計測し、その計測結果に基づいて人手でモデル化し、領域ごとにテクスチャを貼り、照明を設定して……と気の遠くなるような作業が必要だった。3D空間の構築は極めてコストの高い作業だったが、近年では2次元画像（実写写真）に基づいた3D空間の構築手法が長足の進歩を遂げており、以前に比べれば極めて低コストに3D空間を構築する事が可能となっている。 【告知】Twitterはじめました。@LunarModule7です。 興味のあるかたはフォローくださいとしばらく宣伝。 今ではバラバラに撮影した写真から、全自動で3D空間を構築し、内部を自由にウォークスルーできるようになっている。ワシントン大学とMicrosoft Reseachが2009年に発表した研究*1は現時点における集大成とも言えるものとなっ
人工彼女「RIO」があなたの好み覚えます スケジュール管理も
「RIOは“彼女”です。開発者の煩悩が反映されています」――ユーザーの好みに合わせてた情報を教えたり、スケジュール管理をする“人工彼女”ソフト「RIO」が「慶応義塾大学 SFC Open Research Forum 2009」（11月23、24日）で展示されていた。来年1月1日から公式サイトで無料ダウンロード公開する予定。「最終的にはOSにしたい」と意気込んでいる。 RIOは、ユーザーの好みに合わせたトピックをWeb検索して提示したり、スケジュール管理するデスクトップ常駐型ソフト。青髪で清純そうな少女「りお」と、赤いショートヘアで大人っぽい「ティナ」、黄色の髪で幼い印象の「くるみ」という3人のキャラクターが情報を整理・提供する。 キャラクターごとに役割が決まっており、りおは「Yahoo！ニュース」や「ニコニコ動画」からユーザーの好みに合わせた話題を探し出す。ティナはスケジュール管理担当で
グーグルは“異形”のメーカー。ここが違う10個のポイント
グーグルは世界有数のハードウエアメーカーであり、ソフトウエアメーカーである。1990年代末に他に先駆けて「情報爆発」に直面し、いち早くそれに対応したグーグルのコンピュータは、従来のコンピューティングと比較すると常識外れにすら見える進化を遂げた。グーグルコンピューティングの特異さを10個紹介しよう。 （1）自前主義 グーグルは売上高を見ると「広告会社」だが、その実態は7000人を超えるエンジニアを抱える世界有数のメーカーである。しかもそのコンピューティングのあり方は、従来型のそれと大きく異なる（図1）。グーグルが“異形”のメーカーなのは、同社がハードもソフトも自前主義を貫いているからだ。 使用するサーバーはすべて自社開発だ。一部報道では、グーグルは台数ベースで米デルや米ヒューレット・パッカード（HP）に次ぐ「世界第3位」のサーバーメーカーだという。 サーバーだけではない。2007年、大手ネッ
KDDI、1つの映像をいろいろな視点から見られる「アングルチョイスMOVIE」
KDDIは10月14日、1つの映像をいろいろな視点から視聴できる映像配信サービス「アングルチョイスMOVIE」を、「au one ラボ」でスタートした。auの「Wi-Fi WIN」対応携帯電話やPCで視聴できる。 複数のカメラで撮影した映像を元に、撮影していない視点の映像を合成するKDDI研究所の技術「自由視点映像生成技術」を活用。携帯電話やPCから、見たい視点やズームイン／ズームアウト、タイミングを指定すると、映像を合成してネット配信する。映像の合成と保存はサーバで行う。 サイトでは、グラビアアイドル横井詩織さんの「セクシーヨガ」や、ダンサー・いとうなおきさんのダンス動画などを、さまざまな視点から見られる。ニコニコ動画に公式チャンネル「アングルチョイスMOVIEチャンネル」も開設。映像を視聴できる。 関連記事 壁の向こうもARで“透視” auが「実空間透視ケータイ」 AR技術を利用したア
Adobe Photoshop CS5の新機能
テクノロジー 2009.10.4 動画：Adobe Photoshop CS5の新機能はもはやえげつないレベル… なんだこれーー！！！ 新機能「 Patchmatch」の解説動画がYouTub...…
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Inside Yahoo!メール 第1話「迷惑メールとBotnet」
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ソーシャルネット開発部の島貫和也です。Yahoo!メールの配送システムおよび迷惑メール対策を担当しています。 Yahoo!メールはプロバイダ(Yahoo! BB)のメールサービスでもありますが、フリーメールとしての側面もあるため、非常にさまざまな方に多様な形態で利用されています。このようなサービスでは、迷惑メールなどの不正利用を前提とした対策が必要不可欠といえます。 本連載では、今まであまり触れられてこなかったYahoo!メールの迷惑メール対策と、電子メールに関連する情報を数回に分けてご紹介したいと思います。 ご注意 出典元の説明のため、いくつか外部リンクがあります。リンク先については保証しておりませんのでご了承くださ
PRML合宿まとめサイト
■上巻 第1章: 序論 序論ではまずパターン認識の最も簡単な例として多項式曲線フィッティングを取り上げ、パターン認識・機械学習の基本的な枠組みを紹介する。そしてベイズの定理や統計量などの確率論の基礎を導入し、確率論の観点から再び曲線フィッティングを扱う。不確実性はパターン認識の分野における鍵となる概念であり、確率論はこれを定量的に取り扱うための一貫した手法を与えるため、この分野における基礎の中心を担っている点で重要である。 また、回帰・識別の実際の取り扱いに際して必要となる決定理論や、パターン認識・機械学習の理論において役立つ情報理論の導入についても行う。 発表資料はこちら(ppt)とこちら(ppt)。前半では多項式曲線フィッティングの例およびベイズ的確率を、後半では決定理論および情報理論を取り扱っている。 第2章: 確率分布 第2章では二項分布や多項分布、ガウス分布といった各種の確率分布
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
takabsd.jp
http://www.umiacs.umd.edu/~jimmylin/MapReduce-book-20100219.pdf
https://jp.techcrunch.com/2009/08/05/20090804the-future-of-fabrication-is-here-shapeways-announces-stainless-steel-printing/
