RecSys2013のBestPaperを読む_Fast_Parallel_SGD - 分からんこと多すぎ
RecSys 2013 (Hong Kong) - RecSysのbest paperが、なんだか面白そうだったので読む。 A Fast Parallel SGD for Matrix Factorization in Shared Memory Systems 著：Yong Zhuang, Wei-Sheng Chin, Yu-Chin Juan, and Chih-Jen Lin 本論文自体は、Matrix FactorizationのためのSGDの拡張である点が、他の論文とは違うらしい。 序論は確率的勾配降下法（SGD）の並列化について - 分からんこと多すぎに書いたので、本文の3章（SGDの並列化に関する諸問題）からになる。 また結論から言うと、計算速度は従来手法の十倍程度になる。 ただし、プログラミング上のテクニック的な話なので、理論とかあんまりない。 勉強になるし実用的で、企業
Memory footprint - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Memory footprint" – news · newspapers · books · scholar · JSTOR (July 2012) (Learn how and when to remove this message) Memory footprint refers to the amount of main memory that a program uses or referen
七転び八起きのLinuxカーネルコミュニティ開発体験記
はじめに 現在のLinuxカーネルはメモリーホットプラグという，一般的にはなじみがない機能をサポートするようになっています。私は長い間その開発にかかわってきました。 コミュニティに参加する方法というのは，今ではノウハウ化が進み，「Linuxカーネル開発への参加方法」という文書も紹介されるようになりました。 しかし，私が活動をはじめた当時は，まだどうやって開発していけばよいのか勝手がわからず，四苦八苦することとなりました。これまでプロプラエタリなソフト開発しかしたことがないエンジニアにとって，コミュニティ開発というのはまったく開発スタイルの違う世界に飛び込むことだったからです。しかし，その苦労によって得られた経験は，その後の他の開発活動に活かされることになりました。ちょうど良い機会をいただいたので，そのときの苦労を振り返りたいと思います。 メモリーホットプラグをサポートしているハードウエアは
Memory management unit - Wikipedia
A 68451 MMU, which could be used with the Motorola 68010 A memory management unit (MMU), sometimes called paged memory management unit (PMMU),[1] is a computer hardware unit that examines all memory references on the memory bus, translating these requests, known as virtual memory addresses, into physical addresses in main memory. In modern systems, programs generally have addresses that access the
Non-uniform memory access - Wikipedia
The motherboard of an HP Z820 workstation with two CPU sockets, each with their own set of eight DIMM slots surrounding the socket. Non-uniform memory access (NUMA) is a computer memory design used in multiprocessing, where the memory access time depends on the memory location relative to the processor. Under NUMA, a processor can access its own local memory faster than non-local memory (memory lo
NTT HOME > NTT持株会社ニュースリリース > 世界初、光RAMチップの実現
（ニュースリリース） 2012年2月24日 世界初、光RAMチップの実現 ～超低消費電力の高速ネットワーク処理実現へ前進～ 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：三浦 惺、以下 NTT）は、フォトニック結晶※1と呼ばれる人工構造を用いて、光メモリの消費電力を従来比300分の1以下に低減し、集積チップ化した光ランダムアクセスメモリ※2（以下 光RAMチップ）の動作を世界で初めて実現しました。 今回実現した光RAMチップを用いることで、光データを電気に変換することなく蓄積・転送することが可能となり、将来的にルータなどのネットワーク処理機器（以下、NW機器）の大幅な高速化、低消費電力化が期待されます。 本成果は、2012年2月26日（英国時間）に英国科学雑誌「Nature Photonics」のオンライン速報版で公開されます。 なお、本成果の一部は、独立行政法人情報通信研究
Database Systems
Welcome to the web presence of the Database Research Group at U Tübingen. Our group pursues a variety of “all-time classic” database research questions – prime examples include query language design, translation, and optimization – but with a few twists: We are particularly interested in the design, compilation, and optimization of expressive database languages that support rich data models and em
OSが認識するメモリ容量を制限したいとき at nkjmkzk.net
Oracle, Open Source, Private特にパフォーマンステストをやってるといろいろとOSの環境を変えて結果を見比べたくなるときがあります。その中で「メモリ容量を変えたらどうなるか？」というときがしばしばあります。パワープレイでこれを実現するには、よっこらしょ、とラックからサーバを引き出し、ケースをパカッと開けてメモリを引っこ抜くという技が最初に思いつきます。しかしデュアルチャネル構成の場合短絡的にそんなことをしちゃうとサーバが起動しなくなってしまう可能性がありますし、そもそも現場まで言って作業するというのが原始的です。 簡単な方法は、カーネルの起動パラメータ「mem」でOS（カーネル）が認識するメモリ容量を指定してあげるやり方です。これは/boot/grub/grub.confを直接編集して静的に設定してもいいですし、起動時にgrubメニューで都度設定してもOKです。 例
The design of preemptible read-copy-update [LWN.net]
Did you know...?LWN.net is a subscriber-supported publication; we rely on subscribers to keep the entire operation going. Please help out by buying a subscription and keeping LWN on the net. This document walks through the design of preemptible RCU. Introduction Read-copy update (RCU) is a synchronization API that is sometimes used in place of reader-writer locks. RCU's read-side primitives offer
Userspace RCU
liburcu is a LGPLv2.1 userspace RCU (read-copy-update) library. This data synchronization library provides read-side access which scales linearly with the number of cores. liburcu-cds provides efficient data structures based on RCU and lock-free algorithms. Those structures include hash tables, queues, stacks, and doubly-linked lists. Documents User-Level Implementations of Read-Copy Update What i
第2回 memcachedのメモリストレージを理解する | gihyo.jp
株式会社ミクシィ 研究開発グループの前坂です。前回の記事でmemcachedは分散に長けた高速なキャッシュサーバであることが紹介されました。今回はmemcachedの内部構造がどう実装されているのか、そしてメモリがどう管理されているのかをご紹介します。また、memcachedの内部構造の事情による弱点も紹介します。 メモリを整理して再利用するSlab Allocationメカニズム 昨今のmemcachedはデフォルトでSlab Allocatorというメカニズムを使ってメモリの確保・管理を行っています。このメカニズムが登場する以前のメモリ確保の戦略は、単純にすべてのレコードに対してmallocとfreeを行うといったものでした。しがしながら、このアプローチではメモリにフラグメンテーション（断片化）を発生させてしまい、OSのメモリマネージャに負荷をかけ、最悪の場合だとmemcachedのプ
SSDAlloc - Hybrid SSD/RAM Allocation Made Easy
Hybrid SSD/RAM Memory Management Made Easy. A Nearly-Transparent Programming Model for High-Performance Flash in Virtual Memory. What Is It? Flash memory (mostly in the form of SSDs) is fast becoming an integral part of a wide range of systems, including cell phones, netbooks, laptops, desktops and servers. The integration is happening either in the form of an SSD based swap space or SSD based
Computer memory - Wikipedia
Computer memory stores information, such as data and programs, for immediate use in the computer.[2] The term memory is often synonymous with the terms RAM, main memory, or primary storage. Archaic synonyms for main memory include core (for magnetic core memory) and store.[3] Main memory operates at a high speed compared to mass storage which is slower but less expensive per bit and higher in capa
プログラミング :: 高速なプログラムを書く為に :: メモリ
3. メモリ さて、プログラムの最適化で一番重要になってくるのは、メモリです。 はっきり言って、数値計算をするプログラムの一番のボトルネックはメモリアクセスです。 下手なプログラムを書くと、計算時間の殆どがメモリアクセスの時間という事になりかねません。 昔は、メモリの動作速度は高速でその様な事はなかったのですが、 最近では CPU の性能向上が激しく、メモリに追いつき追い越し物凄い差を付けてしまいました。 CPU の動作について行ける様な速さで動作するメインメモリは高価になってしまい作れません。 まあ、値段の問題は抜きにしたとしても、CPU の動作は速すぎます。 これは、少し計算してみれば直ぐに分かります。 今売られている CPU では、コアのクロック周波数が高い物では 4GHz になります。 例えば 4GHz の CPU で 1 clock の間に光が進む距離を考えると、 3×1010
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
)
Hekaton (database) - Wikipedia
mmap (メモリマップトファイル) : kei@sodan
【後藤弘茂のWeekly海外ニュース】 ISSCCで見えてきたNANDフラッシュメモリの大容量化のトレンド
カスタムメモリマネージャと高速なメモリアロケータについて
NameBright - Coming Soon
レッドハット マガジン 64ビットコンピューティング: 32ビット環境での共存