Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop=ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」(神林氏)という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
別にグラフィックスに限ったことじゃないし、そもそも論文とか全然関係ないけど。GPU 周りでもたまに話題になるし、自分でもたまにわけわからんくなるから整理しとく。 メインメモリは遅い CPU からメインメモリにデータを読みに行く場合、これはとにかく遅い。例えばレジスタにあるデータを読みに行く場合と比べると、だいたい数倍から数100倍の遅さ。ヤバいからなんとかしよう。もっと早くアクセスできる場所にデータおいとこう。 キャッシュライン CPU がメインメモリからデータを読み出すとき、必ず小さなメモリチャンクをキャッシュ上にロードする。ロード単位はプロセッサによるけど、だいたい 8 ~ 512 バイト。このロード単位をキャッシュラインと呼ぶ。 アクセス対象のデータが既にキャッシュに載ってる場合は、メインメモリじゃなくてキャッシュを読みに行く。ない場合はメインメモリにアクセスするけど、そのデータはも
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
28C3(28th Chaos Communication Congress)において、Effective Denial of Service attacks against web application platforms(Webプラットフォームに対する効果的なサービス妨害攻撃)と題する発表がありました(タイムスケジュール、講演スライド)。 これによると、PHPをはじめとする多くのWebアプリケーション開発プラットフォームに対して、CPU資源を枯渇させるサービス妨害攻撃(DoS攻撃)が可能な手法が見つかったということです。この攻撃は、hashdos と呼ばれています。 概要PHPなど多くの言語では、文字列をキーとする配列(連想配列、ハッシュ)が用意されており、HTTPリクエストのパラメータも連想配列の形で提供されます。PHPの場合、$_GET、$_POSTなどです。 連想配列の実装には
先ほどお届けしたムービーレビューに続いて、本日行われたソフトバンクモバイルの2011年冬春モデル発表会で発表された「HONEY BEE 101K」のフォトレビューをお届けします。 女子高生を中心に高い人気を誇る、2台目需要を意識して機能を絞った京セラのPHSシリーズ「HONEY BEE」をスマートフォンにしたのが「HONEY BEE 101K」ですが、デュアルコアCPUを搭載し、下り最大21Mbpsの「ULTRA SPEED」に対応するなど、女子高生をターゲットにしたデザインからは想像できないスペックなのが特徴です。 発表会のタッチアンドトライ会場でひときわ異彩を放つ「HONEY BEE 101K」ブース。インパクト大なこの機種の実機を触ろうと報道陣が常に群がっていたため、狩りの後のような状態になっていますがあまり気にしてはいけません。 これが「HONEY BEE 101K」本体。ビビッド
ライフハッカー編集部様 新しいスマホがお気に入りなのですが、時々めちゃくちゃ熱くなります。なぜ、こんなに熱くなるのでしょう? スマホを熱くさせないためには、どうすればよいのでしょうか? PN:火を噴きそうなスマホが心配 Photo remixed from an original by Shutterstock. スマホが心配さんへ。 スマートフォンが熱くなるのは、よくあることです。この熱は、スマートフォンのバッテリーに起因しています。電話しているときやGPSを使っているとき、動画を視聴しているときなど、正常よりもパワーを使っているとき、熱があがります。 スマートフォンが熱くなりすぎてパワーが落ちたり、本体を握りづらくなるのは問題です。また、バッテリーが熱くなるということは、バッテリーが早く消耗してしまうことでもあります。 では、スマートフォンを熱くなりづらくするための方策を、いくつかご紹
ライフハッカー編集部様 ノートPCのファンの音が超ウルサくて困っています。一日中「ブーーーーン」という音がして、もう「ウガーーーッ!」となってノートPCをバーーーンッと叩くんですが、ぜんぜん静かになりません...。 どうか、どうかお助けください! ファンの騒音で難聴ぎみの読者より ファンの騒音で難聴ぎみの読者さんへ あなたが真っ先にやるべきことは、ノートPCを叩くのをやめることです! PCのファンがうるさくなる理由はたくさんありますが、ほとんどの場合、PCの中が熱くなっているのが原因です。ファンを静かにするために以下のことを試してみましょう。 ■プロセスをチェックする ゲームやビデオチャットなどでCPUをフル稼働させると、ファンが狂ったように回転しはじめることがありますが、そうでない場合は、CPUを激しく消費しているプロセスがないかチェックしてみましょう。 「Ctrl + Shift +
記者が子供の頃の1970年代は、i8080、Z80、MC6800などがマイコン用8ビットCPU(Central Processing Unit)として全盛だった。それに続いたのが16ビットCPUで、米Intelのi8086がパソコン分野の勝者となった。それがx86アーキテクチャーの始まりである。x86アーキテクチャーは32ビットになり、64ビット(これは「x64」とも呼ぶ)になり、今やWindowsパソコンもMacも企業のサーバーもx86だ。でも、x86の全盛期は終わったのではないだろうか。 x86の強力なライバルが二つ浮上してきた。一つは英ARMのARMアーキテクチャーだ。消費電力が少ない割に高性能なARMは携帯機器に多く採用され、「Microsoft、次期版WindowsでARMアーキテクチャーをサポートへ」といった動きも報じられている。米Microsoftは以前、WindowsでAl
日本でタブレットPCといえば「iPad」というのがすでに定着してしまっていて、それ以外のアンドロイドやWindowsのタブレットはいまいちぱっとしませんよね。けれど、実際には有名無名問わず、たくさんのメーカーから日々タブレットPCが発売されています。 そんな中でも「中華パッド」と呼ばれている、中国の複数のメーカーから発売されているとりわけ廉価なタブレットPC群が(ごく一部で?)盛り上がってきているようです。というわけで筆者も、物は試しということで中華パッドを買ってみたのでした。 今回購入したのは、いろいろ調べた結果評判の良かった「minipad S1」という機種。中華パッドの中ではやや高めの約2万5千円。さすがに人気のためか、品薄で到着に2週間ほどかかってやっとのゲットとなりました。 当初はどんな怪しげなものが来るかと思っていたのですが、結構しっかりした青い化粧箱の中に入っていて、なんだか
大文字小文字に数字をまぶしたパスワードはブルートフォースアタックに対して強固であると言えるだろうか。強固であるとお考えの方はご再考を (ZDNet の記事、本家 /. 記事より) 。 PC Pro Blog の記事にて、GPU を用いたパスワードクラックツール ighashgpu とお安い GPU (1 〜 2 万円で購入できる RADEON HD 5770) の組み合わせで総当たり試行を行った結果が掲載されている。CPU を用いた場合、1 秒間に 980 万パターンの試行が可能であり、5 文字の NTLM ログインパスワードは 24 秒で突破された。一方 GPU では 1 秒間に 33 億パターンほど。パスワードを 6 文字にすると CPU では突破に 90 分ほど要したが、GPU ではたったの 4 秒。7 文字になると CPU では 4 日間かかったが、GPU では 17.5 秒で突破
シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。 あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい!と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。 最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて
ある報道によると、Appleはひそかに、同社の「MacBook」および「MacBook Pro」製品ラインにおいて、Intelプロセッサの代わりにARMベースのチップを搭載することにしたという。 SemiAccurateは、複数の匿名の情報筋の話として、Appleによるこの移行は「すでに確定している」と報じている。しかし、同社の端末にARMチップが搭載されるのは当分先のことである。 SemiAccurateによると、ARMチップに移行するのは、おそらくNVIDIAが「Project Denver」CPUをリリースする時期に合わせて、2~3年先であると情報筋は述べているという。NVIDIAは2011年に入り、PCからサーバやスーパーコンピュータにいたるまでのすべてを対象に、このARMベースプロセッサを開発していると述べた。同プロセッサは、同社のGPUと同じチップに集積される予定である。 当然
【速報】IntelがとんでもないCPUを電撃的に発表 2011年05月05日15:09 | カテゴリ:ニュース速報 | Tweet 1:名無しさん@涙目です。(不明なsoftbank):2011/05/05(木) 14:08:56.96 ID:9mcg3D240● Intel、3次元トライゲートトランジスタ製造技術を確立 ~22nm世代のIvy Bridgeで採用 米Intelは4日(現地時間)、22nm世代のプロセッサで 世界初となる3次元型トライゲートトランジスタを採用し、 2011年末より製造開始すると発表した。 トライゲートトランジスタは、電流が流れるチャネルが 従来までの平面(2次元)ではなく、 薄くて高さのあるフィン構造(3次元)となっており、 その上面だけでなく両側面にも電流を流すことができる。 同社は2002年にその研究発表を行なっている
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く