for K/VM hokuriku #3
![cpu_info](https://cdn-ak-scissors.b.st-hatena.com/image/square/a889af2f58dbb02d101288a459f19a9ad2273a43/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fa1de3c8f319d40ea8bfad26ac8de6b76%2Fslide_0.jpg%3F8617177)
ビッグデータや機械学習などの発展とともに、インターネット上の情報を収集するクローラーのニーズが高まっています。Webサイトの開発・製作者にもクローラーを支えるWeb技術を正しく理解してほしいと考えるのが『クローリングハック』(翔泳社)の著者陣。今回その5名、竹添直樹さん、島本多可子さん、田所駿佑さん、萩野貴拓さん、川上桃子さんに、本書について訊きました。 大規模で定常的にクローリングするための手法 ――『クローリングハック あらゆるWebサイトをクロールするための実践テクニック』は一見するとWebクローラーを開発・運営している人向けですが、クローリングされる側のWeb開発者にも役立つ内容だとのこと。そこで、本書の狙いについて教えてください。 竹添:実は最初、クロールする側とされる側、どちらの視点で書いていくかは迷いました。ただ、いずれにせよ、Webを構成している技術を正しく理解してもらいた
HotSpot JavaVM のベクトル化変換 最近の HotSpot JavaVM はスカラー演算の繰り返し処理をベクトル化し SIMD 命令に変換する最適化を行っています (SIMD とは何ぞやという話は後半参照)。実際に最適化が効くコードで試してみたところ 1.5~2.8 倍程度の速度向上が見られたので、大量の演算処理を行う (GPGPU に頼らない) Java ライブラリでうまく使うことが出来れば有効な最適化手段になるかもしれません。 HotSpot の SIMD 最適化は Superword-Level Parallelism (SLP) に基づいています (以降この最適化は SLP と呼びます)。元々この論文は時代を反映して SIMD 未対応の画像・音声処理をコンパイラやランタイムのレイヤーで SIMD を利用する命令に変換することを目的としていましたが、これは SIMD 命令
Red Hat Enterprise Linux 8.8 and 9.2 leverage Intel’s 5th Gen of features including higher cpu count, faster DDR5 memory, larger 3rd level caches, improved interprocessor bandwidth, and complete implementation of Intel’s Advanced Matrix Extensions. Included in this blog are two new Dell SAP HANA BW...
Protobuf defines your schema You alredy defined your models in Protobuf. Why should you to do it again to store them in your database? Based on RocksDB ProfaneDB doesn't want to reinvent the wheel. It uses RocksDB for great performance, the simplest way possible. gRPC interface ProfaneDB is written in C++, but can be used from any language that supports gRPC. It just needs your schema, and there i
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く