【森山和道の「ヒトと機械の境界面」】 PFNの大規模分散深層学習専用プライベートスパコン「MN-2」潜入レポート
PFNが語る、GPUインフラ調達の考え方とは
2016年度中に5ペタFLOPS（1秒当たりの浮動小数点演算性能）のGPUインフラを使えるようにする――。AI（人工知能）分野で国内トップ級の技術力を持つスタートアップ企業、Preferred Networks（PFN）が社内で掲げる目標である。 ディープラーニング（多層ニューラルネットを使った機械学習）は、画像認識からロボティクス、自然言語処理まで適用が進み、大きな成果を挙げている。 そのディープラーニングの学習を担う要となるITインフラが、GPU（グラフィックス・プロセッシング・ユニット）搭載サーバーである。 特に米グーグルは、囲碁でプロ棋士を破った「AlphaGo」から、高い精度でテキストを翻訳する「Gogole Translate」まで、ニューラルネットの学習や推論に大量のGPUインフラを活用している。例えばAlphaGoの場合、2015年10月に欧州のプロ棋士と勝負した際は、12
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
FessでPDF全文検索サイトを作成する
PDFの全文検索システムを作りたい Fess PDF全文検索 色々と調べてみたら、FessというシステムでPDF全文検索ができると知りました。LINUXでも動くらしい。以前はCGI のNamazuを使って構築したことがありましたが、最近は更新もなく、こちらのFessの方がスタンダードっぽいです。 Fess公式サイト 公式サイトはこちらです。 インストールについて 例によって私はDebian使い。手元にサーバが無かったので、お年玉クーポン3万円を配布していたAltusを利用してUbuntuディストリビューションで構築してみます。 JDKのインストール apt-get install default-jdk apacheのインストール apt-get install apache2 構築した後で分かりましたがapacheはFessの動作自体には必要ありません。80番でアクセスさせたい時に利用し
大量の PDF ドキュメントを Fess と BuildVu を使って、高速ドキュメント検索システムを構築する - Qiita
大量の PDF ドキュメントを Fess と BuildVu を使って、高速ドキュメント検索システムを構築するPDFFessBuildVu PDF を HTML に正確に変換できる BuildVu と、オープンソースの全文検索サーバー Fess を組み合わせることで、大量の PDF からドキュメントデータベースを構築し、高速ドキュメント検索システムを短時間で構築する事が可能です。 本稿では BuildVu で PDF から HTML へ変換されたドキュメントを Fess で検索できるようにするための Fess の設定例をご紹介します。 なお、利用している Fess のバージョンは 13.2.1 です。 PDF を HTML へ変換できる BuildVu についての詳細はこちらをご覧ください。 前提条件 Fess のインストールは完了していて、既に利用できる状態である BuildVu によっ
サムスン、PCIe 4.0・NVMeのM.2 SSD、「980 PRO SSD」続報―最大1TB、独自コントローラ採用 | Game*Spark - 国内・海外ゲーム情報サイト
サムスンは、PCIe 4.0・NVMe対応のM.2 SSD「980 PRO SSD」の製品ページを一時的に公開しました。 この「980 PRO SSD」は250GB, 500GB, 1TBのモデルからなるPCIe 4.0 x4・NVMe 1.3c対応のM.2 SSD。シーケンシャルリード/ライトは、PCIe 3.0世代より2倍近い7,000MB/S、5,000MB/Sとなります。また、SSDの性能を決定づけるコントローラ部などについても、独自コントローラを採用する旨も記載されています。 「980 PRO SSD」の発売時期、価格などは記事執筆時点では明らかにされていません。 《Arkblade》 小さいころからPCゲームを遊び続けて（コンソールもやってるよ！）、あとは運と人の巡りで気がついたら、業界のあちこちにいたりいなかったりという感じの人に。この紹介が書かれた時点では、Game*Spa
これから読みたい論文メモ - inductor's blog
おひさしぶりです。 今日は自分のメモですがこれから読みたい論文とその理由について記しておきます。ちなみに全てGoogle関連です。開発に関わるものもあれば、インフラ基盤のものもあります。 1. Advantages and Disadvantages of a Monolithic Codebase research.google Googleでは独自のVCS(バージョン管理システム)があって、それがモノレポで管理されているという話を聞いたことがあります。 大量のGoogle Internalなソフトウェアがあるなかでそれらをどうやってまともに管理してるのかはずっと気になっていたので、これを読んだらなにかわかりそうと思いました。 2. Modern Code Review: A Case Study at Google research.google コードレビューのプロセスにおいて、モダ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Keras + KerasTuner best practices
Titanic: Keras + KerasTuner best practices
AMP tutorial
https://nvlabs.github.io/eccv2020-mixed-precision-tutorial/files/szymon_migacz-pytorch-performance-tuning-guide.pdf
.zero_grad()を使う場合と使わない場合？
GitHub - ondrajz/go-callvis: Visualize call graph of a Go program using Graphviz