今年は大規模言語モデル（LLM）の様々な分野へ導入した論文がトップジャーナルに溢れるようになる元年と言えるかも知れない。一般の方ににとってLLMは、ChatGPTのようなテキストを学習させたモデルを指すのだと思うが、元々ノンリニアーな情報を扱う生物学では、早くから様々な目的でLLMの導入が進んでいる。最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。 過去の経験は未来の予測に重要だが、これまでの予測はデータをなんとか法則に落とし込んで、その法則を未来に適用してきた。これに対しLLMでは、過去のデータを自然にコンテクスト化して、そこから最も確率の高い結果を導き出す。まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。 本日紹介する論文 今日紹介するGoogleの2つの研究所からの論文は、3700万パラメーターを持つニューラルネットを用いて、地球規模で過去の気象

最先端の自然言語処理モデルとスパコン「kukai」を活用したコメント対策、および並び順名称の変更について （画像：アフロ） Yahoo!ニュースでは、最先端の深層学習ベースの自然言語処理モデルを使用したコメント対策を開始しました。 今回、開始したのは、「記事との関連性の低いコメント」への対策です。 Yahoo!ニュースでは、コメント欄について、これまでも専門チームによるパトロールや機械的な対策を実施してきましたが、「記事との関連性の低いコメント」の機械的な対策については、未だ技術的課題のある状況でした。従来のニューラルネットワークを用いた自然言語処理モデルでは、1コメント単体の判定は可能であるものの、記事とコメントの関連度については判定が困難だったためです。 そこで、最先端で強力な深層学習ベースのアーキテクチャである「Transformer」およびGoogleの研究者が発表した画期的な自然

Xilinxが買収したディープラーニングのスタートアップ DeePhi Tech(深鉴科技)は清華大学とスタンフォード大学の研究者が、2016年に北京に設立したディープラーニング技術を開発するスタートアップである。コンピュータアーキテクチャ関係のトップクラスの学会である2016年のISCAで最優秀論文賞を受賞するなど、高い技術力を誇る。 DeePhi Techは、その将来性からSamsungやMediaTekなども出資していたが、2018年7月に出資先の1つであったXilinxが買収し、現在はXilinxの一部になっている。DeePhi TechはXilinxのFPGAをディープラーニングのエンジンとして使っており、資本関係だけでなく、研究開発でも両者の関係は深かった。 Hot Chips 30でマシンラーニングプラットフォームについて発表するDeePhi TechのSong Yao CE

ABCIはEDR InfiniBandのネットワークを使う InfiniBandスイッチによる接続は、次の図のようになっている。ABCI全体のネットワークをつなぐのはMellanoxのCS7500ディレクタスイッチである。CS7500は最大648ポートの大型のスイッチで、ABCIはこれを2台使っている。 MellanoxのCS7500 ディレクタスイッチ そして、ラックに搭載するリーフスイッチとしては36ポートのSB7890スイッチをラック当たり7台使っている。 接続は、次の図に示すように、各ノードから2ポートが出ており、ラック全体では68ポートある。リーフスイッチは36ポートであるが上側のスイッチへの接続に半分のポートを使うとすると、計算ノードに使えるポート数は18ということになる。4台のリーフスイッチがあり合計で72ポートあるが、その内の68ポートを計算ノードに接続する。 リーフスイッ

国内最大(Top500ランキング5位)のスパコンである産業技術総合研究所(産総研/AIST)の「AI Bridging Cloud Infrastructure(ABCI)」が8月1日に運用を開始した。550PetaOpsという膨大なAI処理能力を研究者や開発者に提供することにより、我が国のAIやビッグデータ処理の進歩を加速しようという狙いである。 8月10日追記:本稿初出時、ABCIの運用開始日を7月30日と記載しておりましたが、正しくは8月1日からとなりますので当該箇所を修正させていただきました。 このABCIスパコンは、東京大学(東大)の柏IIキャンパス内の東大と産総研の共同施設に設置されている。なお、柏キャンパスには国内2位のOakforest-PACSが設置されており、筑波エクスプレスの柏の葉キャンパス駅付近は、スパコン銀座となっている。 次の写真は、ABCIスパコンが設置された

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

We are excited to announce the availability of Amazon EC2 P3 instances, the next-generation of EC2 compute-optimized GPU instances. P3 instances are powered by up to 8 of the latest-generation NVIDIA Tesla V100 GPUs and are ideal for computationally advanced workloads such as machine learning (ML), high performance computing (HPC), data compression, and cryptography. They are also ideal for specif

7月28日の決算説明会で、ヤフーの宮坂社長がスーパーコンピュータ「kukai」の活用について言及。コンテンツのパーソナライズ精度向上などに役立てるという。 「kukai」（クウカイ）は、同社がExaScalerとHPCシステムズ協力のもとに開発したスーパーコンピュータ。ディープラーニング活用に特化したもので、省エネ性能の高さも特徴。2017年6月にスパコンの省エネ性能ランキング「GREEN500」で世界2位を獲得した。（関連記事） kukaiは、ディープラーニングを活用したコンテンツのパーソナライズ精度向上を目的に開発したもの。例えば、スマートフォン版のYahoo!JAPANトップページは、タイムライン形式でニュースを表示するが、「パーソナライズ精度が良くなったことで、ユーザーの滞在時間が延びている」という。 「kukaiは、ディープラーニングを使うもの全てに活用できると思っている」と宮坂

清水亮 / Ryo Shimizu ［経営者、研究者、プログラマー］ and 伊藤 有/Tamotsu Ito ［編集部］ Jul. 26, 2017, 06:00 PM テクノロジー 28,396 ヤフーのスパコン｢kukai｣。スーパーコンピューターのシステムを丸ごと非導電性の特殊な冷却液（フロリナート）に浸して冷却する液浸冷却を採用している。 Yahoo! JAPAN Yahoo! JAPAN（以下、ヤフー）は6月19日、独自のスーパーコンピューター｢kukai（空海）｣でスーパーコンピュータの省エネ性能を競う世界的ベンチマークの1つ｢Green500｣で世界2位になったことを発表した。 このkukai、あまり詳細に語られていない部分も多く、謎が多いスパコンだ。たとえば、日本の産業界ではまだ実用化の例が少ない、スパコンを丸ごと特殊な冷却液（フロリナート）に浸す技術"液浸冷却"を使って

AIやHPC（高性能計算）の分野で注目されているGPU。そのアーキテクチャの特徴や用途をまとめてみます。 以前TPUについて書いたときにも触れた通り、現在、ディープラーニングの学習や推論処理にはGPUを使うのが一般的になっています。なぜGPUを使うかというと、「安くて速い」からですが、その理由はアーキテクチャにあります。 GPUのアーキテクチャ GPUはGraphics Processing Unitの略で、その名の通り、3次元グラフィックスに必要な計算を高速に行うために専用に設計されたプロセッサです。Intelなどの汎用プロセッサは、さまざまな計算を行う必要があり、回路も複雑になっています。しかし、グラフィック計算のみを高速に行えればいいGPUは、回路がシンプルになります。 汎用プロセッサでも、最近はメニーコアになっていますが、それでも数十程度が一般的です。回路が複雑ということは、チップ

ヤフーは6月19日、ExaScalerとHPCシステムズ協力のもと、スーパーコンピュータ「kukai」（クウカイ）を開発したと発表した。ディープラーニング活用に特化し、省エネ性能の高さも特徴。「GPUを使った従来の社内環境と比べ、演算処理性能が理論上約225倍になった」という。 kukaiは、スパコンの省エネ性能ランキング「GREEN500」で世界2位を獲得。処理性能も460.7TFLOPS（1秒間の演算回数）を記録した。同社は、「大規模なディープラーニング処理を短時間・低コストで行える」理由を3つ挙げる。 まずは、最先端の冷却技術「液浸」（えきしん）の採用。ファンを使った空冷と異なり、電気を通さない特殊な液体に直接ハードウェアを漬け込むことで冷却効率を高めた。 また、米NVIDIAの最新GPU「Tesla P100」を160基搭載。液浸による効率的な冷却を可能にするExaScaler独自

NVIDIAは4月27日、都内でディープラーニングの最新動向などを紹介するイベント「NVIDIA Deep Learning Day 2016 Spring」を開催し、4月4～7日(米国時間)にかけて開催された「GPU Technology Conference 2016(GTC 2016)」の内容などを含め、日々進化を続けるディープラーニングの概要や、なぜディープラーニングにGPUが必要とされているのか、などについて紹介を行った。 エヌビディアのプラットフォームビジネス本部 ディープラーニングソリューションアーキテクト 兼 CUDA エンジニアである村上真奈氏は、ディープラーニングを学ぶ上で重要なのは「良い構造をしたディープニューラルネットワーク(DNN)のモデル」、「DNNに与えるビッグデータの量」、「GPU」の3つの組み合わせが重要だと語る。 なぜGPUが用いられるのだろうか。簡単に

レポート GoogleのAI開発を支えるディープラーニング専用プロセッサ「TPU」 - ISCA論文レビュー版から、その仕組みを読み解く GoogleがISCA論文のレビュー版を公開 Google DeepMindのアルファ碁が、トッププロ棋士の韓国の李世乭(イ・セドル) 九段を破ったのは記憶に新しい。事前には李 9段の圧勝という予想であったが、これは半年ほど前に元ヨーロッパチャンピオンとの対局した時の棋譜を見ての予想である。しかし、アルファ碁は半年の間に格段に強くなっていた。 その秘密が、AIの推論の性能を大幅に向上させた、Googleの専用アクセラレータのTensor Processing Unit(TPU)である。TPUを大量に使うことにより、先読みが深くなり、大幅に強くなったと考えられる。 TPUの存在は、2016年5月のGoogle I/Oで明らかにされたが、その詳細は公表されて

It’s that time of week again, folks. Welcome to Week in Review (WiR), TechCrunch’s regular digest of the past week in tech. New here? Not to worry — sign up here to get WiR in your i

L1データキャッシュ V100 GPUのL1データキャッシュは、SMあたり128KBのメモリを分割してシェアードメモリと共用している。FermiやKeplerでは、この構造であったが、P100ではシェアードメモリは独立の構造で、L1データキャッシュはテクスチャキャッシュとメモリアレイを分割して共用するという構造になっていた。P100が出た時は、この構造はL1データキャッシュとシェアードメモリが並列に動作できるので、バンド幅が高いというメリットが強調されていたのであるが、あれはどうなってしまったのだろうか? P100のL1データキャッシュはテクスチャキャッシュと同じリードオンリーのキャッシュであったので、コヒーレンシの問題は無かったが、V100でリードライトのキャッシュになると、どうやって各SMに存在するL1データキャッシュのコヒーレンシを取るかが問題になる。 80SMのコヒーレンシをハード

「まだ予算はついていないが、2019年前半にも人工知能（AI）の処理を1Exa FLOPSで実行できるスパコンは実現可能」。東京工業大学 教授の松岡聡氏は、インテルが2017年4月6日に開いた「インテルAI Day」に登壇し、人工知能（AI）やビッグデータ処理に向くスーパーコンピューターの開発状況を解説した（図1）。同氏は、2017年夏に稼働を始める東京工業大学の「TSUBAME3.0」（関連記事）や、2018年3月ごろの実動を目指す「AI橋渡しクラウド（ABCI：AI Bridging Cloud Infrastructure）」（関連記事）で、AIやビッグデータ処理を高速化できるアーキテクチャーの実装を進めている。 同氏はまず、AIやビッグデータ処理の計算特性は、従来のスパコンの主な用途だったシミュレーションなどと比べて本質的な違いはないが、修正すべき点もあると指摘した（図2）。その１