GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「大規模言語モデル」（LLM：Large Language Model）の1つであり、本稿執筆時点（2023年12月）の最新バージョンは「GPT-4 Turbo」です。バージョンを追うごとに、精度向上などの進化を遂げてきました。 このGPTの核となるディープラーニング（深層学習）のモデルが「Transformer」です。前述のGPTの正式名称を見直すと、「T」はTransformerのTであることがわかります。このネ
ユーザーはアプリを選ぶだけ、1日100円程度で使えるエッジAIを提供
「異能」ともいえる際立った能力や実績を持ち、周りから一目置かれるエンジニアの素顔に迫る。今月は、IoT（インターネット・オブ・シングス）を利用した人工知能（AI）ベンチャー「Idein（イデイン）」の創業者である中村晃一氏。多くの参加者を集め半ば伝説と化した「圏論勉強会」の講師としても知られる。今回は、Ideinの取り組みとその狙いについて聞いた。 エッジコンピューティングでは、オンプレミスのサーバーやクラウドではなく、デバイス側で計算を行います。今後ニーズが高まるだろうといわれています。IoTでは膨大なデータがデバイスから発生するので、送られてきたデータをすべてクラウドで処理するのは不可能に近い。そこで、エッジ側で処理するのです。 多くの開発者が、ディープラーニングなどの機械学習技術を使って、異常検知、モニタリング、データ収集などに主に取り組んでいます。そうした仕組みを実現しようとしたと
自社DCをOpenStackで全面管理、あらゆるリソースを抽象化へ
■すべての機器を「抽象化」するため、自前基盤からOpenStackへ切り替え ■ロードバランサー機能も、“サービスであるかのように”実装 日本を代表するインターネット企業であるヤフー。同社は2009年から自社データセンター（DC）内に設置した数万台規模のサーバー群の仮想化を進めている。2013年に入り、DC内の運用をより一層効率化するため、仮想サーバーの統合管理基盤として、オープンソースの「OpenStack」を採用した。2014年内には、約5万のVM（仮想マシン）をOpenStackで管理していく計画だ（図1）。
分業を嫌い続けた果ての産業衰退
1980年代後半ごろから電子産業では新たな分業がいくつか発展した。米Apple社の「iPhone」をめぐるグローバルな分業（本連載第3回）やパソコンにおける水平分業（同第4回）などが、その例である。そして半導体でも、設計と製造の分業が盛んになった。 ファブレスとファウンドリの分業 1980年代後半から半導体分野で、設計と製造を別の企業が担うという分業が発展する。半導体工場を持たないファブレスのチップ設計会社と、半導体製造サービスに特化したシリコン（Si）・ファウンドリによる分業、これが次第に広まる。 なおファブレス（fabless）という言葉は、「fabrication less」から来ている。「製造工場を持たない」という意味である。またファウンドリ（foundry） には本来、鋳物、鋳物工場という意味がある。「鋳物を鋳造するように、シリコンで半導体製品を製造する工場」といったところか。
データ検索を100万倍に高速化できるメモリー型コンピューティング技術、ベンチャー企業が開発
一般的なCPUとメモリーを組み合わせた情報処理システムに比べて、データ検索やデータマイニングなどの処理速度を従来比100万倍など、桁違いに高速化できるメモリー型コンピューティング技術を、ベンチャー企業のエイ・オー・テクノロジーズが開発している。インメモリー・データベースやビッグデータ解析、DNA解析などへの応用を目指す。 開発したのは、データベース検索チップ「Data Base Processor（DBP）」。この1月にFPGA版の試作品が完成する。共同開発者の電気通信大学 大学院 情報理工学研究科 先進理工学専攻 准教授の範公可氏が、技術の詳細を2014年2月14日に開催される科学技術振興機構（JST）主催の「分野別 ビッグデータ 新技術説明会」で発表する（関連ページ）。 これまでのCPUとメモリーを組み合わせた情報処理システムでは、データ検索などを行う際に、データを探しやすくするための
第2回 Samba 4で何ができるようになったのか
前回は、Sambaの概要とSambaの根底にあるMicrosoftネットワークについて見てきた。Samba 4になっても、Windows Serverのように振る舞うことは変わらない。ただし、実現の仕組みが変わったほか、できることも広がった。ここではSamba 4の新機能やこれまでのSambaとは異なる点について見ていく。 （1）ADにおいてDCになれる これまでのSambaにおいても、Microsoftネットワークでドメインコントローラー（DC）として振る舞うことはできた。しかし、従来のSambaで構築できるのはWindows NTドメインだった。Samba 4ではActive Directory（AD）のDCとして、ADドメインを構築できるようになった。 NTドメインとADドメインを比べた場合、ADドメインのメリットとして一番注目すべきは可用性の向上である（図1）。ADドメインではすべ
マイコンボードでmrubyを動かす
組み込み向けRubyとして、まつもとゆきひろ氏が開発した「mruby」。専用の開発ボードが複数発売され、LEGO MINDSTORMSなど様々な環境への移植が進んでいます。今回は数千円で入手できる開発ボードを実際に使って、Lチカ（LEDチカチカ）から始めてみます。 Rubyは近年、「Ruby on Rails」の普及などにより、Webアプリケーションを開発する言語して注目されてきました。しかしRubyは、Web専用の言語というわけではありません。RubyでiOSアプリを構築できる「RubyMotion」や、Androidアプリを構築できる「Ruboto」のように、様々なアプリケーションを構築できる環境があります。 そんな中、Rubyの活用範囲をさらに大きく広げる「mruby」が2012年4月にリリースされました。mrubyはRubyの作者である、まつもとゆきひろ氏が中心となり、組み込み機器
面白い！「学生プログラマ日本一決定戦」観戦記
2013年1月19日、東京都港区六本木の「ニコファーレ」で、一風変わった催しがあった。舞台に上がった2人の「選手」が試合をするのだが、2人はただ座って、画面上で進むパズルゲームの成り行きを見守るだけ。一定時間が経過すると「WIN」「LOSE」という結果が表示されて、勝敗が決する。 この試合を、会場では約100人が「観戦」した。「ニコニコ生放送」でもインターネット中継され、約4万6000人もの視聴者がいた。会場からは時折「おお」「すごい」といった歓声が聞こえてくる。何も知らない人が通りがかったら、スポーツの試合だと見間違えそうだ。 学生限定の「競技プログラミング」大会 ここでは、リクルートキャリアやチームラボなど人材・IT関連企業4社が主催するプログラミングコンテスト「学生プログラマ日本一決定戦 CODE VS 2.0（コードバーサス2.0）」の決勝トーナメントが行われていた（写真1）。 C
2013年に通信業界は「停滞」に直面、フィーチャーフォンへの一時的な回帰も
毎年この時期になると、打ち合わせや宴席で、「来年の通信業界はどうなりますか？」と尋ねられる。実際に予算計画などの参考にする方もいると聞かされ、最近は夏が終わったころからじっくり考えるようになった。 国内の携帯電話市場に限っても、すべてを見通せるものではない。ただ、あえて一言で表すなら、残念だが「停滞」という時期を迎える予感がする。 地方でのスマホ普及は足踏み状態か まず世の中全体の景気が芳しくない。通信産業は比較的景気変動に耐性があると言われるが、それでも端末販売には一定の影響が及ぶ。 先日JEITA（電子情報技術産業協会）が2012年9月の国内メーカー製携帯電話の出荷台数を発表したが、前年同月比で93.4%と5カ月連続の前年割れを記録した。出荷に占めるスマートフォン比率も6割を割り込んでいる。 同発表には韓国サムスン電子や米アップルが発売する端末の台数は含まれていない。またiPhone
やわらか頭でアルゴリズムを10倍生かす
柔軟な発想で問題を定式化できれば、定番のアルゴリズムを驚くほど広い範囲に適用できます。 トップクラスのプログラマが問題を解く際にどのように考えているのかを紹介します。 目次
第1回 幅優先探索の基本
皆さんは、アルゴリズムと聞いて、何を思い浮かべますか？ 多くの人は「プログラミングの基礎技術で、学ぶべきもの」という認識を持っていて、実際に書籍などで学習したことのある人も多いでしょう。しかし、一方で「実際にプログラミングを行う上では何に役立つかよくわからない」とも感じているのではないでしょうか？ 例えば、アルゴリズムの書籍では様々なソートアルゴリズムが紹介されていますが、一つ覚えてしまえば実用上困らないでしょうし、そもそも大抵の言語にソート関数は標準で用意されています。最短経路問題を解くことができるダイクストラ法は非常に有名なアルゴリズムですが、実際に自分のプログラムで使ったことがある人はほとんどいないのではないでしょうか？ そういった、使いどころが見いだせない「アルゴリズム」を、具体的な問題に対して適用していく際の考え方を紹介しようというのが、この特別連載です。ここでは数あるアルゴリズ
「ファブレスになっただけでは儲からない」、ザインとQualcommから成功への要件を聞いた
かつてIDM（integrated device manufacturer）であることを強みとしていた国内半導体メーカー。それも今は昔。最近では、コスト削減のために、ファブライト化やファブレス化を推し進めている。当たり前だが、ファブレスになったからといって、それだけで成功が約束されるわけではない。成功には何が必要なのか。日本と米国のファブレス大手である、ザインエレクトロニクスと米Qualcomm, Inc.（クワルコムジャパン）それぞれの講演で、複数の成功への要件を聞くことができた。 両社の講演は共に、「Fabless時代のDFMセミナー」（メンター・グラフィックス・ジャパンが2012年8月3日に東京で開催）で行われた。以下、それぞれの講演のポイントを紹介する。最初にザインエレクトロニクス。ディスプレイ周りの高速インタフェースLSIに強い同社は、国内ファブレス半導体メーカーの代表と言える存
アールエスコンポーネンツ、小型Linuxボード「Raspberry Pi」の法人向け販売を開始
アールエスコンポーネンツは2012年7月23日、手のひらサイズの低価格ボードコンピュータ「Raspberry Pi」（写真）の法人向け販売を開始したことを発表した。同社が運営する直販サイト「RSオンライン」で注文を受け付ける。Raspberry Piは、ARMプロセッサーを搭載し、Linux OSを動作させることを前提とした組み込み向けボードで、非営利団体である英ラズベリーパイ財団が開発を進めている。 Raspberry Piは従来、グループ企業である英RS Componentsが運営する専用サイトにおいて、「クレジットカードあるいはPayPalを使った英ポンド/ユーロ/米ドルでの決済」という条件でのみ注文を受け付けていた。一方、RSオンラインでは、商品代引きや銀行振り込みなどの取引方法を利用できるようになっており、日本円を使って決済できる。 また、人気の高さからRaspberry Pi専
魅力を増す中国製タブレット、粗悪品イメージは過去の話
中国製Android タブレット端末の魅力が急速に増している。品質や性能面の向上が著しく、2年前に「中華Pad」と揶揄（やゆ）されていた頃とは一線を画す状況だ。特に動画再生性能の高さには目をみはるものがある。 低価格だが性能や品質が低く実用に耐えない――。そんな「中華Pad」のイメージが覆りつつある。2011年末頃から、軽量で高性能な端末が続々と発売されているからだ。 イメージアップに大きく寄与したのが、2011年秋頃からアジア製タブレット製品の多くで採用されている中国Allwinner Technology社（全志科技）のSoC（システムLSI）「Allwinner A10」（以下、A10）。A10のCPUコアは、1GHz動作のCortex-A8（ARMv7-Aアーキテクチャー）で、それほど高性能とは言えないが、2160p動画の再生に対応するなど強力な動画再生支援機能を持つのが大きな特徴
【DAC 2012】「検証専用のデータ・センターを新築」、ARMの共同創業者のMulle氏が基調講演
49th Design Automation Conference（2012年6月3日～7日に米カリフォルニア州San Franciscoで開催）では、国際会議は5日の火曜日から本格的にスタートした。まず、朝一番に各種の受賞式などのセレモニーが行われ、その後で最初の基調講演が始まる。
［第5回］Hadoopクラスターのアーキテクチャー MapReduce編
Apache Hadoopが登場したのは2006年。2011年にビッグデータ元年を迎えた日本でも、Apache Hadoopは有名になりました。Apache Hadoopとのコネクティビティーを強く意識し始めたソフトウエアベンダーは、DBベンダーにとどまらず、BI（ビジネスインテリジェンス）やDWH（データウエアハウス）ベンダーにも広がっているようです。 しかしHadoopの応用は一筋縄ではいかないことも事実。今回はクラスターでのMapReduceの動作アーキテクチャーを、2012年6月現在世界中で最も使われている従来の0.20系（バージョン1）と、今後利用されていく最新の0.23系（バージョン2）の両方について解説しましょう。 0.23系にはMapReduceの部分で大きな変更があります。0.20系の解説を一通り学んだだけで「Apache Hadoopの概要は大体理解した」と安心してはい
米デルがARMサーバー参入へ、ソフトの検証環境を提供
写真2●「Copper」を構成するブレードサーバーには、ARMプロセッサ「Armada XP」が4個載っている 米デルは現地時間2012年5月29日、ARMプロセッサを搭載したサーバーを提供する計画を明らかにした。主にウェブのフロントエンドやHadoopなどスケールアウト型の用途で、省電力化やコスト低減の効果が見込めるという。 同社はソフトウエア検証用のARMサーバー「Copper」を開発済み（写真1）。既に一部の顧客に提供しているほか、同社のデータセンターなどを通じてCopperをリモートで利用できるようにするという。将来はCopperの一般販売も計画している。 Copperは、1.6GHz動作のARMコアを4個搭載した米マーベル・セミコンダクターのSoC（System on a chip）「Armada XP」を採用したサーバー（写真2）。3Uのきょう体に、SoCと2.5インチHDDを
「LANを使うけどコンピュータ通信じゃない」新技術ExpEtherへの疑問にNECが回答
NECは2012年5月24日、コンピュータ内で拡張カードなどを接続するために使われているシリアルバス規格であるPCI Express（PCIe）を、Ethernet（イーサネット）を利用して延長できる技術「ExpEther」（エクスプレスイーサ）に対応した製品群を発表した（写真1、関連記事：NEC、PCIe機器をイーサ経由で外付けできる「ExpEther」商用化、阪大に600台先行納入）。 ExpEtherを使うことで、拡張スロットの数が少ないスモールファクタ（小型）のサーバー機などでも、必要な数だけPCIe対応拡張カードを追加利用できるようになる。だが、実用性はどうなのかどうしても疑問も沸く。 例えば、パケットベースでデータをやり取りする点は同じとはいえ、コンピュータ内部でのデバイス接続のように高速性や低遅延性が必要な領域の技術であるPCIeを、イーサネットLANのような（PCIeに比べ
百度、クラウドベースの独自OSを搭載した低価格スマートフォンを発表
中国検索大手のBaidu（百度）は現地時間2012年5月15日、独自OSを採用した低価格スマートフォン「Changhong H5018」を発表した。リリース時期については明らかにしていないが「近い将来」発売するとしている。販売価格は1000人民元（約1万2000円）未満となる見込み。 Changhong H5018は、クラウドベースのモバイルプラットフォーム「Baidu Cloud Smart Terminal」を搭載し、「Foxconn（富士康）」ブランドを展開する台湾Hon Hai Precision Industry（鴻海精密工業）が製造する。3.5インチのタッチ式ディスプレイを備え、第3世代（3G）ネットワーク接続をサポートし、300万画素のカメラを内蔵する。中国キャリア大手のChina Unicom（中国聯通）との提携を通じて販売する。 Baidu Cloud Smart Ter
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「スマホのCPUの電力を70％以上減らせる」、ARMのbig.LITTLE技術