自然言語処理の要、単語の意味をコンピュータに理解させる仕組みとは
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 ニューラルネットワークの基礎を理解したところで、ここからは自然言語処理（NLP）の基礎を解説することにしましょう。お待たせしました。いよいよChatGPTの仕組みに近づいてきました。 最初は、単語の意味をコンピュータに理解させる仕組みの説明をします。 自然言語処理は、文章の分割から ここに、ある文章があったとします。この文章の意味や、単語の意味をコンピュータに理解させるには、どのようにしたらよいでしょうか？ そう、まずは前述の画像認識と同様ですね。文章を細かく分割して、どこが単語なのかをわかるようにするのです。 では、前処理として、入力された文章を単語に分割します（図7の（1））。次に、分割した単語を列挙します。
「見積もりが出ない」「利用できない」、値上げだけではないVMware問題の深刻度
米Broadcom（ブロードコム）による米VMware（ヴイエムウェア）買収によってユーザー企業が被った悪影響は、製品の値上げだけではなかった。ライセンス更新に必要な見積もりが遅延したり、製品のアクティベーション（有効化）ができなくなったりするなど、ユーザー企業が様々な困難に直面している。 届かない見積もり、保守切れのまま運用へ 「見積もりが全く届かない。早くどうにかしてほしい」――。 悲痛な声を寄せるのは、自社のプライベートクラウドでVMware製品を使うあるユーザー企業A社の担当者だ。A社は自社のプライベートクラウド基盤にVMware製品を使い、複数の業務システムを動かしている。2024年5月末に使用するVMware製品の保守期限が終了する予定だったことから、2024年2月末に保守更新の見積もりをリセラーに依頼したが、2024年6月18日時点でも正式な見積もりの提示がないという。 「リ
最大20倍の値上げも、ブロードコムのVMwareライセンス変更で顧客から悲鳴
「VMware製品を扱うリセラーから、突然ライセンスの契約更改を迫られた」「実質年間1億円の値上げになるシステムもあり、どうしたものか困っている」。2024年5月、日経クロステックに大手金融機関で情報システム部門の管理職を務めるA氏から悲鳴の声が寄せられた。 きっかけは2024年4月。同社の香港拠点から日本本社に対し、「VMware製品のライセンス変更の通知メールが来ており、どう対応すべきか悩んでいる」との相談が届いた。米国や欧州、東南アジアなどの拠点にも、同様の通知があったという。 変更の影響を試算したところ「現状と比べて最大20倍の値上げになるものもあった」（A氏）。中には「1週間以内に応じない場合、さらなる値上げに踏み切る」といった「半ば脅しのような内容もあった」（同）という。 海外拠点からの相談を受けて、同社が国内本社の状況を調べたところ、同社グループのシステム関連会社宛てにも、国
次の主役「生成AIエージェント」、GoogleやOpenAIがまだ出さない怖い理由
今週、2024年5月第3週は、米OpenAI（オープンAI）と米Google（グーグル）が相次ぎ、生成AI（人工知能）の新機能を発表した。しかし期待されながらもリリースされなかった機能があった。生成AIが様々なアプリケーションをユーザーに代わって操作する「生成AIエージェント」だ。 今の生成AIの主役は「チャットボット」であり、ユーザーの指示（プロンプト）に対して返事をしてくれるだけだ。しかし生成AIエージェント（AIエージェントとも呼ばれる）は外部のプログラムをAPI（アプリケーション・プログラミング・インターフェース）やUI（ユーザーインターフェース）経由で操作できるので、ユーザーの指示に従って様々な作業をしてくれる。 ユーザーに代わって「商品の返品」を処理 実際にグーグルのSundar Pichai（スンダー・ピチャイ）CEO（最高経営責任者）は2024年5月14日（米国時間）に開催
不要な製品の購入を強いられる、ブロードコムのVMware買収で悪影響
IT業界で古くから使われてきた言葉にFUD（Fear Uncertainty Doubt）がある。顧客にあえて恐怖、不確実性、疑念を持たせるやり方をそう呼ぶ。米ブロードコムが米ヴイエムウェアの買収に伴ってまき散らしたFUDは、この規模のテクノロジー企業買収で前例がないほど大きい。 買収後の2カ月間でヴイエムウェアの従業員数千人を解雇した。ヴイエムウェアが米デル・テクノロジーズと共に築いてきた、世界6万5000社とのパートナープログラムを終了させ、パートナー企業に再申請を強要。パートナーが保持してきた上位2000件の顧客をブロードコムの顧客に切り替えた。 2024年2月中旬から4月上旬にかけて、ヴイエムウェアの仮想化ソフトウエア製品群を利用している全顧客に対し、売り切りの永久ライセンス廃止を通告、サブスクリプションベースのライセンスへの移行を求めた。この通告はパートナーを通じて行われた。 通
あれもこれも「ノーコード」、このままだと未来はない
最近「ノーコード」を称するツールが多々登場している。Webサイトを構築できるもの、簡単なデータ管理アプリケーションを作成できるもの、参照用データを用意してチャットボットをつくるものなど、それぞれのツールが得意とするアプリケーションは多岐にわたる。 プログラムを記述することなく何らかのアプリケーションソフトを開発できるので、ノーコードという名に誤りがあるとは言いがたい。ただ、いろんなツールがノーコードを称するので何を指す言葉なのか分からなくなっている。 実は以前、社内で記者から「ノーコードの未来ってどう思います？」と問われたときに、「駄目でしょ」と答えた。前述の通りそれぞれのツールが対象とするものが全く異なっていて、ジャンルとして成り立っていないからだ。ノーコードなのはむしろ結果であって、そもそも対象とするアプリケーションを手軽に作れる点に目的があったはずである。
データセンター建設が住民の反対で頓挫、大規模化と住宅近接で「迷惑施設」扱い
千葉県流山市のデータセンター（DC）の建設計画が、地域住民の反対で頓挫した。かつてDCは都心部の商業地域や工業地域に建てられることが多かった。ところが近年は大規模DCが住宅のある郊外地域に作られるようになったことで、住民から「迷惑施設」扱いされている。立地に細心の注意を払わなければ、今後もDC建設は頓挫しかねない。 千葉県流山市：第一種住居地域だった土地に大型DCの建設計画 2023年12月に頓挫したのは、東京都渋谷区に本社を置く「流山綜合開発K」という企業が、流鉄流山線流山駅の駅前、流山市役所の目の前にある1万2877平方メートルの土地で進めていた、地上4階・地下1階建てで高さ28メートルのDC建設計画だ。流山綜合開発KはこのDC開発のために設立した特定目的会社だ。 開発区域はもともと「飛地山」と呼ばれていた場所で、ある企業の保養所が建てられ、山は樹木に覆われていた。2018年ごろにマン
不登校になりそうな児童生徒をAIが予測、戸田市の教育データ活用実証が示したこと
不登校をAI（人工知能）で予測する――。こんな取り組みが2024年3月末まで埼玉県の戸田市で行われていた。2023年11月に戸田市内のパイロット校で試行を始め、同年12月から同市内の公立小学校12校、同中学校6校の計約1万2000人の児童生徒のデータを分析対象に、「不登校予測モデル」構築の実証をした。事業はこども家庭庁の「こどもデータ連携実証事業」として戸田市が受託し、内田洋行、PKSHA Technologyグループとともに進めたものだ。 不登校リスクモデルの目的は学校現場での「プッシュ型支援」につなげること。いち早く不登校の兆候がある児童生徒を把握し、教員が事前に支援する。自らSOSを発信できない児童生徒に対しても、先手を打って手を差し伸べる。経験の浅い教員でも支援のきっかけを得られる。 一方で個人の、それもネガティブと捉えられる傾向を予測する取り組みは、データの取り扱いだけでなく判定
ChatGPTをカスタマイズした独自AIを作成、ストアで広く提供できる「GPTs」
米OpenAIのチャット型AI「ChatGPT」を基に、言語学習やカスタマーサポートなど、特定用途向けにカスタマイズしたAIを作成できるサービス。作成したAIを集めたストアで、広く提供することも可能。 米OpenAIは2023年11月、同社のAIチャットサービス「ChatGPT」をカスタマイズして独自のAIチャットサービスとして提供できる機能「GPTs」の提供を開始した。GhatGPTの有償版サービス利用者向けに提供する。 GPTsはChatGPTのスマホアプリからは作成できず、Web版サービスから作成する。プログラミングの知識は不要で、やりたいことをチャットで説明すると、その内容に沿ったGPTsが自動作成される。プレビュー画面で動作を確認しながら、チャットでさらにカスタマイズして、アイデアさえあればGPTsを作成できる。 GPTsはファイルをアップロードしたり、APIを使って外部のデータ
VMwareパートナー企業が困惑、ブロードコムが契約更改を通告
VMwareブランドの製品を取り扱うリセラーやサービスプロバイダーの間でFUD（不安・疑念・不信）が広がっている。2023年11月に米ヴイエムウェアの買収を完了した米ブロードコムの強引なパートナー契約見直しが発端である。 憤るパートナー企業 総売上高数千億円クラスの国内リセラー兼システムインテグレーターの幹部は説明する。「ヴイエムウェアの製品・ライセンス体系、パートナープログラムなどを大幅に変更する旨の通知がきたものの詳細な情報がない。当社は今後もVMware製品を顧客に提供・サポートできるようにパートナー契約を継続したい。新たな契約条件を提示するよう依頼したがまだ返事はない。パートナー契約を一方的に破棄された状態に近い」。 別のサービスプロバイダーの役員は「ブロードコムのホック・タン社長兼CEO（最高経営責任者）は、ヴイエムウェア買収完了の1週間前に日本で開催したVMware Explo
英郵便局の一大冤罪事件をめぐり、英国で富士通にはげしい非難の声
「英国のメディアや議会が富士通を激しくたたいている。最悪の場合、10億ポンド（約1570億円）の補償金を支払わされる上に、偽証の汚名まで着せられかねない」。富士通の元役員は新年早々、電話でまくしたてた。富士通は英ポストオフィスが引き起こした一大冤罪（えんざい）事件に責任があると指弾されている。英ガーディアン、英BBCニュース、英コンピューターウイークリー、英ザ・レジスターといったメディアが続々と報じた。 富士通システムを信じ、職員を訴え 英ポストオフィスは英国有企業で全国に1万8000ある郵便局のリテール部門を担う。同社はHorizonと呼ぶ基幹システムの残高と郵便局の現金残高が合わなかったことを理由に、2000年から2014年にかけて736人ものサブポストマスター（郵便局長に相当）や郵便配達員を窃盗、横領、詐欺で訴え、有罪判決を受けたり弁償させられたりした人が続出した。その後の調べでHo
「ダイハツ不正は設計が主導」、開発現場の知見が薄い調査報告書の中身
1989年から不正行為が見られ、特に2014年以降に不正が増加していることが判明した。不正の原因については「短期開発の強烈なプレッシャーの中で追い込まれた従業員」にあると分析した。（写真：日経クロステック） だが、この報告書の内容を「自動車メーカーで仕事をしたことがある人間なら誰も信じない」と自動車メーカーで開発設計者（以下、設計者）を経験したコンサルタント（以下、自動車系コンサルタント）は語る。「技術検証力が不足した報告書」と断じるのは、同じく自動車メーカーの開発設計出身のアナリスト（以下、自動車系アナリスト）だ。 第三者委員会は調査に約7カ月もかけていながら、生々しいクルマづくりの現場の実態を知らないため、不正の本丸に切り込めなかった。同委員会の貝阿弥誠委員長が自ら、調査には「限界がある」と認めている。そして、ダイハツ工業はそれをよいことに、「本当の事」を言わずに隠蔽を決め込んだ。こう
生成AIがクラウド勢力図を一変、MS・Google・AWSの決算に見る明暗
ChatGPTの登場から1年が過ぎようとするなか、生成AI（人工知能）の主戦場はモデルそのものの優劣から、企業が実際のアプリケーションにAIをどう組み込むかという段階に移りつつある。企業が自前の生成AIを利用する鍵となるのが、クラウド大手が提供するAI開発プラットフォームだ。足元の業績では米Microsoft（マイクロソフト）が一歩リード。米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）と米Google（グーグル）はどう巻き返すのか。決算から各社の競争力を分析する。 「AIによって3ポイントの増収効果があった」。米国時間2023年10月24日にマイクロソフトが開いた2023年7～9月期決算の説明会で、同社のエイミー・フッドCFO（最高財務責任者）はクラウド基盤「Azure」の好調さがAIに支えられていると分析した。早くもクラウドにおいて生成AIが収益化の段階に
Google Cloudが日本語対応PaLM2を一般提供、課金は文字数ベース
グーグル・クラウド・ジャパンは2023年8月22日、東京都内で生成AI（人工知能）に関するイベント「Google Cloud Generative AI Summit Tokyo」を開催し、日本語に対応した基盤モデルの「PaLM2」や「Codey」のクラウドサービスを一般提供し始めたと発表した。 PaLM2は米Google（グーグル）が開発した最新の大規模言語モデル（LLM）で、CodeyはPaLM2をベースにしたソースコード生成・補完用のモデルである。Google Cloudは機械学習クラウドサービスであるVertex AIの中で、両モデルを企業向けに提供し始めた。ユーザー企業は同サービスを利用することで、自社の業務アプリケーションのバックエンドにPaLM2を組み込んだり、Codeyを使ったソフトウエア開発の自動化などができたりするようになる。 グーグル・クラウド・ジャパンの小池裕幸上級
日本における「名寄せ」と「照合」の黒歴史
健康保険証、銀行口座、年金記録――個人のマイナンバーに別人の情報がひも付けられるトラブルが後を絶たない。多くの事案に共通するのは、自治体や関係機関の職員が氏名や生年月日などを基にマイナンバーや住民データを照会した際に、誤って同姓同名の人の情報を引き出してひも付けてしまうというケースだ。 こうした情報のひも付けをする際、職員が住民データの照合や突合、本人確認に使うのが「氏名」「生年月日」「性別」「住所」、いわゆる基本4情報といわれるものだ。 だがこの4情報は、コンピューターによる自動処理とは絶望的に相性が悪い。例えば氏名は「邊」「邉」など旧字・異体字の揺らぎや外字の処理が煩雑なうえ、婚姻による改名もある。よくある氏名の場合、氏名も生年月日も同一というケースが頻発する。住所は時期によって変わるうえ、人によって書き方が「一丁目四番」から「1―4」まで一意ではない。 こうした曖昧な識別符号を代替す
LLMの回答精度を高める プロンプトは具体的に
生成AIの潮流はとまらず、いずれ現場で使わざるを得なくなる。本格利用に向けて必要なスキルやノウハウを先取りしよう。 まず必要なのはLLMの出力を自力でコントロールできるように「カスタマイズ」するスキルだ。想定外の回答ばかり繰り返されては、業務効率を高めるどころか逆に下げかねない。 自力でコントロールする方法は大きく3つある。「プロンプトエンジニアリング▼の有効活用」「既存LLMのファインチューニング」「LLMの自作」――である。 ただ最後のLLMの自作は現実的ではない。深層学習に対する深い知識と大量のデータセットの収集、高性能なハードウエアなどが必要となるからだ。 今の段階では、既存LLMの活用を第一に考えるべきであり、その方法が「プロンプトエンジニアリングの有効活用」と「既存LLMのファインチューニング」となるわけだ（図4-1）。いずれもLLMに対していかに必要な知識を学習させるかがポイ
相も変わらず「ソフトを他人に作らせる日本、自分で作る米国」
ある会合で話をしてほしいと言われた。会合の趣旨を聞くと「日本がなぜITの利用で劣後してしまったのかを考えること」と説明してくれた。演題を考えているうちに「ソフトを他人に作らせる日本、自分で作る米国」という一言が浮かんだ。 この言葉は10年近く前、2013年12月に出版した拙著の書名である。元々は日経ビジネスオンライン向けに書いたコラムに付けた題名であり、そのコラムを同書の巻頭に再録した。 「日本企業は自社で利用するソフトのほとんどをIT（情報技術）企業に開発させているのに対し、米国企業はソフトを内製する比率が高い」「日本のソフト開発技術者の大半はIT企業に所属するが、米国のソフト開発技術者の大半はIT企業ではなく一般企業に所属している」、これがコラムの内容であった。ここでいうソフトはコンピューター上で動かすプログラムのことである。 これ自体はソフトの内製化と言われる問題だ。実は同書の主題は
今度は徳島市でも判明、止まらない富士通Japan巡るコンビニ誤交付トラブル
マイナンバーカードを使ったコンビニ証明書交付サービスで、別人の住民票などが発行されるトラブルが立て続けに発生した問題を巡り、新たに徳島市でも誤発行が発生していたことが2023年5月11日までに分かった。サービスの提供ベンダーは今回も富士通Japanだ。 徳島市によると、同年3月27日、徳島市に住民票を置く住民が徳島県小松島市のコンビニでマイナンバーカードを使って住民票の発行を申請したところ、別人の戸籍証明書が誤交付されたという。具体的には、3枚つづりになっている戸籍証明書のうち、2枚目のみが印刷された。誤った証明書を受け取った住民はコンビニの店員に当該証明書を渡し、返金を受けたという。 トラブルは、地方公共団体情報システム機構（J-LIS）が検知したアラートによって判明した。同日の夜にJ-LISから徳島市にシステムエラーの可能性について連絡が入った。徳島市は即日、コンビニ証明書交付サービス
川崎市のコンビニ交付で他人の戸籍書類出力、市独自の富士通Japan製システムに原因
川崎市は2023年5月2日、市民がコンビニエンスストアでの証明書交付サービス（コンビニ交付）を利用した際、別人の証明書が出力されたと発表した。市は同日午後1時30分ごろにコンビニ交付を休止した。 住民票の写しや印鑑登録証明書など、調査の結果不具合の影響がないと判明した証明書の交付は、5月3日午前6時30分に再開した。戸籍の付票の写しと戸籍証明書の交付は、5月8日午後4時50分時点で休止したままである。
生成AIはムーアの法則の申し子、ChatGPTを開発できない日本が忘れていた視点
半導体の集積度（集積回路のトランジスタ数）は2年ごとに倍増する─。IT関係者なら誰もが知る「ムーアの法則」だ。2023年3月24日に94歳で死去した米インテルの共同創業者ゴードン・ムーア氏が提唱した。 ムーア氏が1965年にこの見解を最初に表明した際には「少なくとも10年間は毎年2倍になる」としていた。10年後の1975年に「2年ごとに倍増する」と修正したが、その後50年近くにわたりムーアの法則は修正する必要がなかった。2年で倍増なら10年で32倍になる。すさまじい勢いで半導体の集積度は高まり、それに伴いコンピューターの性能も急速に向上した。 IT関係者には常識のムーアの法則だが、日本ではこの法則の「有効活用」はできなかった。なぜならば、多くのIT関係者がムーアの法則を半導体産業のトピックと捉え、コンピューターなどハードウエア製品への影響ぐらいしか意識していなかったからだ。 ハードウエア面
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
