LLMの根幹「Transformer」とは？並列処理に最適なワケ
2017年にGoogleの研究者が提唱した深層学習モデルで、チャットAI「Chat GPT」などに使われる。「どこに注目するか」を重視したことで、自然言語処理での精度や処理速度を大幅に高めた。 米OpenAIの「ChatGPT」は2022年に公開されるやいなや、その精度の高さに世界が衝撃を受けた。このChatGPTは、同社の大規模言語モデル（LLM）「GPT（Chat Generative Pre-trained Transformer）」をベースにしている。Transformerこそ、LLMの根幹である。 Transformerはエンコーダー（符号器）とデコーダー（復号器）で構成し、「どこに注目するか」を重視するアテンション機構を中心としている。大規模並列処理に向いたモデルで、GPUでの処理を想定して設計した。 Transformerは米Google Brain（現在の米Google D
生成AI時代に向けたCOBOL資産の展開とは--マイクロフォーカスのマクギルCTO
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます COBOLアプリケーションの開発・実行環境を提供するMicro Focusは、日本で4年ぶりに年次イベントをリアル開催し、最高技術責任者（CTO）のStuart McGill氏がCOBOL資産の展望などを語った。生成AIも台頭する中で企業は、COBOLの資産をどうしていくのか――McGill氏に聞いた。 まずMcGill氏は、前回のリアル開催だったイベント当時の2019年と現在（2023年）の顧客やパートナーの意識の変化をこう説明する。「われわれは、COBOLの資産をクラウドに展開しようと呼び掛けていた。現在は、顧客やパートナーから『クラウドに展開したい』と言われる。われわれにとって、これがコロナ禍の前と後での大きな変化だ」 COBOL
オープンソースで商用利用可能な大規模言語モデル「Falcon」が登場、オープンソースモデルの中では最高の性能に
アラブ首長国連邦の首都アブダビに拠点を置く研究機関「Technology Innovation Institute」がオープンソースの大規模言語モデル「Falcon」をリリースし、機械学習関連のデータ共有サイト「Hugging Face」にてモデルを公開しました。 Falcon LLM - Home https://falconllm.tii.ae/ The Falcon has landed in the Hugging Face ecosystem https://huggingface.co/blog/falcon tiiuae/falcon-40b · Hugging Face https://huggingface.co/tiiuae/falcon-40b Falconモデルは400億個のパラメーターをもつ「Falcon-40B」モデルと、70億個のパラメーターをもつ「Falco
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
ChatGPTなどの言語モデルに仕事を奪われる危険性がある職業ベスト20 (2/2) - ナゾロジー
言語モデルの影響を受けやすい職業ベスト20測定ツールは次の結果を提出しました。 以下は、ChatGPTなどの言語モデルの影響を受けやすい職業ベスト20です。 電話勧誘業者（Telemarketers）英語（国語）と英文学の教師（English language and literature teachers）外国語と外国文学の教師（Foreign language and literature teachers）歴史の教師（History teachers）法律の教師（Law teachers）哲学と宗教の教師（Philosophy and religion teachers）社会学の教師（Sociology teachers）政治学の教師（Political science teachers）刑事司法と法執行機関の教師（Criminal justice and law enforceme
)
BERT (language model) - Wikipedia
Bidirectional encoder representations from transformers (BERT) is a language model introduced in October 2018 by researchers at Google.[1][2] It learned by self-supervised learning to represent text as a sequence of vectors. It had the transformer encoder architecture. It was notable for its dramatic improvement over previous state of the art models, and as an early example of large language model
Javaではもうからない、新言語を学べ
どんなプログラミング言語を習得すれば、年収アップにつながるのか――。コードを書く技術者なら誰もが一度は考えたことのあるテーマだろう。世の中には数百種類のプログラミング言語があり、時代ごとにはやり廃りがある。それでは、現在学んでおくべきプログラミング言語は何だろうか。 その1つの答えになりうるプログラミング言語と年収の関係を示した調査結果が発表された。それが、ビズリーチが公表した「プログラミング言語別年収ランキング2018」だ。 このランキングは、ビズリーチが運営する求人検索エンジン「スタンバイ」に掲載されている正社員の求人情報（約324万件）から、プログラミング言語名が含まれる求人情報の提示年収の中央値を集計したものだ。調査では、1位が「Go」、2位が「Scala」、3位が「Python」という結果だった。 1位のGoは、米グーグル（Google）が開発したプログラミング言語だ。並列処理な
未解読のインダス文字を、人工知能で解析 | WIRED VISION
前の記事 スレの状況がわかるツール：「多様な意見」を視覚化 パソコンの瞬間オン・オフも可能に：強誘電体トランジスターに新技術 次の記事 未解読のインダス文字を、人工知能で解析 2009年4月24日 Brandon Keim J.M. Kenoyer/Harappa.com 多くの考古学者の挑戦を退けてきた古代文字が、人工知能にその秘密の一部を見破られた。 4000年前のインダス文明で使われていた記号をコンピューターで分析したところ、これらの記号が話し言葉を表している可能性があることがわかったのだ。 「含まれている文法構造は、多くの言語で見られるものと共通しているようだ」と、ワシントン大学のコンピューター科学者、Rajesh Rao博士は語っている。 インダス文字は、紀元前2600年から紀元前1900年に今のパキスタン東部からインド北部にかけて使われていた文字で、エジプト文明やメソポタミア文
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
