高度人材の育成とデータ分析業界の健全な発展に貢献してきたデータサイエンティスト協会が、「データサイエンティスト スキルチェックリスト ver.5」および「データサイエンス領域タスクリスト ver.4」を2023年10月に発表した。協会の活動や最新版に新しく追加された内容などについて、スキル定義委員の佐伯諭氏（データサイエンティスト協会 事務局長）、高橋範光氏（ディジタルグロースアカデミア 代表取締役社長）、杉山聡氏（アトラエ シニアデータサイエンティスト）の三氏に聞いた。 データサイエンティスト協会の活動――データサイエンティスト協会について教えてください。 佐伯： 2013年に発足し、データサイエンティストに求められるナレッジやスキルの定義、実態調査、情報発信、セミナー・トレーニング・検定プログラムの提供などを通じて、データサイエンティストを取り巻く環境を整備してきました。 データサイエ

アドベントカレンダー「ほぼ横浜の民」の11日目の記事です。 今年は LLM の高速化実装について書いています。私はLLMの専門家ではないですが前々から興味があったので少し勉強してみました。 この記事を読んでわかること LLMが文章を生成する仕組み torch.compile によって LLM はどのように高速化されるのか？ Speculative Decoding とは？ 背景 少し前に Accelerating Generative AI with Pytorch II: GPT, Fast という素晴らしいブログ記事を見かけました。この記事は Pytorch チームから出されたもので、素の Pytorch のみを用いて LLM の推論を 10 倍高速化できるというものでした。一体どのように 10 倍もの高速化を実現しているのか気になったので、個人的な勉強も兼ねてこの記事を書いています。

本記事内容および公開データに対して多くのご意見をいただきまして誠にありがとうございました。 プロフィール更新のご連絡をいただきましたため、一部情報を更新しております。その結果、図4の企業ランキングにてLINEヤフー社が4位群に変更となりましたことご報告いたします。 ご意見・ご指摘いただきました方々、この場を借りて御礼申し上げます。 2024.01.26更新 本記事3行要約： ● Competition Grandmasterの総数で、日本が世界TOPに躍進！！ ● 7ヶ月間で新たに15名の日本人Competition Grandmasterが誕生！！ ● 企業別では、新たに4名のGMが生まれたPreferred Networks社が最多在籍！！ ＊更新情報＊ 「Kaggle Master 分析レポート 2024版」を公開いたしました。 Grandmaster 分析レポートと合わせてご覧くだ

LLMを使ったアプリケーション開発の基礎 ChatGPT、すごく話題ですよね エンジニアの間で注目を集める ChatGPT 。「このエラーはどういう意味？」や「こんなプログラムを書いて」といった指示にも適切に対応します。有料プランでは、GPT-4 や GPT-3.5 などのモデルを選択可能です。これらは大規模言語モデル（Large Language Model: LLM）と呼ばれ、多くの組織が ChatGPT の API を活用したアプリケーション開発に着手しています。その応用例には、社内文書に基づいて回答するチャットボット、自然言語から SQL を自動生成・実行するツール、特定の口調や性格を持つ AI キャラクターなどが含まれます。 LLMアプリ開発が盛り上がっている理由 LLM アプリ開発の盛り上がりは、これまでの AI との一線を画す点に起因します。従来のチャット AI や要約翻訳

RAGを作っていると、論文に出てくる表データを読み取って回答してもらう等、表データを扱いたくなってくる場面が出てきます。そんな欲求を頭の片隅に置いておいたところ、Chain-of-Tableと呼ばれるプロンプトの手法を見かけたので試してみました。 本記事の構成は以下のとおりです。 Chain-of-Tableとは Chain-of-Tableの実装 参考資料 Chain-of-Tableとは Chain-of-Tableとは、列の追加、行の選択、グループ化、ソート等の操作を段階的にしていくことで、表データを少しずつ理解しクエリに回答する手法です。以下の例では、表データに対して「最も多くのサイクリストがトップ3に入った国は？」という質問をする例です。一般的な推論やProgram-aided Reasoningでは回答に失敗している一方、Chain-of-Tableでは、「列の作成」「行の選択

NTTは2023年11月、同社が独自開発した大規模言語モデル（LLM）「tsuzumi」を2024年3月から提供開始すると発表した。 tsuzumiのコンセプトについて、NTT 執行役員 研究企画部門長の木下真吾氏は「専門知識を持った、パラメーターサイズの小さなLLMの実現だ。tsuzumiは、パラメーターサイズを抑えつつ、言語学習データの質と量を向上させることで、軽量化と専門性を両立した」と語った。 専門知識を持った軽量LLM「tsuzumi」 tsuzumiは、パラメーターサイズが6億または70億と軽量でありながら、「世界トップクラス」（同社）の日本語処理性能を持つLLMだ。軽量なため、1つのGPUやCPUで推論動作が可能で、学習やチューニングに必要な時間やコストを軽減できるという。日本語／英語に対応する他、表が含まれる誓約書や契約書といった図表文書の視覚読解など、さまざまな形式にも対

2023年の流行語大賞にも選ばれた「生成AI」。 ChatGPTだけでなく、Google BardやClaude2など似たようなAIチャットボットも登場し、性能も日に日に上がっている感覚がありますね。 しかし、結局どれが一番賢いんだろう？と思いつつひとまずChatGPTを使っている方も多いはず。 そこで、今どのチャットAIが一番頭良いのか白黒つけてしまおう！ということで、ちょうど週末に行われた大学入試共通テスト2024を使って学力テストを行いました！ 参加する学生は、 ①GPT-4くん ②Google Bardちゃん ③Claude2さん の三名です 果たして誰が学力王の座に輝くのか・・・？ 選手入場①GPT-4くん一人目は、皆さんご存じChatGPTです。Open AI予備校に月額＄20の課金して学力武装しています。 特徴としては、プロンプトの研究が進んでおり、画像やPDFファイルの読み

本連載「Stable Diffusion入門 from Thailand」は、2024年に入って1回目。今年も「Stable Diffusion」をメインに、画像生成AI周辺の話題について入門者視点でお伝えしていきたい。 今回の話題は、Stable Diffusionを手軽に使えるユーザーインターフェースの「Fooocus」。12月13日にリリースされた新バージョン「Fooocus 2.1.831」には、画像をアップロードするとテキストプロンプト（呪文）を生成する「Describe」機能が追加されている。 画像をドラッグ＆ドロップしてボタンを押すだけ

元米Googleの著名な研究者、リオン・ジョーンズ氏とデビッド・ハー氏が東京で立ち上げたAI企業Sakana.ai（東京都港区）は1月16日、シリコンバレーのベンチャーキャピタルやNTTグループ、KDDI、ソニーグループなどから45億円の資金を調達したと発表した。 調達元はシリコンバレーのベンチャーキャピタル米Lux Capitalや米Khosla Venturesに加え、日本ではNTTグループ、KDDI、ソニーグループ、ベンチャーキャピタルのみやこキャピタルやジャフコグループなども出資した。Googleで最高AI責任者を務めるジェフ・ディーン氏や、米Hugging Face創業者CEOのクレム・デラング氏、米Scale AI創業者CEOのアレックス・ワン氏といった個人からも出資を受けた。 調達した資金は人材採用に充てる。国内外から優秀なITエンジニア人材を集め、日本に招致するという。さら

Vector DB Comparison is a free and open source tool from VectorHub to compare vector databases.

NTTドコモは1月16日、メタバース空間内のノンプレイヤーキャラクター（以下、NPC）を、テキスト入力のみで自動生成する生成AIを開発したと発表。 同社によると、メタバース業界は急速に成長し大きな注目を集めている一方で、利用するユーザー数は十分とは言えない状況であり、メタバース提供事業者の課題となっている。そこで、空間内の賑わいを創出し、群集心理の作用によりユーザーを惹きつけることにNPCが効果的であると考え、NPCを生成AIで制作できる同技術を開発した。同技術を利用することで、プログラミングやアルゴリズムなどの専門知識が無くても、外見や行動、空間内での役割を備えたNPCを20分程度で自動生成できるという。 なお、「行動ロジック生成AI」「アニメーション生成AI」「外見生成AI」の3つの生成AIで構成。「行動ロジック生成AI」の開発および、3つの生成AIを自動連携する技術の開発は独自のもの

「AIシステムを適切に利活用するためのマネジメントシステム」の国際規格を発行　経済産業省：AIの公平性や個人のプライバシーなどへの配慮についても要求 経済産業省は、AIマネジメントシステムに関する国際規格「AIマネジメントシステム（ISO／IEC 42001）」の概要を明らかにした。「これまで以上に安全なAIシステムを開発、提供、使用できるようになる」としている。

AmazonやGoogle、Meta、Apple、Microsoftといった大手テクノロジー企業は研究開発のために巨額の資金を投じており、5社の研究開発費の合計は日本の研究開発費総額(GERD)を大きく超えています。 総務省｜令和5年版 情報通信白書｜研究開発費に関する状況 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r05/html/nd241510.html Research and Development: U.S. Trends and International Comparisons | NSF - National Science Foundation https://ncses.nsf.gov/pubs/nsb20225/cross-national-comparisons-of-r-d-performance