人文系大学生〜学部卒の方々を念頭に置いた講演でのスライドです。Enjoy！ ＊書籍：林岳彦著『はじめての統計的因果推論』（岩波書店）の情報はこちら→ https://www.iwanami.co.jp/book/b639904.html

はじめに 背景 タスクランナーを導入するモチベーション パラメータ管理ツールを導入するモチベーション 実現したいこと モデルや環境に依存しないタスクによるパイプラインの操作 共通部分と環境特有部分を分離したパラメータ定義 パラメータ定義の構造化 実装方法 利用するツール パラメータファイル 構造化パラメータのマージ処理の実装 おわりに はじめに enechain データサイエンスデスク エンジニアの藤村です。 enechainでは市場活性化を目的として、機械学習や最適化アルゴリズムを用いて電力や燃料などの商品に関する指標を算出し、社内外に提供しています。本稿では、これらを算出するモデルの構築・運用を効率化するために作成した、タスクランナーinvokeとパラメータ管理ツールhydraを一体化したシステムを紹介します。 背景 タスクランナーを導入するモチベーション 機械学習モデルの構築・運用に

クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力

はじめに みずほリサーチ＆テクノロジーズ株式会社の@fujineです。 いきなりですがAIエンジニアの皆さん、scikit-learnが実験的にGPUに対応していたこと、ご存知でしょうか？ scikit-learnは機械学習分野における古参パッケージの1つです。多様な機能を提供する一方、FAQにて「GPUに対応する予定はない（キリッ）」と公式宣言しており、scikit-learnが好きな自分としては「勿体無いなぁ」と常々感じていました。 そんな中、何気なくRelease Highlights for 1.2を読んでいたら以下文面を発見！しかも約半年前の2022年12月にリリースされてる… Experimental Array API support in LinearDiscriminantAnalysis Experimental support for the Array API sp

『Pythonによる金融テキストマイニング』（朝倉書店）を読みました。180 ページ弱で金融関連文書を題材にした話題がまとまっていて、この領域に飛び込む初学者向けに紹介しやすい書籍だと感じました。 www.asakura.co.jp 章立てを以下に示します。第 1 章で全体像を示した後、第 2 、 3 章で開発環境構築と MeCab などのツール・ライブラリを紹介します。第 4 章から第 7 章は、応用事例です。最後に第 8 章で、書籍内で扱えなかった話題や将来展望を解説しています。 金融テイストマイニングの概要 金融データ解析・機械学習の環境構築 テキストマイニングツールの使い方 多変量解析を用いた日銀レポート解析と債券市場予測 深層学習を用いた価格予想 ブートストラップ法を用いた業績要因抽出法 決算短信テキストからの因果関係の抽出 金融テキストマイニング応用の課題を将来 まず、第 4

PEP 686 – Make UTF-8 mode default Author: Inada Naoki <songofacandy at gmail.com> Discussions-To: Discourse thread Status: Accepted Type: Standards Track Created: 18-Mar-2022 Python-Version: 3.15 Post-History: 18-Mar-2022, 31-Mar-2022 Resolution: Discourse message Table of Contents Abstract Motivation Specification Enable UTF-8 mode by default locale.getencoding() Fixing encoding="locale" option B

寺田 学（@terapyon）です。2024年4月の「Python Monthly Topics」は、Python Web UIフレームワークの1つであるStreamlitを使ってWindowsやmacOSのデスクトップアプリを作る方法を解説します。 目的⁠・モチベーション Pythonで自動化のスクリプトを作ったり、JupyterLabやColaboratoryでデータの可視化を行うことがあります。これらを作成者以外の多くの方に利用してもらう方法として、Webシステムやデスクトップアプリとして提供する方法が考えられます。 Webシステムの構築やデスクトップアプリの作成となると、技術的なハードルがあります。他には、時間的なコストに見合わないという状況もあり得ます。 Python Web UIフレームワークを使うことで、比較的少ないコードでWeb UIからスクリプトの実行や可視化をするアプリ

こんにちは。XI 本部AIトランスフォーメーションセンター所属の山田です。 先日、部内の勉強会でAzure AI Searchについて紹介したので、テックブログでもその内容を紹介したいと思います。 Azure AI Searchとは？ Azure AI Searchに保存されるデータに関する用語と概念 Azure AI Searchのスケーラビリティに関する用語と概念 Azure AI Searchでサポートされる検索の仕組み 全文検索について Azure AI Searchのアナライザー ベクトル検索について ベクトルの近傍検索アルゴリズム ハイブリッド検索 検索インデックスのスキーマ設計 検索インデックスにドキュメントを追加する方法 Pushモデル Pushモデルを利用する場合のアーキテクチャの例 Pullモデル Pullモデルを利用する場合のアーキテクチャの例 インデクサーの計算リソ

「Memory updated」にカーソルを合わせると記録された内容と「Manage memories」ボタンが表示され、ここからMemory管理画面に移行できる。ここで記録されたくない項目を削除できる。 Memoryに記憶させた項目については、以降は指定しなくても自動的に反映される。例えば上記の例では「会議を要約して」と依頼するだけで、見出し、ポイントの箇条書き、最後のまとめを含む要約が提示される。 EnterpriseおよびTeamsプランでもMemoryが利用可能になる見込みだ。また、GPTの開発者は、自分のGPTのメモリを有効にできる。GPTのMemoryに記録した項目が開発者と共有されることはない。 関連記事 OpenAI、ChatGPTに会話を記憶させる「Memory」テスト開始　初期設定はオン OpenAIは、ChatGPTに会話を記憶させる「Memory」機能のテストを開始

本記事では、「Adaptive-RAG」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、Adaptive系で現在、最も「コスパ」が良いとされる「Adaptive-RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの回答精度を高めるための手法です。韓国科学技術院（KAIST）の研究者らによって2024年3月に提案されました。「Adaptive-RAG」という手法を使うメリットは、ユーザーからの入力としてシンプルな質問・複雑な質問、どちらも想定される場合に、「そこまで遅くなりすぎずに、ある程度の回答精度がでる」という点

60行スクリプトシリーズ第二弾。前回はこちら この記事はMultiAgent作成フレームワーク「LangGraph」に興味がある人が手っ取り早く動かしてみることを目標にした記事です。 この記事を見てできること 指定のお題に対して、関数で定義したツール実行（Web検索など）をする。 実行結果を元に答えを返す。答えがわかるまでツール実行を繰り返す。 このワークフローの拡張性も意識して、組み込みのワークフローは利用しない方針で作成しています。 まずはセットアップ # 必要なライブラリをインポート import argparse from langchain_community.tools.tavily_search import TavilySearchResults from langchain_openai import ChatOpenAI from langgraph.checkpoin

LangChain なんか使わなくてもシュッと作れたので記事にしておく。 RAG とは 生成AIに検索能力をもたせるやつ。 要は検索機能をこちらで提供してやって、AIにそれを読ませる。 AnthropicAI Tool OpenAI でいう Function Calling JSONSchema で関数シグネチャを与えると、それを使うDSLを生成する。実際の関数は自分で実装して、AI が生成した引数(JSONSchema に従う)を渡す。 TypeScript の Mapped Types でツールの実装部分に型をつける簡単なラッパーを書いた。 RAG の CLI を作る Google検索をするAPIを実装 Google Custom Engine API を使った 本文要約をするAPIを実装 Mozilla の実装を使った 与えられた URL を fetch して、その本文部分を抽出する

はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し

これはなに？ 自著 「つくりながら学ぶ！生成AIアプリ＆エージェント開発入門」 に掲載するために作ったOpenAI・Anthropic・GoogleのLLMの一覧表です。 各社が新しいモデルを出すたびに本の内容が陳腐化するため、この記事に最新の情報を更新していきます。 各社のモデルの主要諸元・費用に加えて、自分の印象を書いてあります。 性能の目安としてChatbot Arenaのスコアを参考までに添付しています これはあくまで参考用かつ英語での評価なので、スコアが一番高いものがいい、もしくは低いからダメというわけではありません。 少なくともこの記事に掲載されているモデルは、スコアが低いものでも単純な翻訳などでは十分な性能を持っています。そして何より高性能モデルとは比較にならないほど高速です。 用途や使用言語によって試してみて最適なものを選ぶのが良いでしょう [PR] 宣伝 本の紹介は↓に書

はじめに Microsoft社が2024年4月23日に商用利用可な小型言語モデル（SLM)のPhi-3（mini(3.8B)、small(7B)、medium(14B)）を発表し、同日miniについて公開しました。 ＊3.8B〜14Bのため大規模言語モデル（LLM）とは言わず小規模言語モデル（SLM)と言っているのは共感が持てます。他の言語モデルも名称を共通化して欲しいですね😁 どのくらいの精度のものなのか早速検証してみました。 検証環境 今回は、Phi-3-mini-4k-Instructモデルを使用しました。 Googleコラボ Pro+ で A100 環境を使用しました。GPU RAMが8.4GB程度で動いているのでV100等でも動くと思います（なお、CPUでも動くとありましたがCPUリソースでは筆者の環境では残念ながらレスポンスが返ってきませんでした）。 パラメータは、max_n

WEELメディア事業部LLMライターのゆうやです。 2024年4月24日、ついにあのAppleからオープンソースLLMである「OpenELM」が登場しました！ Appleが「OpenELM」なるAIモデルファミリーをオープンソースでリリース！ ネットに接続なしで、完全にデバイス上で動く前提でを重視して作ったとのこと。 これはスマホ上で動く大本命LLMになる可能性大！ pic.twitter.com/N25jNwQzq5 — とーます｜AIX人材育成｜AIコーチ開発｜可能性開花をAIX (@Xroid_Lab) April 24, 2024 このモデルは、4つの異なるサイズ（270M、450M、1.1B、3B）で公開され、軽量で実行コストが低いためAppleデバイスでも動作します。また、「layer-wise scaling戦略」を使用し、効率的にパラメータを活用することで他の同規模モデルよ

グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネット…

グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 講談社より『グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）』を上梓しました。 グラフニューラルネットワークはグラフデータのためのニューラルネットワークです。化合物やソーシャルネットワークのようなグラフデータの解析に使うことができます。また後で述べるように、テキストも画像もグラフなのでテキストや画像の分析にも使えますし、それらを組み合わせたマルチモーダルなデータにも適用できます。要は何にでも使うことができます。この汎用性がグラフニューラルネットワークの大きな強みです。 本稿ではグラフニューラルネットワークを学ぶモチベーションと、本書でこだわったポイントをご紹介します。 グラフニューラルネットワークは何にでも使える 付加情報をグラフとして表現できる グラフニューラルネッ

この手の話には、私を含め多くのエンジニアが食傷していると思いますが、重要なトピックなので無視できません。ここ数ヶ月の目立った動向を確認し、それを基にソフトウェアエンジニアの仕事が今後どうなるかを浅薄ながら検討していきます。 Devin - 初のAIエンジニア2024年3月、ほぼ無名だったCognition社の動画が注目を集めました。動画では"First AI Software Engineer"というタグラインのもと、私たちエンジニアの作業風景と同じように、AIがエディタやコンソールを操作し、ブラウザでサードパーティのAPI仕様書を探し、ビルドエラーからバグを修正し、Webアプリケーションを実装していく様子が見られます。 Devinは、SWE-benchというプログラミング性能を測る指標で、Claude 2やGPT-4を上回ったとと宣伝されています（下図）。またCognition社はPet

複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした要約結果をClaude3 Sonnet

お疲れさまです。SREの西田和史(@k_bigwheel)です。 僕が所属するDX事業本部の開発基盤グループは主にインフラが安定して高いパフォーマンスで動くことに責務を持っています。 今DX事業本部には3つの事業部があり、その中ではイエウール、ヌリカエ、ケアスル介護などのサービスを展開していますので、僕らはそれらのだいたい10サービス前後のインフラを日々増築・改善しています。 僕がSpeeeにジョインしたのが3年前の2019年11月なのですが、それからDX事業本部のインフラは様々なことが進化しました。3年前から変わらず残っているインフラコンポーネントは永続化層1ぐらいといえる程です。ここではその差分を振り返ってこんな良いインフラになったぞ！という部分を書いていきたいと思います。 レガシーインフラの脱却 いきなりですが、3年前に使っていたツール・サービスと今使っているツール・サービスの対応表

「この人は保守派だ」「この人はリベラル政党を支持している」といった傾向を判断するには、通常はその人の言動などを分析する必要があります。しかし、スタンフォード大学経営大学院の研究チームが、顔認識技術とAIを組み合わせることで、顔を見るだけでその人の政治的指向を正確に評価できると主張しています。 Facial Recognition Technology and Human Raters Can Predict Political Orientation From Images of Expressionless Faces Even When Controlling for Demographics and Self-Presentation https://awspntest.apa.org/fulltext/2024-65164-001.html AI Can Tell Your Pol

はじめに 近年、OpenAIの「ChatGPT」やMicrosoftの「Microsoft Copilot」、Googleの「Gemini」といった、さまざまなAIツールが利用できるようになっています。これらのAIツールは、人間の自然言語を理解し、質問への回答、画像や文章の生成、タスクの実行など、さまざまな機能で人間の作業を支援します。 図1 AIツールの利用例（Windows 11のMicrosoft Copilot） そんな中でも今回紹介する「GitHub Copilot」は、プログラムのコーディング支援を想定したAIツールです。 図2 GitHub CopilotのWebページ GitHub CopilotはChatGPTやMicrosoft Copilot同様、OpenAIの大規模言語モデル（LLM）をベースに構築されていますが、プログラムのコーディングに特化した調整が行われており

GitHubは2024年4月29日（米国時間）、ソフトウェア開発者の仕事を幅広く支援する開発環境、「GitHub Copilot Workspace」を発表した。同日にテクニカルプレビューの提供を開始した。 これまでの生成AIコーディングアシスタントは、開発者の「手」として機能するツールだったが、Copilot Workspaceは開発者にとって「第2の頭脳」になるものだとGitHubは表現する。 「Copilot Workspaceは自然言語の活用により、ソフトウェアの構築にラディカルな新しいやり方をもたらす。開発者のクリエイティビティを代替するのではなく、これを従来にないほど迅速かつ容易に届けることを目的としている。熟練開発者が『システムを考える人』として機能することを助ける一方で、ソフトウェア構築への参入障壁を大きく引き下げられる」（発表ブログポスト） Copilot Workspa

GoogleのAI研究部門であるGoogle DeepMindは、「GNoME」と呼ばれるAIツールを使って、「理論的には安定しているものの実験的には実現されていない新しい結晶構造」を220万種発見したことを発表しました。しかし、複数の研究者がGoogle DeepMindの発表した新しい結晶構造を分析した上で、「既知の物質を過度に拡大解釈したものがほとんどで、驚くほど新しいと言える化合物では含まれていない」と反論しています。 Artificial Intelligence Driving Materials Discovery? Perspective on the Article: Scaling Deep Learning for Materials Discovery | Chemistry of Materials https://pubs.acs.org/doi/10.1021

生成AIブームの今、注目のキーワードが「基盤モデル」だ。大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。米OpenAIの「GPT-4」といった生成AIも包含する概念だ。 さまざまな企業が生成AIを使った業務効率化を試行錯誤する中、各AIベンダーたちの間では基盤モデルの開発競争が激化している。そこでこの特集では、基盤モデルを開発するAIベンダーに一問一答メールインタビューを実施。開発状況や独自の強みなどを探っていく。理化学研究所などとともにスーパーコンピュータ「富岳」を使った大規模言語モデル（LLM）の開発に取り組む富士通に話を聞いた。 富士通の基盤モデルの特徴や強みは何か？ 2023年5月、東京工業大学と東北大学、理化学研究所とともに、富岳を活用したLLMの開発を始めた。富岳の大規模な計算リソースを活用し、創発性と呼ばれるLLMの性能

【ニューヨーク=清水孝輔】英フィナンシャル・タイムズ（FT）は29日、生成AI（人工知能）を開発する米新興企業オープンAIと提携すると発表した。オープンAIの対話型AI「Chat（チャット）GPT」によるFTの記事データの学習や要約の作成を認める代わりに、引用元を明示させる。欧米メディアではAIの活用が広まる一方、記事データを無断で使われることへの警戒も強まっている。FTはオープンAIに対し

日本経済新聞社傘下の英経済紙Financial Times Group（FT）は4月29日（現地時間）、米OpenAIとの戦略的パートナーシップとライセンス契約を発表した。これにより、FTのコンテンツでChatGPTを強化し、モデルの有用性を向上させ、新たなAI製品と機能の開発でFTの読者向け機能の開発で協力していく。 このパートナーシップを介して、ChatGPTユーザーは関連するクエリに応じてFTコンテンツへのリンクを表示できるようになるという。ChatGPTがFTの記事からの短い要約を使って質問に回答することもある。 FTは既にChatGPT Enterpriseの顧客で、全従業員分のアクセス権を購入したという。 OpenAIへのコンテンツ提供契約は、米Associated Press、Business InsiderやPoliticoを持つ独Axel Springer、仏Le Mon

ChatGPTの開発元である「OpenAI」が、大手経済紙「Financial Times」との戦略的パートナーシップ締結を発表しました。このパートナーシップによって、ChatGPTのユーザーはFinancial Timesに掲載された情報をチャット内で閲覧できるようになります。 Financial Times announces strategic partnership with OpenAI https://aboutus.ft.com/press_release/openai We’re bringing the Financial Times’ world-class journalism to ChatGPT https://openai.com/blog/content-partnership-with-financial-times The Financial Times

Appleが、iOS18での人工知能（AI）機能強化に向けて、OpenAIとの交渉を再開した、とBloombergが報じています。AppleとOpenAIの交渉は3月にも報じられていましたが、提携に向けた具体的な動きは伝えられていませんでした。AppleはOpenAIとGoogleの両方と提携する可能性もあります。 OpenAIとの交渉を再開 Appleが、iOS18での生成AI機能採用に向けて、ChatGPTを提供するOpenAIとの交渉を再開した、とBloombergのマーク・ガーマン記者が報じています。 iOS18へのAI機能追加に向けたOpenAIとの交渉については、今年3月に報じられたものの、その後に交渉の進展について情報がありませんでした。iOS18の発表を約1カ月後に控え、両社間の交渉が再開されたようです。 ガーマン氏は先日、AppleはiOS18で採用するAI機能について、

はじめにこんにちは、AI Picasso社の開発チームです。ふたたび、皆様に重要なお知らせがあります。高品質AIアート用画像生成AI、Emi 2 を商用利用可能で無償公開します。この画像生成AIは商用利用が可能であり、追加学習において無断転載画像を学習していません。 Emi 2 は以下のURLにて無料で利用することができます。 Emi 2の特徴１．AIアートへさらに特化このモデルは、イラストやアニメ、マンガのようなAIアート生成に特化しています。GMOインターネットグループが提供する「ConoHa byGMO」のトライアル版の採用により最先端の開発機材NVIDIA H100によって作られた画像生成Emi、モデルマージやフルファインチューニングといったAI Picasso社のノウハウを用いて高品質な画像が生成されるように尽力しました。参考として簡単な生成例を以下に紹介します。 比較のために、

NECは2024年4月24日、同社の生成AI（人工知能）「cotomi」において、学習データやアーキテクチャを刷新した新たな2つのLLM（大規模言語モデル）「cotomi Pro」「cotomi Light」を発表した。 cotomi Proとcotomi Lightについて、NECは「グローバルのLLMと同等の高い性能を、十数倍の速度で実現する高速、高性能なモデルだ」と述べている。 NECは、cotomi Proとcotomi Lightの特徴を次のように説明している。 cotomi Proとcotomi Lightの特徴 総合的なタスクに対する高い処理能力 関連記事 Meta、次世代オープンLLM「Meta Llama 3」を発表 Metaは、大規模言語モデル「Meta Llama 3」の8Bおよび70Bパラメーターモデルを発表した。 Cohere、強力でスケーラブルなRAG最適化LL

【ニューヨーク=川上梓】米テスラは28日、2024年に自動運転など向けの人工知能（AI）開発に100億ドル（約1兆5800億円）を投資する方針を明らかにした。同日、イーロン・マスク最高経営責任者（CEO）が自身のX（旧ツイッター）で表明した。電気自動車（EV）販売が失速する中、次の柱とするAI関連投資を大幅に増やす。マスク氏は「テスラは今年、トレーニングと推論を組み合わせたAIに約100億ドル