編集後記「ONEXPLAYER X1 AMD版で楽しむChatGPT×プログラミング」と「何をもってPythonicなのか（refrain）」：Deep Insider's Eye　一色＆かわさきの編集後記 一色からは「ONEXPLAYER X1 AMD版で楽しむChatGPT×プログラミング」という題でX1を数週間使って気付いた問題と、その解決のために始めたChatGPTを駆使したプログラミングについて、かわさきからは「何をもってPythonicなのか（refrain）」という題でforループとif文を使って書いたコードとリスト内包表記で書いたコードのどちらが「初心者にとって分かりやすいか」「Pythonicなのか」について書きました。

[補足] 日本語のトークン効率 GPT-4o 以降のモデルは o200k_base という新しいエンコーディングが使われていて、英語以外のローカル言語のトークン効率が向上しています。日本語において GPT-4 Turbo 以前の cl100k_base が使われているモデルと比較すると、OpenAI による GPT-4o のリリース記事の例では約 30%、個人的な検証の結果では約 27% トークン効率が向上していました。 参考 GPT-4 and GPT-4 Turbo models Hello GPT-4o OpenAI 言語モデルで日本語を扱う際のトークン数推定指標 OpenAI 言語モデルごとのエンコーディング一覧 リージョン 執筆時点 (API 公開時点) で GPT-4o mini は Global-standard デプロイと Standard デプロイの両方で East US

対話型AI（人工知能）「Chat（チャット）GPT」を手掛ける米オープンAIやLLM（大規模言語モデル）開発に取り組むテック大手がAIの学習用データの囲い込みを進めている。メディアなど企業のコンテンツ使用では、数億ドルを対価にする許諾契約も出てきた。開発企業には良質な情報源の確保と法的リスクの回避という狙いがあるなか、提供企業にとっては新たな収益源になるなど、AI向けデータを巡る契約では双方に商機が広がりつつある。

はじめに 本記事では、Peter D. Hoff著『A First Course in Bayesian Statistical Methods』（邦訳：「標準ベイズ統計学」）の内容をベースに、ベイズ統計学の基本概念をPythonで実装する方法を紹介します。この連載では、イントロの1章を飛ばし、書籍の2章から始めます。各章で扱う内容を簡潔に解説し、それに対応するPythonコードを提供することで、理論と実践の橋渡しのお手伝いができればと考えています。本記事は、ベイズ統計学に興味がある方、Pythonでデータ分析を行いたい方、そして理論を実践に移したい方々に向けて書いています。ただし、これはあくまで入門的な内容であり、詳細な理論や応用については原著をお読みいただくことをお勧めします。 2章：信念、確率、交換可能性 本章では、ベイズ統計学の基礎となる重要な概念を説明しています。： 合理的な信念

2024 年 8 月 3 日開催「第2回 関東Kaggler会」の発表資料です https://connpass.com/event/321748/

みなさん、ローカルLLMで遊んでいますか？ 昨年末に、Ollamaが登場してから誰でも簡単にローカルLLMで遊べる時代がやってきました。そこで、僕もローカルLLMでどんなことができるんだろうと思って触りはじめたのですが、ローカルLLMを最大限に活用するためには、まずはどうやったらEmacsからローカルLLMを使えるようになるのかと考えるのはあまりにも自然な流れでした。 この記事では、ローカルLLMに関する基本的な知識から、EmacsからローカルLLMを扱う方法までを解説していきたいと思います。 ローカルLLMの基礎知識 # ローカルLLMとは、LLM（大規模言語モデル）をローカル環境、つまり自分のパソコンで扱えるようにしたモデルです。Facebookが開発しているLlamaが業界のトップランナーで、それをベースにしたモデルを色々な組織（中には個人もいるのかも）が開発しています。 そのLla

デジタル変革の波が押し寄せる中、生成AIの活用が企業の競争力を左右する時代が到来している。ChatGPTの登場以来、多くの企業がクラウドベースの生成AIサービスの導入を検討してきた。しかし、機密情報や社内データの保護が特に重要な業界では、新たな選択肢として「プライベートLLM」が注目を集めている。 プライベートLLMとは、企業が自社の環境内に構築・運用する大規模言語モデル（LLM）のことを指す。この技術は、一般に公開されているパブリッククラウド上のAIサービスとは異なり、企業の内部ネットワークで完結するシステムだ。 日本ヒューレット・パッカード（以下、HPE）のサービスデリバリー統括本部に所属する安江啓人氏は、プライベートLLMの本質的な価値をこう説明する。 「オンプレミス環境で構築するプライベートLLMは、ネットワークを遮断した環境でも稼動可能であり、データセキュリティを万全に確保するこ

さまざまな質問に対して精度の高い回答を出力してくれる生成AIの登場により、学生がAIを使って課題をこなす可能性が問題視されています。こういった問題に対処するため、チャットAIのChatGPTを開発するOpenAIは、ChatGPTを使って書かれた文章を99.9％の精度で検出することができるツールを開発していることがウォール・ストリート・ジャーナルの報道により明らかになりました。 Exclusive | There’s a Tool to Catch Students Cheating With ChatGPT. OpenAI Hasn’t Released It. - WSJ https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a OpenAI says it’s taking a ‘deliber

小学館が、人気漫画「葬送のフリーレン」の小説版などのライトノベルを、人工知能（AI）で英語に翻訳する事業を始めたことが3日、分かった。今冬に北米圏で専用アプリ「NOVELOUS（ノーベラス）」をリリース。漫画やアニメなどに続く日本文化の海外発信に拍車をかけたい考え。 ライトノベルは、会話の多い、若者向けの娯楽小説。小学館によると、発行部数の少ない作品も多く、採算性などから翻訳や海外展開は難しかったが、AIの活用によって低コストで多くの作品を翻訳でき「海賊版対策にもなる」（担当者）としている。 ノーベラスは、AIで翻訳する前に、翻訳者ら人の手で登場人物の特徴や時代背景、文脈などを細かく整理。物語の世界観や作品の質を保ち、海賊版で見られる単純な機械翻訳と差異化する。人気作「塩対応の佐藤さんが俺にだけ甘い」や国内でアニメ化された作品など約200冊分をそろえ、随時追加する。 また「日本人の名前が分

概要 大量データに関するワークロードを、モノリシックに解決する場合、並行・並列処理の知識は活用できます 但し、一般にPythonにはGILが存在するため、正しい挙動を抑えておきたい所です 内容 Pythonにおける並行処理・並列処理 プロセス = OSが管理する実行単位 (CPUコア毎) スレッド = プロセス内の軽量な実行単位 (1CPUコア内) 上記前提を踏まえると、以下となります 並行処理 = 1つのプロセスに複数のスレッドが存在します (PythonはGILにより基本1プロセス制約です) 並列処理 = 複数のプロセスを並行して進めます (複数プロセス活用できます) MMU (Memory Management Unit)に関して プロセスから参照するメモリはMMUにより制御された仮想メモリを参照します。MMUによりプロセス間ではメモリ競合は起きません (1プロセス ≒ 1CPUコア

www.hageatama.org 食事以外の観光資源が壊滅的で、観光のオススメ聞かれても地元民が口ごもる街 福岡。そんな厳しい環境を、地元が福岡で今は関東在住の私が敢えて全力観光する記事を書いたのが2016年、つまりは早8年。 コンスタントに読まれていた上、私自身も福岡観光について聞かれたらこの記事を教えてたりもしてたので、そろそろ改訂版を出すかと一念発起しました。 レギュレーションなど テーマは今流行りの"インスタ映え"です！ いや、あの、インスタ映えが流行語大賞に選ばれたのは前回の記事の翌年でして、敢えてインスタ映えを狙いにいこうと思ったんですよ。なのにいつの間にか外部サイトへの埋め込みができなくなっていたので、普通にスマホの写真貼ってるだけになってます…… レギュレーションなどは以下の通り。 一泊二日で現地を実際に回って確かめる。旅行系でありがちなコタツ記事（ネットの情報だけで家か

Microsoft Researchは2024年7月2日（米国時間）、「RAG」（Retrieval-Augmented Generation：検索拡張生成）の精度を強化する「GraphRAG」と、Microsoft Azure上でGraphRAGを実行するためのソリューションアクセラレータリポジトリをGitHubで公開した。 GraphRAGは、Microsoftが2024年2月に発表した新たなRAGのアプローチだ。Microsoft Researchは、従来のRAGの問題点や、GraphRAGの特徴、RAGとGraphRAGの比較結果を次のように述べている。 従来のRAGの問題点 LLMの最大の課題は、LLMの能力を「プライベートデータセット」（LLMのトレーニングに活用されていない未知のデータを指す。企業の独自研究やビジネス文書、通信などが含まれる）にも適用させることだ。 そこで注目

米OpenAIは、テキストがChatGPTを使って生成したものかどうかを検出する高性能なツールを1年前にほぼ完成させているが、そのリリースを巡って社内で論争になっていると、米Wall Street Journalが8月4日（現地時間）、事情に詳しい人々や独自に入手した内部文書に基づいてそう報じた。 こうしたツールは、学生が課題の論文をChatGPTに代筆させるといった不正行為を取り締まるためなどで求められている。 OopenAIは、テキストが人間によるものかどうか判定するツールを1月に無料公開したが、精度が低いとして7月に公開を停止した。 報じられたツールはこれとは別のもので、ChatGPTによるトークン選択方法を少し変更することで、透かしのようなパターンを残す技術を使う。Wall Street Journalが入手した内部文書によると、OpenAIの検出ツールを使えば、この透かしを99.

子どもにAIを使わせるとはいっても、その目的がAI活用スキルを研いて使いこなせるようにすることと、ドリルのような学習ツールとして使っていくのとでは、実施方法も違うし得られるものがだいぶ違う。 この2つのアプローチの違いは、今後AIと教育を語る上で欠かせない区別となっていくだろう。 いつAIを学ぶのか いま日本の社会で圧倒的に不足しているのは、AIを活用できる人材だ。これはAIを使って何らかの開発行為を行うエンジニアが不足しているという面と、日常業務にAIを活用することで効率化が図れる人材が不足しているという面がある。 エンジニア不足に対応する取り組みとしては、AWSが開設した「生成AI開発が学べるトレーニングコース」を取材した。AIを活用した業務改善については、リートンテクノロジーズジャパンが主催する「プロンプトソン」がある。 これらの活動は、大学生や社会人を対象に、「今々の課題の解決」を

同社は想定する利用者として「ブロガーやSNSなどのコンテンツクリエイター」や「コストを抑えて画像生成AIを利用したい方」「高品質な画像生成を求めるデザイナーやクリエイター」「簡単な操作で画像生成AIを使いたい初心者」などを挙げている。 「画像生成AIの主な利用目的は、趣味やブログ・SNS用画像作成、デザインのアイデア出しなどと調査で分かった。一方、導入の障壁には、画像の質や著作権・倫理面での不安、利用料金が挙げられている。興味があっても未利用の人は『料金が安価になれば』『著作権や倫理の不安が解消されれば』などの要望を持っており、これらのニーズに応えるために設計した」（GMO） 関連記事 Sakana.ai、浮世絵風イラスト生成AIを公開　浮世絵をカラー化するAIも 元米Googleの著名な研究者らが東京で立ち上げたAIスタートアップSakana.aiが、浮世絵風イラストを生成できるAIモデ

本記事は、2024年7月発売の書籍「つくりながら学ぶ！生成AIアプリ & エージェント開発入門」をベースに、私なりにGoogle Colabで動作する「生成AIエージェント」を実装してみた内容の解説です 上記の書籍「つくりながら学ぶ！ 生成AIアプリ & エージェント開発入門」(発売日 2024/7/18) [link]、著者：ML_Bear（本名: 内田 直孝）さん を参考にしながら、自分なりにいろいろ変更を加えてみて実装してみました。 Google ColaboratoryのNotebookファイルは以下となります。 本記事では今回作成してみたプログラムについて解説します。 拙著である、「つくりながら学ぶ！PyTorchによる発展ディープラーニング」などと、装丁が似ているようにも感じる？のは、マイナビ出版の（私がとても信頼している）同じ編集者の方がこちらの書籍もご担当してくださっている

画像でしかない表からデータを抽出する方法 データとして活用したい表が画像でしかない場合、表を見ながら、手動でMicrosoft Excelに入力していないだろうか。Excelの画像認識機能を使ったり、オンラインツールを使ったりすることで、データ抽出の手間を大幅に省くことが可能だ。その手順を紹介しよう。なお画面のデータは、東京都の統計「東京都世帯数の予測」ページの予測結果の概要（PDF）」をMicrosoft Edgeで表示させたもの。「予測結果の概要」は、PDFで配布されており、表のデータはテキストでコピー可能だが、ここでは画像で読み込む例として使っている。以下、同じデータを使って手順を紹介する。 データとして活用したい表が画像でしかなく、仕方なく表を見ながら「Microsoft Excel（エクセル）」に手動で入力したことはいないだろうか。こうした作業は面倒だし、場合によっては入力ミスも

AIモデルの訓練に著作権で保護されたテキストが無許可で使われていることが問題視されてきたが、それを証明することは難しかった。だが、新たに発表された手法は、AIモデルをめぐるこうした争いにおいて有効なツールとなるかもしれない。 by Melissa Heikkilä2024.08.05 0 この記事の3つのポイント AIモデルの訓練利用を検出する印をつける手法「著作権トラップ」が登場 長い意味不明な文をコンテンツに何度も挿入することで実現される 課題も多く現時点では実用的ではないが改善の余地はある summarized by Claude 3 生成AIブームが始まって以来ずっと、コンテンツ制作者たちは、自分たちの作品が同意なしに人工知能（AI）モデルにスクレイピングされていると主張してきた。とはいえ、特定のテキストが実際に訓練用のデータセットに使われたかどうかを把握することは、これまで困難だ

AIが人間に代わってがっつり検索。｢SearchGPT｣がくるらしいのですが2024.08.05 07:00 Kyle Barr - Gizmodo US ［原文］ （ mayumine ） その名もSearchGPT! OpenAIから、GPT-4oを搭載した大規模検索エンジンが登場、ウェイティングリストで順番待ちの列に並ぶことができます。OpenAIは、これらの[検索]機能の最良のものを、ChatGPTに直接統合する予定だと述べています。Google検索のAI機能、｢Google AI Overviews｣の対抗馬になるわけですが、どんな戦いになるのでしょうか。 SearchGPTとはSearchGPTはいわゆる一般的な検索エンジンとはちがうもので、ChatGPTのようなユーザーインターフェースにプロンプトを入力すると、AIがWebから情報を取得、引用リンクを複数含む回答を生成します。

ウォンテッドリーは7月30日、ビジネスSNS「Wantedly」について、ユーザー約20万人の情報が漏えいしていた可能性があると発表した。同社は4月、アクセス設定の不備による情報漏えいの可能性を発表。その後リスク調査をしたところ、同様の問題がサービス内で10件見つかり、新たな漏えいの可能性が発覚したという。 調査により、2013年10月17日から24年6月10日にかけて、未公開か削除済みの人材募集記事19万4733件、もしくは企業の公式ページ2万4435件が、本来アクセス権限を持たない第三者に閲覧された可能性が発覚。これにより、それぞれのページに載っていたユーザーの氏名や所属企業、職種、プロフィール画像、自己紹介文など20万578人分が漏えいした可能性が明らかになったという。 期間中は人材募集記事や企業の公式ページに対し「公開範囲を超えてブックマークやフォロー、募集に対する応募が可能であり

米Googleは8月2日（現地時間）、パリ五輪開催に合わせて7月26日に公開した同社の生成AI「Gemini」のCMに多数の批判が寄せられたことを受け、この動画のテレビのオリンピック番組での放映を停止した。 本稿執筆現在、YouTubeでは視聴可能なこの60秒広告「Dear Sydney」（記事末に転載）は、陸上競技の米代表であるシドニー・マクラフリン＝レブローニ選手に憧れる娘のために、父親がファンレターの作成をGeminiに依頼するというものだ。

世界中の大学のコンピュータサイエンスやプログラミング講座が日本語で学べる「MOOC」（大規模公開オンライン講座）サイトまとめ。2024年版 インターネット上にはコンピュータ関連の情報があふれていますが、その情報の正確さや網羅性は玉石混淆で、いざそれらから学ぼうとしても取捨選択の段階で立ち止まってしまうこともあるはずです。 そうしたときに頼りになるもののひとつが大学のような専門の教育機関による講座であり、それらの講座を有料もしくは無料で提供する「MOOC」（Massive Open Online Courses：大規模公開オンライン講座）のWebサイトはここ数年で広く知られるようになってきました。 そこで本記事では、世界中の大学の講座などを提供している主要なMOOCサイトから、日本語で学べるコンピュータ関連の講座で、しかも無料で学べるものをピックアップしてみました。 もちろん、MOOCサイト

OpenAI、ChatGPT Enterpriseでのコンプライアンス管理を支援する「Enterprise Compliance API」をリリース：ビジネスデータの保護を強化 OpenAIはChatGPT EnterpriseのユーザーをサポートするAPI「Enterprise Compliance API」のリリースを発表した。APIはコンプライアンス要件への対応や管理機能を提供する。 OpenAIは2024年7月18日、「ChatGPT Enterprise」のユーザーをサポートするAPI「Enterprise Compliance API」のリリースを発表した。 Enterprise Compliance APIとは Enterprise Compliance APIは、ChatGPT Enterpriseのユーザー、特に金融、医療、法務、政府などの規制の厳しい業界のユーザー向けに

画像生成AIの「Stable Diffusion」などの開発に携わったAI研究者が、新しいAI開発企業の「Black Forest Labs」を立ち上げました。さらに、Black Forest Labsはパラメーターサイズが120億のオープンソース画像生成AIモデル「Flux」も発表しています。 Announcing Flux by Black Forest Labs: The Next Leap in Text-to-Image Models https://blog.fal.ai/flux-the-largest-open-sourced-text2img-model-now-available-on-fal/ Announcing Black Forest Labs - Black Forest Labs https://blackforestlabs.ai/announcing-b

はじめに この記事では今回開発したWebアプリ、自閉症識別（後に理由を説明しますが、動作が大変モッサリです）を公開するまでの経緯や考え・思いをまとめた。 6月中旬に差し掛かる頃から、Aidemy PewmiumのAIアプリ開発コースで、Pythonを用いてアプリ開発を行えるようになることを目標に学んできた。その成果として開発したのが、顔写真から自閉症を判別するWebアプリだ。 この記事では私自身がプログラミング超初心者として、そしていち支援者として感じたことも多く綴っているため、必要に応じて適宜読み飛ばしてもらえると良いかもしれない。 開発開始に至るまで 私はこちらの記事にあるように、保育士として児童発達支援に関わってきた。大変ではあるが非常に楽しい仕事だった。とはいえAidemyの講座受講中、成果物を何にするかをずっと考えていたが、この領域で何かやろうなんてことは全く考えていなかった。