レコメンドアルゴリズム入門：基礎から応用まで実装に必要な知識を解説 - Qiita
1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム
LLM時代のX情報収集術｜べいえりあ
AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ
ED法とSNNの違いを考えてみる - Qiita
先日、金子勇さんの誤差拡散法(ED法)について神経生理になぞらえた記事を書かせていただいたところ、医学知識に興味のあるエンジニアの方が多くいらっしゃることを知りました。だからというわけでもないのですが、記事を書いた後に追加で学んだ内容もありましたので、その知識を基にED法とスパイキングニューラルネットワーク(SNN）の違いについて考えてみようと思います。 例によって、何かおかしい部分があればご指摘いただければ幸いです。 やねうら王さんのブログで、ED法についての記載を拝読させていただきました。 大変恥ずかしながら、SNNという分野があることを今回初めて知りました。その文中で、SNNについてまとめているサイトへの言及がありました。 大変面白く、今日にいたるまで時間を見つけては読んでいました。日本語でこのようにまとめてくださっている先人がいたことは大変うれしいことでした(あと医学会のいたるとこ
金子勇さんのED法の解説と弱点、行列積を使用した効率的な実装 - Qiita
はじめに 先日以下の記事が話題となり、とてもワクワクしたので自分も実装して色々実験してみました。 実装するうちに理解が深まったので一度、 誤差拡散法の元ネタ紹介から 数式の解説、 ED法の弱点、 行列計算を使用した実装と簡単なテスト結果、 実装上の工夫 までまとめてみたいと思います。 誤差拡散（Error Diffusion）法 もともとは画像の2値化において失われる情報を周囲のピクセルで補うことで、遠目に元の画像の濃淡が残っているように見せる技術（ハーフトーン処理の一種）です。 Error diffusion -Wikipedia（英語版） 左の画像をちょうど半分の明るさをしきい値として2値化すると中央の画像のようになりますが、誤差拡散法を適用すると2値化後も右の画像のようにある程度濃淡を保存・表現できます。 誤差拡散法（画像処理）のサンプルコード コメントアウト箇所はFloyd, St
ED法への生理学的な考察 - Qiita
初めまして。普段は産婦人科医をしつつAIの医学応用に関する研究をしています。 Qiitaは見る専でしたが、以下のバズっている記事を拝見した時、生理学の神経構造の話をふと思い出したのでメモ代わりに記載しようと思います。 読みにくい部分があれば申し訳ありません。 とくに@pocokhc(ちぃがぅ)さんの記事のコード詳細と実験内容を見ていた時、実際の神経系の構造とあまりに似ていたことにびっくりしました。 まず、興奮性ニューロンと抑制性ニューロンの2種類から構成されるED法の構成ですが、これは実際の神経系でも同様の構造になっています。実際の神経はシナプスのつながりをニューロンと言います。信号を伝える側の興奮性シナプスに電気が走ると、電位依存性のカルシウムチャネルが開き、Caが放出されます。このCaの影響でシナプスの末端にある小さな袋から神経伝達物質（中枢神経系では主にグルタミン酸）が放出されます。
Winnyの金子さんのED法について | やねうら王 公式サイト
Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの
敵対的プロンプト技術まとめ - Qiita
こんにちは@fuyu_quantです。 この記事はLLM Advent Calender 2023 17日目の記事です。 よかったらプライベートで作成したData Science wikiのGPTsも見て下さい！ はじめに 今回は敵対的なプロンプト技術についてまとめました．まとめ方は主に，Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition というLLMに対する敵対的なプロンプト技術に関してまとめた論文を参考にしています．本記事の内容が世の中のLLMを使ったサービスの機能向上の役に立てれば幸いです． ※世の中のLLMサービスが敵対的なプロンプト手法に対応できるように公開をしたものであり，利用を
GPT-4V: 驚きを隠せない進化！凄すぎて"ズキズキワクワク"が止まりません！！！ - Qiita
この記事で行なっていること 凄すぎて”ズキズキワクワク"が止まりません はじめに ついこの間、ChatGPTは2022年1月までの情報を学習した、というい発表がありましたが、さらに今回のアップデートで 画像解析機能(GPT-4V) が追加され、アップロードした画像を使った新たなタスクの実行が可能になってます。そして、それが凄すぎます 衝撃的な投稿 まずはこちらの衝撃的な投稿をご覧ください。 動画は自転車の画像と共に「サドルを下げる手助けをしてください」で始まります。 ChatGPTからレコメンドが返ってきますが、それに対して、質問者は追加で ポイントになりそうな部分を拡大してアップロード マニュアルと自分の持っているツールの写真もアップロード します。 その結果、その質問者は、サドルを下げることに成功！そんな内容です。 自分の環境で、画像解析機能(GPT-4V)を使えるのか？ さて、画像解
データ分析の基礎 - Qiita
1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見する 顧客の行動や傾向を理解する 製品やサービスの改善 予測や予測モデリングを行う 2. Pythonにおけるデータ分析のライブラリの紹介 Pythonはデータ分析のための多くのライブラリを持っています。 以下はその中でも特に人気のあるライブラリです Pandas: データの前処理や探索的データ分析に使用されるライブラリ NumPy: 数値計算を効率的に行うためのライブラリ Matplotlib & Seaborn: データの可視化に使用されるライブラリ Scikit-learn: 機械学習の
Amazon Forecast ハンズオン やってみた - Qiita
はじめに 今回、AWS公式のAmazon Forecast ハンズオンをやってみました。せっかくなので記事にしたいと思います。ハンズオンとしては、過去の家庭の電⼒使⽤量のサンプルデータから学習を行い、その後の使⽤量を予測するモデルをAmazon Forecastを使って構築する内容になっています。 それではやっていきましょう！ データの準備 最初に、Forecastにデータを渡すための準備をします。 やることは簡単で、S3を作成してそこにcsvファイルをアップロードするだけです。 今回はハンズオンで用意されているサンプルを使用しています。 データのインポート ここからが本番です。 最初にデータセットグループを作成します。このデータセットグループはデータセットや学習結果、予測などを入れていく箱のようなひとまとまりの事です。 データセットグループの名前 Forecastのドメイン 以上の2点を
音楽とサウンド生成のための「Stable Audio」を発表 — Stability AI Japan
Stability AI は、音楽とサウンド生成のための初のAIモデルとなる Stable Audio を発表しました。 Stable Audio は、最新の生成 AI 技術を駆使し、使いやすい Web インターフェースを介して、より高速で高品質な音楽とサウンドエフェクトを提供する世界初の製品です。Stability AI は、45秒までのトラックを生成してダウンロードできる Stable Audio の基本無料版と、商用プロジェクト用にダウンロード可能な90秒のトラックを提供する「Pro」サブスクリプションを提供しています。 StabilityAI の CEO である Emad Mostaque は、「唯一の独立した、オープンでマルチモーダルな生成 AI の会社として、音楽クリエイターをサポートする製品を開発するために私たちの専門知識を活用できることを嬉しく思います。私たちの願いは、St
ChatGPT新機能が“無双”だった（西田宗千佳） (1/4)
新連載を始める。テーマはAIのニュースチェックだ。基本的には2週に一度、主にASCII.jpで公開されるニュースについて、簡単な解説と流れの分析をしていきたい。紹介されていないものでも重要な話については、別途短い解説を追記していく。 というわけで1回目は、2023年7月前半のAIニュース振り返りだ。 （※記事のタイトルをタップすると記事ページが開きます） DeepL、日本法人「DeepL Japan 合同会社」を設立 日本企業との取引を迅速化（7月3日） 翻訳AIは急速に品質が上がり、日常的に筆者もお世話になっている。DeepLは利用者を増やしているが、実のところ、無料版が強いというよりも「個人事業主でも、企業でも気軽に契約できる有料版」があることがビジネスの強みだ。日本の場合、翻訳AIを使うといってもそれは「無料でGoogle翻訳を使う」ことが多く、有料版利用は企業でも多くはないという。
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
20230614_「ChatGPTについて調べてくれ」と社長から特命を受けた人のためのChatGPT概論(40min版)
https://forest.f2ff.jp/introduction/7866?project_id=20230601
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
Google I/O 2023 の #WebML （ブラウザで実行できる機械学習）のセッションで気になった部分をざっくり日本語で記事にしてみた - Qiita
Google I/O 2023 の #WebML （ブラウザで実行できる機械学習）のセッションで気になった部分をざっくり日本語で記事にしてみたJavaScript機械学習TensorFlow.jsMediaPipeGoogleIO2023 はじめに この記事は、以下のツイートに書いている Google I/O 2023 の #WebML のセッションに関する話です。 話の内容は、ブラウザで実行できる機械学習の話です。 どんな技術的なキーワードが関係するかを書いてみると、例えば、今まで自分が触ったことがある内容・キーワードでは、以下の内容が関係しています。 ・JavaScript（ブラウザ上での実行） ・TensorFlow.js ・MediaPipe の JavaScript版 ・WebAssembly その他、まだ自分がきちんと手を出せていない内容のキーワードでは、以下に関する話も登場し
【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】 - Qiita
【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】ChatGPTAzureOpenAIServiceGPT-4MicrosoftAIAOAI こんにちは、もっちゃんと申します。 今AIの快進撃が続いておりますね！2000年代に第三次AIブームが始まってからはや十数年、ここ数年の進化のスピードは眼を見張るものがあるのではないでしょうか。そしてその話題の中心となっているのがOpenAIやMicrosoftなどが開発を行っているChatGPT,GPT-4といった大規模言語モデルです。 特に今年に入ってからは本当にあまりにも各所でアップデートが巻き起こっていてついていくのに必死な状態ですよね（笑） また、情報を追うのと同時に実際に触っていくことも大事ですので、今回はAzure
ChatGPTとMakeを使ってGmailの返信を自動化してみる - Qiita
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です。 今日はメールの自動返信作成をMake(ツール連携サービス)を使ってやってみたいと思います。 ※MakeとはZapierやIFTTTと同じIPaaS系のサービスです。 参考 概要 Gmailに来た新着メールをMakeとChatGPT APIを使い返信文章候補を作成します。 そもそもできそうかの確認 OpenAIのChatGPT API Playgroundを使って、これができるか確認してみます。 なお、text-davinci-003はChatGPT API(gpt-3.5 turbo)の10倍の価格なので、今回は用いません 追記: 脳死で書いてたのであれですが、MakeはまだChatGPT APIに対応していないのでtext-davinci-003を使います。 以下のようなプロンプトを実行しました
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT で自分の仕事がどう楽しくなるのかを考えるネタ集 -2023年10月バージョン-
