Generative AI: A Creative New World
A powerful new class of large language models is making it possible for machines to write, code, draw and create with credible and sometimes superhuman results. Humans are good at analyzing things. Machines are even better. Machines can analyze a set of data and find patterns in it for a multitude of use cases, whether it’s fraud or spam detection, forecasting the ETA of your delivery or predictin
Open Interpreterを誰でも使えるSlack botにしました
TL;DR 今話題のOpen InterpreterをSlack botにしました。 Codeはこちらのリポジトリをご覧ください。 はじめに Open Interpreter楽しんでますか？ 「どうやらヤバイやつが爆誕したらしい」という認識で間違いなさそうです。 でも、このヤバさがわかってるのはまだ一部の人だけ、もったいない！ ということで今回はこのOpen Interpreterを誰でも使えるようにSlack botにする方法を紹介します。 ファイルのアップロード、ダウンロードも可能ですので、最低限必要な機能を全て備えたものが完成すると思います。 この記事を読めばわかること Cloud Runを使ってサーバーレスなOpen Interpreter実行環境を構築する方法 Cloud Storageを使ってステートレスなCloud Runでも会話とファイルを維持する方法 Slack Botを
大規模言語モデルのための強化学習｜npaka
以下の記事が面白かったので、軽く要約しました。 ・Reinforcement Learning for Language Models 1. はじめに「ChatGPT」とそれに続く「大規模言語モデル」(LLM)のリリースに伴い、「RLHF」の重要性が議論されました。しかし、なぜ「強化学習」が「教師あり学習」よりも言語モデルの学習に適しているのか疑問に思いました。「教師あり学習」 (Instructionチューニング) で十分ではないでしょうか？ 私は、ある程度納得のいく理論的な議論を思いつきました。そして、特にChatGPTのようなモデルには、強化学習のケースを支持するだけでなく、それを必要とする追加の論拠があることに気がつきました。この追加の議論は、OpenAIのJohn Schulmanによる講演の（前半部分で）綴られています。この投稿は、彼の主張をより多くの言葉で繰り返し、また、明確
Google Colab で RWKV を試す - ChatRWKV版｜npaka
「Google Colab」で「RWKV」を試したので、まとめました。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、長い文脈長、自由な埋め込みを実現しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」の「プレミアム」を選択。 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')(3) 作業フォルダへの移動。 # 作業フォルダへの移動 import os os.makedirs("/content/drive/My Drive/work",
自民党AIの進化と実装に関するプロジェクトチーム｜衆議院議員 塩崎彰久（あきひさ）
GPTシリーズやお絵描きAIなど、ファウンデーションモデルの進化により再び大きな注目を集めるAI。自民党では2023年1月に「AIの進化と実装に関するプロジェクトチーム」（座長：平将明衆議院議員）を立ち上げ、日本のAI戦略のあり方や政策提言について検討を進めて参ります。こちらのページには、各回のテーマや公開可能な資料を順次アップロードしています。 2024年2月16日（金）8時〜9時 (＊25日英語版追加） テーマ：責任あるAI推進基本法（仮）について 昨年4月のAIホワイトペーパー発表以降、半年以上にわたり生成AIの法的ガバナンスのあり方について国内外のローメーカー、学者、実務家の方などと議論を重ねてきました。こうした検討を踏まえ、「フロンティアAIモデル」と呼ばれる特に強力な生成AIに対する我が国の新たな法的ガバナンスの一つの私案として、「責任あるAI推進基本法（仮）」を本日公表しま
第1回勉強会：なぜ今MLOpsなのか、先駆者や実際の現場からMLOpsを学ぼう
連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps（機械学習の実運用化）の普及に貢献していきます。 このレポートでは、2020年8月に行われた第1回勉強会の様子をお伝えします。300人以上の参加者がリモートで参加し、大盛況のイベントとなりました。当日の様子はツイッターでも盛んにつぶやかれ、こちらにそのまとめがあります。 なぜ今MLOpsなのか by シバタアキラ はじめに、オーガナイザーチームの一人である、DataRobot Japanのシバタアキラから、なぜ今MLOpsが注目されているのかをお話しました。まず300人以上にGoToWebinarのアンケート機能を使って質問しました
DreamerV2の実装： 世界モデルベース強化学習でブロック崩し - どこから見てもメンダコ
世界モデル系強化学習の先端手法であるDreamerV2をブロック崩し（BreakoutDeterministic-v4）向けに実装しました。 はじめに 世界モデルベース強化学習とは DreamerV2：Atari環境で初めてモデルフリー手法に並んだ世界モデルベース強化学習 世界モデル（World Models）について 方策の獲得 Dreamerへの系譜 Wolrd Models （2018） PlaNet： Deep Planning Network （2019） Dreamer （2020） DreamerV2 （2021） 非VAEの状態遷移モデル：MuZero（2020） Tensorflow2による実装例 世界モデル部 ロールアウト部 強化学習エージェント部 学習結果 雑記 DreamerV3 論文： DreamerV2: [2010.02193] Mastering Atari
TabNetとは一体何者なのか？
簡単に Kaggleで最近よく使われるTabnetについて、どのようなモデルか調べた。 Tree-basedとDNNのいいとこ取りをしたようなモデル。 Feature ImportanceとMaskにより結果の解釈ができる。 Titanicにおける精度について、LBの値ではLightGBM、NNよりもやや高い。 TitanicにおけるFeature Importanceの上位特徴量について、LightGBMとは異なっている。そのため、TabNetはEnsembleに有用かもしれない。 ※ 2021/01/10 14:50 TabNetのコードが一部誤っていることを指摘頂き、コード修正しました。それに伴い記事の下記部分を更新しています。 4 実装の際に用いたNotebook 6.7 精度 6.8 Feature Importance(Global interpretability) 6.10
KDD 2018 に参加してきました - ABEJA Tech Blog
ABEJAでResearcherをしている白川です。 8/19-23にロンドンで開催されたKDD 2018に参加してきたので、目についた内容をかいつまんで報告させていただこうと思います。 とくに目についたこと 中国系の台頭が目覚ましい。参加者、企業ともに中国系が支配的で、かなりアグレッシブに機械学習・データ分析をビジネスに取り込んでいる印象。 Graph + Deep Learningが着実に使われ始めている。Deep系の発表でGraph CNNの話をちょくちょく聞いた。 Finance / Economics の分野に対する注目。 シェアバイクサービスやAirBnBの部屋貸しサービスような新しいビジネスにおけるデータ分析。 新しく使われ始めたテクニックはあまりなさそう。 特徴量エンジニアリングをして正攻法で攻めるのはやはり大事。 NVIDIA, Intel, Twitter, Apple
Python: 特徴量の重要度を Permutation Importance で計測する - CUBE SUGAR CONTAINER
学習させた機械学習モデルにおいて、どの特徴量がどれくらい性能に寄与しているのかを知りたい場合がある。 すごく効く特徴があれば、それについてもっと深掘りしたいし、あるいは全く効かないものがあるなら取り除くことも考えられる。 使うフレームワークやモデルによっては特徴量の重要度を確認するための API が用意されていることもあるけど、そんなに多くはない。 そこで、今回はモデルやフレームワークに依存しない特徴量の重要度を計測する手法として Permutation Importance という手法を試してみる。 略称として PIMP と呼ばれたりすることもあるようだ。 この手法を知ったのは、以下の Kaggle のノートブックを目にしたのがきっかけだった。 Permutation Importance | Kaggle あんまりちゃんと読めてないけど、論文としては Altmann et al. (2
Python: ベイズ最適化で機械学習モデルのハイパーパラメータを選ぶ - CUBE SUGAR CONTAINER
機械学習モデルにおいて、人間によるチューニングが必要なパラメータをハイパーパラメータと呼ぶ。 ハイパーパラメータをチューニングするやり方は色々とある。 例えば、良さそうなパラメータの組み合わせを全て試すグリッドサーチや、無作為に試すランダムサーチなど。 今回は、それとはちょっと違ったベイズ最適化というやり方を試してみる。 ベイズ最適化では、過去の試行結果から次に何処を調べれば良いかを確率分布と獲得関数にもとづいて決める。 これにより、比較的少ない試行回数でより優れたハイパーパラメータが選べるとされる。 Python でベイズ最適化をするためのパッケージとしては Bayesian Optimization や skopt、GPyOpt などがある。 今回は、その中でも Bayesian Optimization を使ってみることにした。 使った環境は次の通り。 $ sw_vers Produ
Excelで機械学習が可能に！「Azure Machine Learning」を統合するアドオンが登場
マイクロソフトは9月25日～29日（米国時間）に開催した年次イベント「Ignite 2017」で、Azureの機械学習サービス「Azure Machine Learning」から新しいツール群を発表した。 従来から提供してきた「Azure Machine Learning Studio」（Azure Machine LearningをWebブラウザから使うツール）を補完するものとして、「Azure Machine Learning Workbench」、「Azure Machine Learning Experimentation Service」、「Azure Machine Learning Model Management Service」の3つのツールがプレビューとして利用できるようになった。 Azure Machine Learning Workbenchは、データ分析の前処理と
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
AlphaGo Zero Explained In One Diagram
Update! (2nd December 2019)I’ve just released a series on MuZero — AlphaZero’s younger and cooler brother. Check it out 👇 How to Build Your Own MuZero Using Python (Part 1/3) How to Build Your Own MuZero Using Python (Part 2/3) How to Build Your Own MuZero Using Python (Part 3/3) Update! (26th January 2018)I’ve just released a post on how you can build AlphaZero using Python and Keras. Check it o
Pythonで単語分散表現のクラスタリング - Ahogrammer
最近の自然言語処理では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、加減乗除等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることがわかっています。 本記事では、単語分散表現のベクトルをクラスタリングし、意味が近い単語のクラスタを作ってみたいと思います。 これらのクラスタは、眺めて楽しむだけでなく、機械学習の素性として使うこともできます。 イメージ的には、以下のような感じで単語をクラスタにまとめます。 では、単語分散表現をクラスタリングして、単語のクラスタを作ってみましょう。 準備 まずは、作業用のディレクトリを作成しておきましょう。 また、必要に応じて Python の仮想環境も用意します。 以下のコマンドを実行することで、ディレクトリを用意します。 $ mkdir work
機械学習関連を取り扱うはてなブログを探してみた - HELLO CYBERNETICS
はじめに 自然言語処理の深遠 作って遊ぶ機械学習 六本木で働くデータサイエンティストのブログ 人工知能に関する断創録 数学、ときどき統計、ところによりIT 空飛ぶロボットのつくりかた はじめに ただの雑記。 専門書的な内容ではなく、機械学習に取り組む実際の姿が見られるブログを取り集めました。例えばコードが載っているとか、分かりやすい解説があるとか、その手の記事が書かれているものに焦点を絞っています。 自然言語処理の深遠 非常に実践的。 今のところは、あまり記事は多くありませんが、Kerasを使った機械学習による自然言語処理に関しての記事が積極的に書かれています。Kerasの実装に関して、コードで検証を行っていたり、実用面で参考になることが多いと思われます。 hironsan.hatenablog.com 特に自然言語処理だとChainerやPyTorchのようなDefine by Runの
ディープラーニングにおける学習のコツとハイパーパラメータのガイドライン
はじめに 今流行りのディープラーニング(深層学習)ですが、いざ自分でやってみると思ったように精度が出なかったり、重みの初期化や学習率をどのように選択したらよいのか、といったことで戸惑うことがよくあります。 重みの初期化や学習率といった、ニューラルネットではなく人間が選択しなければいけないパラメータをハイパーパラメータ(Hyperparameter)と呼びます。逆に言えば、ハイパーパラメータとは学習アルゴリズムによって決定できず、ヒューリスティックな部分でもあります。 ハイパーパラメータは試行錯誤で決定していくのが基本ですが(もちろん自動化技術もあります)、50年以上の歴史があるニューラルネットには知恵やテクニックが多くの先人によって培われてきました。そして、今もなお研究が盛んに行われている分野でもあります。 あとで参照しやすいように本記事では、ハイパーパラメータの指南をまとめてみました。
Google Cloud Next '17 in Tokyo の機械学習系セッション聴講メモ（Day 1） #googlenext17 - べにやまぶろぐ
ザ・プリンス パークタワー東京で開催中の Google Cloud Next '17 in Tokyo に参加しています。 cloudnext.withgoogle.com 今回は機械学習周りのセッションを集中して選んでみましたのでそのメモです（裏番組になっていて残念ながら聴講できなかったセッションも多数）。ほとんど殴り書き＆一部不確かな記述があるかもしれませんがご容赦ください。 事例から学ぶ機械学習のいま ～ 専門家不要、自社独自の機械学習サービスを構築できる MAGELLAN BLOCKS の事例を元に、その方法と今起きている変革をご紹介します。 URL : Google Cloud Next | October 11-13, 2022 機械学習サービスを作るためには業務知識と機械学習の知識が必要 専門家に頼むと精度が出てもその後どうしたら良いかよくわからない 人の考えるをもっと自由に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
巨人が群がるAI集団 プリファード・ネットワークス 15日からコンフィデンシャル連載 - 日本経済新聞
機械学習を用いれば、写真が「撮影する前」からプロ仕様の美しさに──グーグルとMITがアルゴリズムを開発