GitHub ActionsでZennの下書きをClaudeにレビューしてもらう
はじめに GitHub ActionsとClaude APIを組み合わせて、Zennの下書きをChatGPTライクなAIモデルであるClaudeにレビューしてもらう仕組みを作ってみたので紹介します。 記事を書くときにPull Requestを作る 僕は普段Zennのリポジトリでは特にレビューしてもらったりということがないのですべてmainブランチで運用していましたが、PRでレビューしてもらうにあたって Pull Request を作るように変更しました。 mainブランチに比べてPR作ったりが面倒なので以下のスクリプトで記事の作成・PRを作成します。 #!/usr/bin/env bash set -eux # 記事名と記事slugを対話形式で入力させる read -p "記事名を入力してください: " title read -p "記事slugを入力してください: " slug # 記事
パブリックプレビュー版のSnowpark ML Model Registryで、SnowflakeでのMLOpsのポイントを確認してみた | DevelopersIO
パブリックプレビュー版のSnowpark ML Model Registryで、SnowflakeでのMLOpsのポイントを確認してみた Snowpark MLのパイプラインごとModel Registryに登録することで、Snowflakeのテーブルのデータをそのまま利用しやすく、運用も格段に簡単になっています。 データアナリティクス事業本部 機械学習チームの鈴木です。 先日、Snowpark MLのModel Registryのパブリックプレビューが開始になりました。 この公開までの間、Snowpark MLでもいくつかの重要なアップデートがあり、それらが合わさってSnowflakeでのモデルのデプロイや管理がかなり使いやすくなったように思ったので、改めて触ってみました。 個人的には、 前処理も含めたパイプラインを管理することで、Snowflakeの特徴量用のマートテーブルを機械学習モ
faiss のちょっとニッチな機能紹介 - Qiita
こんにちは，ABEJA Advent Calendar の23日目です． はじめに みなさん，faissというライブラリをご存知でしょうか？Facebook Resarch の近傍探索ライブラリで，非常に使いやすくチュートリアルも充実しているため，業務でも趣味でも頻繁に利用しています． しかし，そんな便利なライブラリにも弱点はあります．ちょっとニッチなことをやろうとすると，「まぁ細かいことは説明しなんでテストコード見て雰囲気掴んでね(-д☆)ｷﾗｯ」と言わんばかりのこれです． 実際にテストコードを読んだり，時によっては本体の C++ のコードを読んだりして使い方を勉強したので，将来の自分への備忘も込めて書いていきます． faiss の特徴量取得 faiss が保持している特徴量を検索するのではなく，それ自体を取得したいことが稀にあります．例えば，faiss.IndexFlatL2だとxbと
論文メモ：Representation Learning on Graphs with Jumping Knowledge Networks - Qiita
論文メモ：Representation Learning on Graphs with Jumping Knowledge Networksグラフ深層学習GNNJKNet この論文を読んだ理由 この論文の手法を取り入れた論文を数多く見かけたため． 読んだところ 全体 解いている課題 GNNにおける集約において，近傍ノードがグラフ構造に強く依存してしまっている問題．具体的には，中心のノードは近傍が多く，端のノードは近傍が少ない． ノードごとに適当的に近傍の範囲を定めたい． 提案手法のアプローチ 各層の出力を集めてきた後，Concat/Max-pooling/LSTM-attention 演算を行う． Concat...この場合は適応的ではない．Concatのあと線形層に通すことで全てのホップ数を考慮することが出来る． Max-pooling...各層の出力のうち，一番情報が多い要素（値が大き
Neural Tangentsによる無限幅深層ニューラルネットワークの構築とベイズ推論
要点¶Neural TangentsはGoogle AIが開発したJAXのラッパーライブラリです。無限幅 (中間層のユニット数$\to \infty$)のニューラルネットワーク (以後, NN: neural networks)を高速かつ簡単に構築及び学習させることを目的としています。 Neural Tangentsでは無限幅のNNを学習させる手法としてNNGP (Neural Network Gaussian Process)と NTK (Neural Tangent Kernel)の2つを実装しています。 この記事ではNNGPとNTKの要点を紹介し、Neural Tangentsを用いた実装について紹介していきます。 Neural-Tangentsに関連する文献¶ Paper : https://arxiv.org/abs/1912.02803 OpenReview : https:/
Dynamic Word Embeddings for Evolving Semantic Discovery (WSDM 2018) 読んだ - 糞糞糞ネット弁慶
概要 [1703.00607] Dynamic Word Embeddings for Evolving Semantic Discovery word embedding の時系列変化が見たい(これどこかの論文でも見た気がする)． 例えば， apple という単語は昔は果物が連想されるだけだったが，今ではテクノロジー企業も連想されるだろう． 例えば， trump という人名だって「不動産」 -> 「テレビ」 -> 「共和党」と連想するものが時間と共に変化するだろう． そういうのが見たい． 問題は，従来の embedding の方法は学習時に回転を考慮しないため，異なる時点での embedding を対応付けることができない．そこで，従来手法では， 各時点での embedding を学習する 時点ごとの embedding を対応付ける alignment を解く という二段階のアプローチ
OC-NNに基づく教師なし異常検知をPyTorchで実装した - 備忘録
はじめに 教師なし異常検知の機械学習モデルの一つとして、"One-Class Neural Network" （以降OC-NN）が知られている。 今回はこれを、異常検知/外れ値検知のためのPythonパッケージPyODの仕様に沿った形で、PyTorchにより実装したということである。 異常検知について 以下の記事を読むのが良いだろう。 qiita.com 深層学習を用いた異常検知技術について 以下の解説論文を読むのが良い。OC-NNについての解説もある。 www.jstage.jst.go.jp One-Class Neural Network（OC-NN）について OC-NNはDeep SVDDと同時期に提案された教師なし異常検知モデルであり、OC-SVMを深層学習を用いて拡張したものとして位置づけられる。 OC-SVMの損失関数のカーネル計算および重みとの内積計算をニューラルネットワー
Transformers4Recで簡単にセッションベースなレコメンデーションを試してみた - Taste of Tech Topics
アクロクエスト アドベントカレンダー 12月14日 の記事です。 こんにちは。最近テニス熱が再燃している@Ssk1029Takashiです。 深層学習の界隈はここ最近はTransformerアーキテクチャが様々な分野で高い精度を出しています。 そんな中NVIDIAから、Transformerを使ってセッションベースのレコメンドを学習できるTransformers4Recというライブラリがリリースされています。 github.com 簡単に精度が高いレコメンドが試せるライブラリとのことなので、チュートリアルをベースに試してみました。 ブログの内容は以下になります。 注意点として、ライブラリの使い方に主眼を置いているので、モデルの詳細な中身や前処理の具体的なコードの説明はこの記事では説明していません。 セッションベースのレコメンデーションとは Transformers4Recとは 実際に使って
【論文紹介】TabBERTモデルによるクレジットカードの不正利用検知 - Qiita
はじめに 自然言語処理で利用されるBERTを多変量表データの学習に応用した、Hierarchical Tabular BERT(TabBERT)というモデルの紹介論文を簡単にまとめた記事となります。 論文では、時系列表データの生成モデルであるTabGPTやTabBERTによる大気汚染濃度の回帰分析についても紹介されていますが、今回は自分のやりたいことと近い、TabBERTによるクレジットカードの不正利用検知(分類)の部分のみをまとめました。 前提知識 BERTどころか自然言語処理の知識もゼロのところから論文を読み始めたらAbstractの部分でいきなり詰んだので、読み進めていく上で必要となった知識についてもまとめました。 このあたりの知識がある方は、スクロールして「論文紹介」のところからご覧ください。 自然言語処理とは 日常生活で使用する言語に関する問題(タスク)をコンピュータで解くことを
大規模言語モデルと強化学習：強化学習にLLMを組み込んで実装してみた（ローカルLLM） - Qiita
はじめに 最近の機械学習の発展はすごいですね。 特に大規模言語モデル（LLM;Large Language Model）の発展が目覚ましく、ChatGPTをはじめ目に見える形で成果が出始めています。1 この技術の進歩に置いて行かれないようにLLMを勉強しつつ強化学習に実装してみました。 記事としては前半はLLMの利用、後半は強化学習のDQNにLLMを組み込んだ実装となります。 PythonからLLMの利用 LLMの利用はBERTでもお世話になったHugging Faceを使います。 ドキュメントがかなり充実しており、チュートリアルをベースに進めてみました。 また今回実行している環境は以下です。 OS : Windows11 Python: 3.12.2 GPU : GeForce RTX3060(memory 12GB) CUDA : 12.1.1 (Torchに合わせています) # To
マイクロソフトが公開した機械学習モデルの訓練を容易にできる「Lobe」を試してみた。 - Qiita
マイクロソフトがLobeというツールを公開しました。 このツールを使うことでとても簡単に画像分類の機械学習モデルを作ることができます。 Lobeの画像分類には「ResNet-50 V2」と「MobileNetV2」の２つのmodelを使用することができます。 それぞれのmodelには特徴があり目的や実行環境に合わせて使い分ける必要があります。 ResNet-50 V2を使用すると高い予測精度を達成できますが、予測時間が長くなりより多くのメモリが使用されます。 MobileNetV2は予測速度が速く、メモリ使用量は少ないですが、予測精度は高くありません。 ある程度のマシンパワーがある環境で高い精度が必要なときはResNet-50 V2を使用し、 スマホやRaspberry PiなどではMobileNetV2を使用することになると思います。 どちらのmodelを使用しても転移学習を用いることで
BERTの単語ベクトルを覗いてみる - Qiita
Googleが2018年10月に発表し、大いに話題となった自然言語処理モデルBERT。このBERTのモデルから単語ベクトルが抽出できるようなので、色々と調べてみようと思います。 BERTの単語ベクトルの特徴 単語ベクトルといえばWord2Vecですが、Word2Vecの単語ベクトルは、異なる意味の単語でも字面が同じならば全て同じ値になってしまうという欠点があります。 例えば下のような文があった場合、この文の最初の「HP（ヒューレット・パッカード）」と2つ目の「HP（ホームページ）」は別の意味を持つ単語ですが、ベクトルとしては同じになります。 HP社は、2019年11月18日に新製品をHPで発表した。 ところが、BERTの場合は、2つの「HP」のベクトルは異なる値になります。それだけではなく、下の例のような同じ意味の3つの「HP」も、すべて異なるベクトルになります。 HP社は、HP社と、HP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Integrated Gradientsでグラフニューラルネットワークを可視化する
Solr から使う OpenNLP の日本語固有表現抽出
