Claude × Nano Banana Pro で料理漫画を自動生成するパイプラインを作った - Qiita
ページ,コマ,コマサイズ,シーン説明,キャラクター,セリフ,漫画部分プロンプト,実写料理プロンプト,備考 1,1,大,ユウタが和食を洋食っぽく盛り付けてしまう,ユウタ,肉じゃが作った！大皿にドーンと盛ったよ！,"被写体：ユウタがダイニングテーブルの前に立ち、大きな白い丸皿を持っている。得意げな笑顔。 構図：テーブルを挟んでユウタの上半身。 場所：1LDKマンションのダイニング、夜。 スタイル：よつばと!風、フルカラー、パステルカラー。","肉じゃがを白い丸皿に山盛り、洋食風の盛り付け、違和感がある",導入 1,2,中,ミナが微妙な反応,ミナ,美味しそうだけど…なんか和食っぽくないかも,"被写体：ミナがテーブルに座り、皿を見ている。首をかしげている。 構図：バストアップ。 スタイル：よつばと!風、フルカラー。",, """ Nano Banana Pro 画像生成（複数画像対応） Usage
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
CIの時間を(できるだけ楽して)半分にしてみた - Nealle Developer's Blog
こんにちは、ニーリーの佐古です。 現在開発速度や開発者体験の向上のため、取り組みの諸々を遂行しています。 開発者体験とCI 天井の雨漏りが4か月ほど止まらないので私の開発者体験は酷いことになっています。 さて、皆さんCIの待ち時間はお好きですか？私は大嫌いです。 弊社バックエンドリポジトリのPR時CIはプロダクトの成長に合わせて実行時間が順調に伸びており、 開発速度と開発者体験の双方に悪影響をもたらしていました。 実は別チームで改善のための試みがなされたことはあったのですが、 そこで行き当たった問題をある程度解決してどうにかエピソードになる程度の成果を得られたので 簡単に記しておこうと思います。 前提 プロダクトはDjangoで、リポジトリはGitHubで管理されています。 AS-WAS ついこないだまでのPR時CI。 こちらがもともとのGitHub CIのグラフです。 正直経験上そこまで
自然言語処理(NER, RE)を使ってニュースデータから知識グラフを構築してみました - GMOインターネットグループ グループ研究開発本部
2022.04.07 自然言語処理(NER, RE)を使ってニュースデータから知識グラフを構築してみました はじめに こんにちは、次世代システム研究室のC.Wです。 知識グラフは近年流行始めた概念で、お恥ずかしいのですが今年に入ってから知識グラフの概念を知りました。その思想を分かればわかるほど高い興味が湧いていきて、これこそがデータの最終的な形式ではないのかと思い始めています。 ただ構築しやすくないのが知識グラフの問題であって、自然言語処理を使って一発の自動作成ができるとすごく嬉しいと思ったので今回のテーマを研究しました。それでは始めましょう。 TL；DR ニュースデータからグラフDBに落とすまでを一通り試して、結果は微妙だった 自然言語処理の結果がグラフの意義性を左右している （言ってみれば当たり前のことです！） 知識グラフの概要 知識グラフとは、グラフ構造のデータモデルまたはトポロジを
こんにちは。TSUNADE事業部研究チームリサーチャーの坂田です。 本記事では、Hugging Face 社が開発しているTransformersのPipelinesという仕組みを使って日本語の固有表現抽出を行う方法をご紹介します。 Transformersとは？ 日本語学習済み言語モデル Pipelines Trainer 固有表現抽出とは？ 実際に日本語NERTを試してみる 必要な各種依存ライブラリのインストール 使用するデータ 日本語固有表現抽出データセットでのFine-tuning Pipelinesを使った固有表現抽出 実行例 おわりに 参考 Transformersとは？ TransformersはHuggingFace社が公開しているPython用ライブラリで、BERTを始めとするTransformer系の言語モデルを使用する際のデファクトスタンダードになっています。また、最
はじめに ドワンゴ教育事業でデータサイエンティストとして働いている中井です。 この記事では、PythonのパイプラインパッケージであるLuigiで構築したパイプラインにおいて、それを構成するタスク間の依存関係・タスクのグループ間（task_namespace で分けられる）の依存関係を良い感じに出力する方法についてお話しします。想定する読者はある程度Luigiを使ったことのある方としています。 Luigiではタスク全体の依存関係を出力できますが、大規模なタスクだともう少し荒い粒度であったり、全体のうちの一部だけ見たいといったこともあると思います。この記事を読むことでそのような荒い粒度の可視化やパイプラインの一部分に注目した可視化ができるようになります。この記事ではまずLuigiを使っていて課題に感じている部分について説明した後に、可視化対象のサンプルパイプラインについて少し触れて、そのパイ
【機械学習】機械学習を用いたin silico screening【AI創薬】~第1章 公共データベース（ChMBL)からの機械学習の学習データを収集~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
【機械学習】機械学習を用いたin silico screening【AI創薬】~第3/5 章 機械学習データの整形~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
AIエージェント×因果グラフでLLMをテストしてみた：広告データで「調整すべき変数」を選ばせる（LangGraph実装付き） - Insight Edge Tech Blog
目次 目次 はじめに：LLMは「なぜ？」をどこまで理解しているのか DAGと「調整」の基本 本記事で登場する用語の説明 DAG（Directed Acyclic Graph） 調整する（adjustment） バックドアパス（backdoor path） 調整集合 Z（adjustment set） d-separation コライダー / 非コライダー ステップ1：DAGベースの「独立性＆バックドアチェッカー」をPythonで実装する 1-1. 因果グラフを扱うクラス：CausalDAG 1-2. d-separation とバックドアパスを判定する：DSeparationChecker ステップ2：LangGraphで「因果チェックAIエージェント」を組む 2-1. Stateの設計 2-2. LLMに「調整すべき変数セット」を提案させる 2-3. DAG側でその提案をチェックする 2
ツリー形式で示すとこんな感じです。 マスク └── する └── なぜなら ├── マスク警察 │ ├── うるさい │ └── 防止 └── 花粉症 ├── うるさい └── 防止 さてここで！ 「マスク する なぜなら 花粉症 うるさい」という文は、いかにもおかしな文章です。「花粉症」までは、まぁいいでしょう。しかし、「花粉症 うるさい」はもう錯乱していますよね、文学的です！ これはなぜか。定義通りに過去の状態を全く考慮していないし、「花粉症」に連鎖するのは、「うるさい」、「防止」という単語から２分の１の確率だけで決まるからです。 作成手順概要 さぁ、簡単なイメージがつかめたところで、Python を使って実装していきます。マルコフ連鎖自体はmarkovify という専用ライブラリがあるので、それを使えば簡単にできてしまいます。しかし、今回はマルコフ連鎖の仕組みを体感をするため
Pythonクイックリファレンス 第4版
本書はPythonの機能を十分に活用するためのリファレンスです。チュートリアルとしての「Pythonを使ってみる」、型アノテーションや文字列といった「Python言語と組み込み機能」、ファイルやテキスト、時間の操作、数値処理などをまとめた「Pythonの標準ライブラリと拡張モジュール」、HTTPの処理や構造化テキストを学ぶ「ネットワークとWebプログラミング」、バージョン移行などに関する「拡張、配布、バージョンのアップグレードと移行」という5部構成となっています。Pythonを本格的に学びたい人から、さらなるスキルアップを目指したい人まで、Pythonを最大限に活用するための有益な情報がぎっちり詰まった1冊です。Python 3.11対応。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷
1. はじめに MapReduceは大規模データ処理のための強力なプログラミングモデルです。本記事では、Google Colab環境でPythonを使用してMapReduceの概念を学び、効率的なデータ処理パイプラインを構築する方法を解説します。 MapReduceの概要 MapReduceは主に2つの段階から構成されています： Map: 入力データを key-value ペアに変換する Reduce: 同じキーを持つ値をまとめて処理する これらの操作を組み合わせることで、大規模なデータセットを効率的に処理することができます。 記事の目的 本記事の目的は以下の通りです： MapReduceの基本概念を理解する Google Colabの制限に対応しつつ、Pythonで効率的なMapReduce処理を実装する方法を学ぶ 実践的な例を通じてMapReduceの活用方法を習得する 2. MapR
本稿は「本当は書籍『評価指標入門』に書きたかったんだけど諸般の理由により書ききれなかった内容をgihyo.jpを借りて成仏させていく企画」の第一段「カリブレーション（Calibration、確率較正）」です。特に「機械学習のカリブレーションとビジネスの関係性を検討」してみたいというモチベーションで執筆します。 日本語では“確率較正”とも呼ばれるこの計算ですが、個人的にはカリブレーションという方が好きなので、ここではカリブレーションと統一して書きます。 早速ですが、まずカリブレーションとは「分類問題において、機械学習モデルの出力（[0, 1]の値）をデータのクラス分布に近づける」ことです。例えば、二値分類問題において、モデルがあるデータ点に対して1を予測する確率が0.8である場合、そのデータ点が実際に1である割合も0.8になるように確率の数値を修正してしまう（これが較正）ということで
perf の Python インタプリタを利用して KVM Exit/Entry のレイテンシを分析する - NTT docomo Business Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2024 2 日目の記事です。 perf の Python インタプリタを使って KVM Exit/Entry のレイテンシを計測してみます。 はじめに KVM の仕組み CPU トレースを取得する perf をビルドする Python コードを書く 独自スクリプトを用いて perf.data を集計する まとめ 参考文献 はじめに こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦 (@Kumassy_) です。 普段は OpenStack の開発・運用をしており、最近は仮想マシンの性能解析やトラブルシューティングなどに取り組んでいます。 perf は Linux のパフォーマンス解析に有用なツールです。 perf を使うことで、パフォーマンスカウンタの値を読んだり、プロファイリング、トレーシング
Python surprise で作る らくらく「レコメンドエンジン」（その１） – さくっと Surprise でレコメンドエンジンを作ってみよう！
それぞれのアルゴリズムが最適な状況は異なります。以下に、いくつかの主要なアルゴリズムとそれらが最適となる状況について説明します。 近傍法 (k-Nearest Neighbors)：評価値の分布が一様でなく、ユーザーやアイテム間に明確な関連性が存在する場合に有効です。 SVD (Singular Value Decomposition)：データセットが大きく、スパース性（欠損値が多い）が高い場合に適しています。 NMF (Non-negative Matrix Factorization)：SVDと同様。元の評価行列の全ての要素が非負（0以上）。 Slope One：スピーディーに妥当な精度の予測を行いたい場合に適しています。 Co-clustering：データセットが明確なクラスタ構造を持っているときに有効です。 推薦システム（レコメンドエンジン）を作る 流れ 取り急ぎ、以下の手順で作っ
🌱 はじめに：なぜ「単一リポジトリ」での個人知識管理（PIM）にこだわるのか 私たちの頭の中には、日々膨大な情報が流れ込んできます。仕事のアイデア、技術的なメモ、読んだ本の感想、パートナーとの約束、友人との会話の記録...。これらすべてを完璧に記憶しておくことは不可能です。そこで多くの人が「第二の脳（Second Brain）」として、デジタルツール上に個人の知識ベースを構築しようと試みます。 仕事のナレッジはNotion、プライベートなメモはEvernote、コードスニペットはGitHub Gist...。複数の媒体に知識が分散し、「あの情報どこだっけ？」と探す時間は無視できません。私がやりたくなかったのは、まさにこの複数媒体での知識管理です。リポジトリの切り替えや、複数のツールを横断する手間をなくし、**「このリポジトリだけ見れば全てがわかる」**という世界観を実現したかったのです。
最強の言語モデルLUKEを固有表現抽出（NER）用にファインチューニングして公開してみた - Qiita
こんにちにゃんです。 水色桜（みずいろさくら）です。 今回はLUKEをファインチューニングして、固有表現抽出タスク（Named Entity Recognition, NER）を解くモデルを作成していきたいと思います。 作成したモデルはこちらのサイトで公開していますので、もしよろしければ使ってみてください。 今回も初心者でもたった２ステップ（ステップ１：必要なライブラリのダウンロード、ステップ２：コードのコピペ）で簡単に使えるようにしてあります。 環境 torch 1.12.1 transformers 4.24.0 Python 3.9.13 sentencepiece 0.1.97 transformersのバージョンが古いとMLukeTokenizer, LukeForTokenClassificationが含まれていないので注意してください。（上記のバージョンまでアップデートしてく
よく出る思考パターン・覚えておきたいアイディアをメモしておきます． 問題の分類にもなっています．参考になるコードのリンクをメモしている問題もあります． 【2022.01追記】最近は，このページではなく，タグで分類するようにしています． 入力 出力 改行して出力 bool False, True 比較演算子 all, any 切り捨て・切り上げ（床関数・天井関数） 四捨五入 ソート 反転（逆順） スライス 後ろから指定 文字列操作 置換 リストの結合 deque - 先頭・末尾への追加・削除 アルファベット⇔数字 文字列の位置（左端，右端） 正規表現 リスト操作 注意 2要素の入れ替え set 生成 集合演算 setの中にlistはダメ！ 組み合わせ 出現回数 - collections.Counter 同じ値になる組み合わせ 二項係数 二項係数（mod 10**9+7） mod mod 1
python実践認定試験に向けて勉強した内容を共有したいと思います。 受験をする際は是非参考にしてください。 defaultdict-デフォルト値を持った辞書 通常の辞書は存在しないキーを参照するとKeyErrorが発生します。 defaultdictは存在しないキーを参照した時にデフォルト値が返されます。 コード解説 from collections import defaultdict def value(): return 'default-value' d = defaultdict(value, spam=100) con = d['ham'] print(con) # 存在しないキーを投げるとデフォルト値が返る con = d['spam'] print(con)
【Python】初めての自然言語処理？discord.pyでネガティブな単語に反応するbotを作ってみた。 - Qiita
まえがき 自然言語処理、形態素解析について理解できていない部分が多いです。 誤った解釈をしていたら、ご指摘ください。 目的 友人同士でTwitterのように使っているdiscord鯖で「ネガティブな発言って、自分にも周りにも良くないよな」といった話になった。 私が以前からdiscordのbotと自然言語処理に興味があったので、ネガティブな単語に反応し気づきを得てもらう目的でbotを作成した。 実施方法 Pythonでdiscord.pyを用いてbotを作成し、文体を形態素解析してネガティブな単語を発見したら反応させるようにした。 ネガティブな単語の要件として、日本語評価極性辞書を用いる。 ソースコード import os import discord import MeCab from collections import defaultdict # 日本語評価極性辞書の読み込み pola
華麗なる右アッパー（©︎Ruteさん）で、ついに照り焼き色になりました〜！！！ すごい、どこもかしこも茶色でうれしい！！ うれしいので、わたしのAtCoder歴を辿る、成長観察日記をお届けすることにしました。 ひとりじゃ絶対無理だったーので、お礼も込めて、アカウント名を出したりしてしまってます…もしよろしくなかったら消すので、教えてください！ というわけで、お見苦しいところもある日記ですが、どうぞ行けるところまでお付き合いください 第一部 2021年 11月 伝来 12月 12/11(土) はじめてのAC、そしてはじめてのWA 12/15(水)〜12月末 2022年 1月 01/02(日)〜01/04(火) 01/08(土) はじめてのコンテスト はじめての0完 01/30(土) 2回目のコンテスト はじめてのコンテスト中AC 2月 02/05(土) 3回目のABC はじめてのTLE 再び
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAI API の ファインチューニングガイド｜npaka
TransformersのPipelinesで日本語固有表現抽出 - Retrieva TECH BLOG
機械学習パイプラインLuigiのタスク同士の関係を良い感じに可視化する方法 - ドワンゴ教育サービス開発者ブログ
マルコフ連鎖で自動文章生成をする【Pythonによる自然言語処理超入門】
Pythonで始めるMapReduceデータ処理：中級者向け - Qiita
機械学習のカリブレーションとビジネスの関係 〜ローンのパーソナライゼーション | gihyo.jp
Manus × GitHub で実現する、単一リポジトリでの個人知識管理RAGシステム構築術
AtCoder - 解法パターンの整理 - 競プロはじめました
Python 3 エンジニア認定実践試験勉強記録① - Qiita
ABC283で入茶しました！〜成長日記〜 - 成長観察日記