Claude × Nano Banana Pro で料理漫画を自動生成するパイプラインを作った - Qiita
ページ,コマ,コマサイズ,シーン説明,キャラクター,セリフ,漫画部分プロンプト,実写料理プロンプト,備考 1,1,大,ユウタが和食を洋食っぽく盛り付けてしまう,ユウタ,肉じゃが作った！大皿にドーンと盛ったよ！,"被写体：ユウタがダイニングテーブルの前に立ち、大きな白い丸皿を持っている。得意げな笑顔。 構図：テーブルを挟んでユウタの上半身。 場所：1LDKマンションのダイニング、夜。 スタイル：よつばと!風、フルカラー、パステルカラー。","肉じゃがを白い丸皿に山盛り、洋食風の盛り付け、違和感がある",導入 1,2,中,ミナが微妙な反応,ミナ,美味しそうだけど…なんか和食っぽくないかも,"被写体：ミナがテーブルに座り、皿を見ている。首をかしげている。 構図：バストアップ。 スタイル：よつばと!風、フルカラー。",, """ Nano Banana Pro 画像生成（複数画像対応） Usage
pathlibをもっと使おう - The jonki
皆さんはPythonのpathlib使ってますか？私は非常によく使っています．例えば機械学習では学習の前に前処理を多く行うケースが非常に多いですが，このような時にpathlibを知っておくと便利です．pathlibは意外とPython 3.4（2014年～）からとそれなりに新しいため，古くからのPythonユーザーは os.pathの方をよく使っているかもしれません．ただpathlibは文字列ではなくPathクラスとして扱ってくれることで，例えばLinux/Windowsのパス表記の違いを吸収してくれたりします． pathlibとos.pathの比較は公式のpathlibドキュメントに譲るとして，私がよく使うpathlibのクラスを紹介します．また今回改めてドキュメントを眺めて知った便利関数も多いので，公式ドキュメントに目を通すのもオススメします． 今回は下記のような複数の素性の異なるデー
はじめにこの記事では効率的な合成データ生成からそのデータを学習したモデルのGGUF変換、OllamaやLM Studioでの推論まで行います。 データ合成にはSDG LOOM、学習にはUnsloth Studio、推論にはLM Studioを用います。 これを理解すれば誰でもオリジナルのLLMを作成することができます。 今回は「小説生成ローカルモデル」を例に挙げて作成を行います。 それでは初めて行きましょう。 合成データの作り方このステップでは、LLMを用いた合成データを作ります。 オリジナルのLLMを作成するにあたって、1番大事なのは合成データです。 どのようなデータを作り、そしてそれを用いてどのような大規模言語モデルを目指すのかを決定するのがこのフェーズになります。 合成データを作るにあたって、以下の3つの点が大切だと個人的に思っています。 ・データの品質 ・コストパフォーマンス そし
CIの時間を(できるだけ楽して)半分にしてみた - Nealle Developer's Blog
こんにちは、ニーリーの佐古です。 現在開発速度や開発者体験の向上のため、取り組みの諸々を遂行しています。 開発者体験とCI 天井の雨漏りが4か月ほど止まらないので私の開発者体験は酷いことになっています。 さて、皆さんCIの待ち時間はお好きですか？私は大嫌いです。 弊社バックエンドリポジトリのPR時CIはプロダクトの成長に合わせて実行時間が順調に伸びており、 開発速度と開発者体験の双方に悪影響をもたらしていました。 実は別チームで改善のための試みがなされたことはあったのですが、 そこで行き当たった問題をある程度解決してどうにかエピソードになる程度の成果を得られたので 簡単に記しておこうと思います。 前提 プロダクトはDjangoで、リポジトリはGitHubで管理されています。 AS-WAS ついこないだまでのPR時CI。 こちらがもともとのGitHub CIのグラフです。 正直経験上そこまで
「500年後に日本人が佐藤だけになる」という試算の問題と改善 - ill-identified diary
この記事の要約 はじめに 問題点の要約 (追記) 先行研究について GARCH(っぽい)モデルによるシミュレーション シミュレーション前の理論分析 選択的夫婦別姓との比較 (追記) ゴルトン゠ワトソン分枝過程について 使用するデータ シミュレーションの技術的な補足 乱数生成について GARCHモデルの結果 シミュレーションの追試 より複雑なシミュレーションについて 男女別 世代重複 創作苗字 三親等の婚姻禁止ルール より高度な人口学的モデル 結論 2024/4/22: 先行研究とゴルトン゠ワトソン分枝過程の解説の追記 2024/4/23: 多数の言い回しのおかしい箇所の校正 2024/4/24: グラフ上の記載ミスとグラフ描画コードを修正 この記事の要約 先日報道された「500年後に日本人が佐藤だけになる」という試算の内容に違和感を覚えた. 資料を確認してみると, 大きな問題のある方法で試
概要 はじめに Qlibの試用 動作条件 使用したrequirements.txt データの取得 予測の実施 出力 図示 ソースコード バックテストでのポートフォリオ分析 リスク分析、分析モデル おわりに 概要 本記事では、Qlibを使用して、機械学習パイプライン環境を構築する第一歩について述べる。 はじめに このブログの趣旨としては、当初は「戦略作成」→「戦略検証」→「戦略稼働」→「成果の評価」→「戦略へフィードバック」といったサイクルを管理できるような自動トレーディングシステムを作ることを考えていた。 最近、すこし株取引から離れていたのだが、最近になってまたやり始めようかなと思い、色々と現在の状況を調べはじめた。 その中で、MicrosoftのリポジトリにQlibというものがあるのを見つけた。これが2020年の8月から作られたもので、現在でもメンテされており、もしかするとこれがやりたい
SuperwhisperとVSCodeのCopilot Agentを使って、音声から素早くブログを書き上げる - yasuhisa's blog
3行まとめ アウトプットの速度を上げたいが、記事を書くのは時間がかかる SuperwhisperとVSCodeのCopilot Agentを組み合せて、音声からブログを書き上げるワークフローを組んだ 実際に使っているpromptを含め、真似しやすいように詳しく紹介 3行まとめ 背景: アウトプット速度を上げたい & LLMの急速な進化 利用している技術 Superwhisper: 技術用語も認識する書き起しアプリ VSCode Copilot Agent: 自然言語で校正のワークフローを組み込む 実用例: どれくらい早くアウトプットできるようになるか 実際のワークフロー 工夫した点 過去に自分が執筆したテキストの資産を活用する 依存関係の抽出を自動で行なう 複数のAgentにレビューをさせる タイトル案の自動生成 実装を通して得られた学び 自然言語でワークフローを組み立てることの難しさ エ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? import os import torch print(torch.__version__) torch_ver, cuda_ver = torch.__version__.split('+') os.system(f'pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/{cuda_ver}/torch{torch_ver}/index.html --no-cache-dir') os.system('cd src/ndl_layout/mm
H200 GPU x 8基で Qwen2.5-VL-72B-Instruct を使った OCR を試してみる - ABEJA Tech Blog
ABEJAでデータサイエンティストをしている藤原です。 今回は、株式会社ハイレゾ様のGPUクラウドサービス「GPUSOROBAN」で H200 GPU × 8基構成のシングルノードサーバを用いて、大規模モデルを使用した検証を実施しました。本記事では、その検証でのGPUサーバの使用方法や、検証内容の一つである Qwen2.5-VL-72B-Instruct を用いたOCRの結果についてご紹介します。 highreso.jp はじめに GPUクラウドサービス「GPUSOROBAN」について GPUサーバの使い方の方針と事前準備 Qwen2.5-VL-72B-Instruct を使った OCR を試してみる 条件 実装 実行時のGPU使用状況と処理速度 検証1. 通常の文書のOCR 検証2. チャート・グラフのようなテキストで表現されていない情報のテキスト化 検証3. 複雑なレイアウトのドキュメ
はじめに 英語ドキュメントを読むのはつらい。 DeepLでもGoogle翻訳でも翻訳文章長のリミットがあったり、なんか日本語的に違和感があったりするものです。 そういう制限を解消しつつ、文書検索を簡単に「意図を理解」して提案してくれる環境をVSCode上に作ろう というお話をやっていきます この記事では触れませんが、セキュリティ文書って結構Red Teaming的なことを書くと、オンラインのAIエージェントは「回答拒否」するので、ローカルLLMを使って回答拒否しないものを作っています。 LLMをうまく選定すれば作れるのでやりたい人はやってみてください。 とはいえ、絶対的にローカルLLMである必要性はないのでオンラインでもよいです。 あくまでも回答拒否しないモデルを使うという点においてローカルLLMが適しているというだけです 環境準備 EVO X2の128GBモデルを買う(or 96GB以上
はじめに ドワンゴ教育事業でデータサイエンティストとして働いている中井です。 この記事では、PythonのパイプラインパッケージであるLuigiで構築したパイプラインにおいて、それを構成するタスク間の依存関係・タスクのグループ間（task_namespace で分けられる）の依存関係を良い感じに出力する方法についてお話しします。想定する読者はある程度Luigiを使ったことのある方としています。 Luigiではタスク全体の依存関係を出力できますが、大規模なタスクだともう少し荒い粒度であったり、全体のうちの一部だけ見たいといったこともあると思います。この記事を読むことでそのような荒い粒度の可視化やパイプラインの一部分に注目した可視化ができるようになります。この記事ではまずLuigiを使っていて課題に感じている部分について説明した後に、可視化対象のサンプルパイプラインについて少し触れて、そのパイ
中間層をリピートするだけでLLM性能が向上する!? 4090x2でリーダーボードトップになった手法Repeat Your Self｜shi3z
この手法は、「LLM神経解剖学」と銘打ち、LLMのレイヤーが実際には何をやっているのか類推しようとする。 Ngによれば、LLMは入力層に近いところでは入力された言語から、LLMが使用する中間表現に変換され、出力層に近いところでは、中間表現から出力表現に変換される。 実際の「思考」は、中間層で行われているというのがNgの主張の中心である。 そこでNgは、グリッドサーチを行って、中間層をどのようにリピートすれば一番性能が上がるかというポイントを探った。これがRYS-XLargeというモデルだ。 RYS-XLargeは、LLMリーダーボードで並いるモデルを追い抜き、一位になった。重要なのは、RYS-XLargeは一切の再学習や事後学習を行っていないという点だ。 LLMリーダーボードでQwen2-72Bを抜いてトップにそして、このリーダーボードの闇の部分になるのだが、Ng自身はリーダーボードでトッ
Skills in OpenAI API
Upload, manage, and attach reusable skills to hosted environments. Agent Skills let you upload and reuse versioned bundles of files in hosted and local shell environments. For the full reference, see the Skills documentation. What is a skill? A skill is a reusable bundle of files (instructions + scripts + assets), packaged as a folder and anchored by a required SKILL.md manifest. OpenAI copies tha
インターネットの世界にニュースが溢れる昨今、満足度が高いものを的確に読みたいという方も多いかと思います。そのためには、見るニュースをどれにするか判断することが必要になります。そこで、ニュース全体の主旨を短い文章で表す要約の価値が高まっています。 自然言語処理における要約は、大きく２つに分けられます。それは、抽出型と抽象型です。抽出型は、文章の中から重要な文を抜き出すことで要約を作ります。要約として選ばれた文は元の文章にあるものなので、方向性が大きく異ることや誤字脱字がうまれる可能性は低いです。しかし、要約として選ばれた文のそれぞれは関係があるわけではないので、流暢な要約にならないことも多いです。それに対して、抽象型は人間が作るように要約としての文章の流暢さを考慮しながら作ります。本来人間がほしい要約はこちらになりますが、抽出型に比べると難易度が上がり、全く意味がわからない文章になる可能性も
Bucket full of secrets – Terraform exfiltration | Mercari Engineering
Background At Mercari, we utilize many microservices developed across multiple different teams. Each team has ownership over not only their code, but also the infrastructure necessary to run their services. To allow developers to take ownership of their infrastructure we use HashiCorp Terraform to define the infrastructure as code. Developers can use Terraform native resources or custom modules pr
--- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S
最近、Antigravityを使っていて、「この操作、毎回同じこと説明してるな…」と思ったことありませんか？ 例えば： 「PDFを100ページごとに分割して」 「コミットメッセージを自動生成して」 「画像をリサイズして」 こういった繰り返し使う操作を、Antigravityに「覚えさせる」ことができたら便利ですよね。 それを実現するのが、Antigravity Skillです。 きっかけ：NotebookLMでPDFがアップロードできない！実は、この記事を書くきっかけは、NotebookLMでの失敗体験でした。 ローカルにあるPDFファイル（143ページ）をNotebookLMにアップロードしようとしたところ… ❌ エラー: ファイルサイズが大きすぎます調べてみると、NotebookLMには200MBのファイルサイズ制限があることが判明しました。 「毎回手動で分割するのは面倒だな…」と思い
設定ファイルはPythonコードを動かすディレクトリに置きます。 設定ファイルの[BigQuery]セクションに、GA4のテーブルが入っているGoogle Cloudのプロジェクト名とデータセット名を記述します。 [GCS]セクションに、Avroファイルを格納するCloud Storageのバケット名を記述します。 コード説明 上記のPythonコードで行うことは以下の通りです。 BigQueryのGA4テーブルをAvro形式でexportします まずBigQueryからCloud Storageにexportし、次にCloud Storageからローカルにダウンロードします。 記事執筆時点で、BigQueryからローカルに直接exportできないため、Cloud Storageを経由しています。 テーブル名が「events_」から始まるテーブルをGA4のテーブルとみなし、まとめてexpo
はじめに ニコ生のタイムシフトをダウンロードしたかったんです。高画質のために深夜に見るのも辛いし。でも探しても全然ダウンローダーが無い。 なのでGoogleChromeのDevToolとか見ながら夜業して作りました。websocketとかの勉強になったかな？ 悪用厳禁。ニコニコ動画でダウンロード可能な動画は投稿者により明示的に許可されたものに限ります。 早くコードを見せろという方用にGithubのリンクを貼っときます。 https://github.com/kairi003/nicolive-dl 参考文献 いきなり参考文献というのもどうかと思うのですが、@mueruさんの「ニコ生の配信を分析し、動画として保存するために頑張った話」を大変参考にさせていただきました。 今回私が書いたのはこれの発展ですね。GoogleChrome+Seleniumなしで動くように頑張りました。 あとは@tor
A mega tutorial with dozens of examples on how to use the pathlib module in Python 3 When I started learning Python, there was one thing I always had trouble with: dealing with directories and file paths! I remember the struggle to manipulate paths as strings using the os module. I was constantly looking up error messages related to improper path manipulation. The os module never felt intuitive an
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
［解決！Python］splitext関数でファイルパスから拡張子を取得するには：解決！Python os.path.splitext関数は渡されたパスを拡張子とそれ以外の部分に分割する。その基本的な使い方と注意点、拡張子ごとに処理を切り分けるサンプルコードを紹介する。 from os.path import splitext # os.path.splitext関数はパスを拡張子とそれ以外に分割する w_file = 'C:\\tmp\\pytips\\foo.txt' u_file = '/tmp/pytips/foo.txt' result = splitext(w_file) print(result) # ('C:\\tmp\\pytips\\foo', '.txt') result = splitext(u_file) print(result) # ('/tmp/pyti
［解決！Python］ディレクトリを作成／削除するには：pathlibモジュール編：解決！Python pathlibモジュールのPathクラスが提供するmkdir／rmdirメソッドを使って、Pythonのコードからディレクトリを作成／削除する方法を紹介する。 from pathlib import Path # Path.mkdirメソッドを使ったディレクトリ作成 target_dir = Path('sample_dir') target_dir.mkdir() # ディレクトリが既に存在している場合 target_dir.mkdir() # FileExistsError target_dir.mkdir(exist_ok=True) # OK target = Path('tmp') target.touch() # ファイルを作成 target.mkdir(exist_o
Two-Tower モデルで作る高速でスケーラブルなレコメンドシステム｜株式会社ココペリ Tech blog
こんにちは、Fact & Dataグループの岡﨑です。近年、ECサイトやコンテンツプラットフォームにおいて、リアルタイムでパーソナライズされたレコメンデーションの重要性が増しています。しかし、大規模なユーザー・アイテムデータを扱うレコメンドシステムでは、スケーラビリティ（大規模なデータへの対応力）を確保しながら、低レイテンシ（高速応答）を実現することが課題となっています。 従来のMatrix FactorizationやFactorization Machinesといった手法では、特徴量の柔軟な追加が難しく、新しいユーザーやアイテムが追加された場合や特徴量が変化した際にモデル全体の再学習が必要となるため、大規模サービスでの運用においてスケーラビリティの課題があります。 この課題を解決する手法として注目されているのが『Two-Tower モデル』です。この手法では、ユーザーとアイテムの特徴を
目次1.はじめに 2.hooksについて 3.hooksで使うPythonスクリプトについて 4.hooksを動かしてみた 5.おわりに 1.はじめにAI ツールを日常的に使用している中で、会話履歴を振り返りたい場面がないでしょうか。 AI とのやりとりですが、デフォルト状態では手軽に保存、参照するのは難しいかと思います。 そこで本ブログでは Gemini CLI の hooks 機能を使って、Obsidian の保管庫に AI とのやりとりを自動的に保存する方法を紹介します。 環境情報 macOS：Tahoe 26.3.1 Node.js のバージョン（ node --version ）：24.11.1 Gemini CLI のバージョン（ gemini --version ）：0.36.0 Obsidian のバージョン：1.12.7 2.hooksについてhooks とは Gemin
Backlogの課題とwikiとファイルをPythonでええ感じに出力（エクスポート）する方法 | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はBacklogの課題とwikiとファイルをPythonでええ感じに出力（エクスポート）する方法を紹介します。 なお、本記事と似たようなことは過去に以下の記事で投稿していますが、今回はwikiやファイルを含めて取り扱いました。 本記事の方法でできること・できないこと 本記事の方法では以下ができます 課題 課題の記載内容とコメント（テキストファイルとして、コメントには日時・作成者を包含）の出力 課題に添付されたファイルの出力 添付ファイルもダウンロード wiki wikiの記載内容の出力 wikiの階層構造はディレクトリ構造として維持 wikiの添付ファイルもダウンロード ファイル ファイルにアップロードされているもの出力 ディレクトリ階層構造は維持 その他 プロジェクトIDはプロジェクト名から
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
一日でできる！ オリジナルのローカルLLMの作り方【データ合成からLM Studioまで】｜Holy_fox
Qlibを使った機械学習パイプライン環境の構築 投資の取引戦略最適化と機械学習モデル作成の省力化を目指して - 株のシステムトレードをしよう - 1から始める株自動取引システムの作り方
NDLOCRのWebアプリを作ってみた【Gradio】 - Qiita
VSCodeとローカルLLM（gpt-oss120b）で和訳・RAGする - Qiita
機械学習パイプラインLuigiのタスク同士の関係を良い感じに可視化する方法 - ドワンゴ教育サービス開発者ブログ
PytorchのTransformersのT5を使って要約モデルを作る - 見習いデータサイエンティストの隠れ家
prompts.chat - AI Prompts Community
Antigravity Skillを作ってみた！PDF分割で学ぶSkill作成入門｜miyo_ai_note
GA4のテーブルをBigQueryからPostgreSQLにAvroファイル経由でコピーする - Qiita
ニコ生(タイムシフト)ダウンローダーを書く - Qiita
Python pathlib Cookbook: 57+ Examples to Master It (2022)
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
［解決！Python］splitext関数でファイルパスから拡張子を取得するには
［解決！Python］ディレクトリを作成／削除するには：pathlibモジュール編
Gemini CLIのhooksで会話履歴をObsidianの保管庫に自動保存してみた | iret.media