特別展「犬派？猫派？」東京・山種美術館で - 犬＆猫の日本画が一堂に、長沢芦雪や藤田嗣治など
特別展「犬派？猫派？ —俵屋宗達、竹内栖鳳、藤田嗣治から山口晃まで—」が、東京の山種美術館にて、2024年5月12日(日)から7月7日(日)まで開催される。 近世〜近代を中心に犬・猫を描いた作品を紹介長沢芦雪 《菊花子犬図》 18世紀 江戸時代 絹本・彩色 個人蔵特別展「犬派？猫派？ —俵屋宗達、竹内栖鳳、藤田嗣治から山口晃まで—」は、犬や猫を描いた日本画作品を紹介する展覧会だ。初公開となる《洋犬・遊女図屛風》をはじめ、江戸時代の伊藤若冲や円山応挙、長沢芦雪、明治時代以降の竹内栖鳳や藤田嗣治など、さまざまな画家による名作を目にすることができる。 《洋犬・遊女図屛風》 17世紀 江戸時代 紙本・彩色 個人蔵犬を描いた作品のうち、初公開となる《洋犬・遊女図屛風》は、江戸時代の日本では珍しかった、洋犬を描く貴重な作品。また、子犬たちを表情豊かに描きだした長沢芦雪の《菊花子犬図》、白と黒の2匹の犬
最近の7B小型日本語LLMはエージェントになれるのか？
あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。 ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。 前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。 とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた
田村ゆかり、精力的すぎる音楽活動の真意「自分ではこれがハイペースだとも感じていないんですよ」 - 音楽ナタリー 特集・インタビュー
ナタリー 音楽 特集・インタビュー 田村ゆかり 田村ゆかり、精力的すぎる音楽活動の真意「自分ではこれがハイペースだとも感じていないんですよ」 田村ゆかり「I love it♡」 PR 2024年5月29日 昨年末に2作のEPを連続してリリースした田村ゆかりが、早くも新作「I love it♡」を完成させた。 「I love it♡」は8曲入りのミニアルバムで、6月に始まる全国ツアー「田村ゆかり LOVE ♡ LIVE 2024 *Honey bunny*」で大活躍しそうな明るくポップなナンバーが多く収録されている。EPの2作品も含めると、わずか半年ほどで新曲は一気に18曲追加。昨年は過去最大本数となる合計28公演のツアーを完遂し、今年のツアーも合計22公演と、近年の田村は精力的すぎるほどに音楽活動を展開している。ミニアルバムの制作を終えツアーを控える彼女に、その真意を聞いた。 インタビュー
日本語文のベクトル化と、ベクトルDB Chromaへの登録・検索をローカル環境で実行する - AOI-CAT's diary
はじめに このごろ多様なベクトルデータベースが開発されていますが、これまで扱ったことも基本的なことも知らないままでした。 そこで日本語の処理を念頭にして調査のうえ、実際に手を動かして扱いを確認しました。 この記事は、高い性能を示した日本語文埋め込みモデル（cl-nagoya/sup-simcse-ja-base）を用いて日本語文をベクトル化し、Chromaデータベースに登録して検索を行うまでの一連の作業メモです。 はじめに 調査 日本語文のベクトル化について 文章のチャンク化について 日本語文の区切りについて 日本語文章の準備 Chromaへの登録 検索 クエリ 結果 ベクトル化文の足し引き コード 調査 日本語文のベクトル化について 日本語文をベクトル化することで、類似文の検索や自然言語処理タスクに利用できます。多くのモデルが利用可能ですが、本記事ではローカル環境で動作する「cl-nag
日本語の文章をいい感じに文区切りするライブラリを作った - Qiita
はじめに 昨今、自然言語処理技術の発展はめざましく、様々な分野で応用が進められています。 そんな私も自然言語処理技術やAIを活用した業務をこなすことが多いのですが、その中でとりわけめんどくさい（しかし重要な）作業は、様々な前処理に関するものです。 大抵のタスクで実施することになる主な前処理としては、以下のようなものがあります。 クリーニング HTMLタグや記号等、テキスト中のノイズを除去 正規化(normalization) 全角・半角や大文字・小文字等の統一 文区切り(sentence segmentation) 文と文の区切りを検出し分割 単語分割(tokenization) 文を単語の列に分割 ストップワードの除去 解きたいタスクに不要な単語を除去 私は主にPythonを利用しているのですが、これらの中で日本語の文区切りについては適当なライブラリが無く、毎回似たようなコードを書く羽目
WeaviateとOSSエンベディングモデルを使ったベクトルDB構築 - Qiita
記事の概要 RAGの技術を支えているベクトル検索を体験したいと思いいたったが、Azure AI SearchやOpenAIのエンベディングモデルなどの課金サービスが一般的となっているため、「とりあえず試したい」と思った時に敷居が高いというのが現状だと感じている。 そこで、オープンソースのベクトルDB（Weaviate）と日本語対応のエンベディングモデル（BERT）を使った、ベクトル検索を体験する環境を構築する。 ※コサイン類似度やベクトル、エンベディングの考え方については、省略します。 ※Weaviateはv4もリリースされているみたいだが、今回はv3で構築している。 動画でも紹介してます。 環境 OS:Windows 11 GPU:GeForce RTX 4090 CPU:i9-13900KF memory:64G python:3.10.10 pytorch:2.0.1 CUDA:11
OSSベクトルDBのChromaを使ってQ&AボットをLangChainで作成する｜mah_lab / 西見 公宏
新興で勢いのあるベクトルDBにChromaというOSSがあり、オンメモリのベクトルDBとして気軽に試せます。 LangChainやLlamaIndexとのインテグレーションがウリのOSSですが、今回は単純にベクトルDBとして使う感じで試してみました。 データをChromaに登録する今回はLangChainのドキュメントをChromaに登録し、LangChainのQ&Aができるようなボットを作成しようと思います。 しかしLangChainのドキュメントはほとんどがJupyter Notebook形式なので、ベクトルDBへ取り込みやすいようにフラットテキストにしてあげる必要があります。 以下の関数はJupyter Notebook形式（JSON）のファイルを分解してMarkdown形式に変換し、その後Unstructured.ioのMarkdownスプリッタを利用してコンテンツをチャンクに分割
GitHub - hppRC/simple-simcse-ja: Exploring Japanese SimCSE
文埋め込みは自然言語文の密ベクトル表現であり、類似文検索や質問応答、最近では検索補助付き生成(Retrieval Augmented Generation: RAG)に盛んに利用されています。 文埋め込みを構成する方法には様々な種類がありますが、近年では事前学習済み言語モデルに対して対照学習(Contrastive Learning)によるfine-tuningを施す手法が高い性能を示しています。 その中でも代表的な手法がSimCSE (Simple Contrastive Sentence Embedding)です。 SimCSEには教師なし・教師ありの二つの設定があります。 教師なし設定では、事前学習済み言語モデル中に存在するDropoutモジュールをデータ拡張の手段とみなして「モデルに同じ文を2回入れて、同じ文同士を正例とする」ことで対照学習を行います。 教師あり設定では、自然言語推
【自然言語処理】BERTの単語ベクトルで「王+女-男」を計算してみる
ベクトルの近傍探索ライブラリfaissの操作備忘録を書きたかったのですが、それだけだとつまらなかったので、Word2Vec等で有名な単語ベクトルの演算がBERTにより獲得されたベクトルでもできるのか調べてみました。 事前準備 ライブラリのインストール python3 -m venv .env source .env/bin/activate pip install faiss-cpu transformers numpy import torch from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-whole-word-masking") model = AutoModel.from_pretrain
【🔰自然言語処理】単語の分散表現② Word2VecとBERT - つくもちブログ 〜Python&AIまとめ〜
このシリーズでは、自然言語処理において主流であるTransformerを中心に、環境構築から学習の方法までまとめます。 この記事では単語の分散表現の理解のため、前回紹介したWord2Vecと比較しながら、BERTによる単語のベクトル化の流れを紹介します。 Google colabを使用して、簡単に最新の自然言語処理モデルを実装することができますので、ぜひ最後までご覧ください。 【ChatGPT】自然言語処理まとめ【Huggingface Transformers】 自然言語処理に関するおすすめの書籍 ChatGPT ChatGPTを中心とした、GPT系の関連技術を紹介します。 ChatGPTの概要 ・ChatGPTとは・ChatGPTができること・ChatGPTの問題点…
どうして、「学園でアイドルマスター」なのか？ 開発陣にぶっちゃけ聞いてしまう、『学園アイドルマスター』ができるまで
「新しい『アイマス』なんだから、今までの固定観念を壊して新しいものを作ってほしい」 『学園アイドルマスター』の開発中、今作のメインプロデューサーを務める小美野日出文（こみの ひでふみ）氏はこの言葉を何度も投げかけられたらしい。 しかし、小美野氏自身は全く逆の考えだったという。 新しい『アイドルマスター』だからこそ、『アイマス』の良さを残す必要がある。「新入生」とでも言わんばかりの鮮烈なイメージがある一方、『アイマス』として正しいことをできているのかを常に考えながら『学マス』を作り上げてきたらしい。 『学園アイドルマスター』のコンセプトがまとめられた企画書この事実を知るまで、なんとなく勝手に「『学マス』は相当“新しさ”を意識して作ってるんだろうな」と思っていた。そもそもシリーズ的には6年ぶりの完全新作だし、舞台も学園だし、ビジュアルも、曲も……なんだか全体的に「新しさ」を全面に押し出している
ローカル環境でAI翻訳 (NLLB200 Model) - AOI-CAT's diary
はじめに Meta AI製のモデルNLLB-200*1を使って、ローカルで翻訳をできるようにした。 Gradioを利用した簡易UIでブラウザーから翻訳できます。 簡易Web UIのウィンドウ 性能 速度はAMD Ryzen 9 5900HX、メモリ32GBで、以下の文章の翻訳に1分くらいです。 Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do: once or twice she had peeped into the book her sister was reading, but it had no pictures or conversations in it, “and what is the use of a book,”
pg_tileservで、UCDP GED（ウプサラ紛争データプログラム 地理参照事件データセット）をベクトルタイルとして配信する
タイトルの通り。 UCDP（Uppsala Conflict Data Program、ウプサラ紛争データプログラム）の GED（Georeferenced Events Dataset、地理参照事件データセット）を pg_tileservでベクトルタイルとして配信する。 Docker composeで、 PostgreSQL + PostGISのデータベースと、 pg_tileservを起動する： services: pg_tileserv: image: pramsey/pg_tileserv:20240312 container_name: pg_tileserv environment: - DATABASE_URL=postgres://postgres:postgres@pg_tileserv_db/tileserv depends_on: - pg_tileserv_db p
横浜に来たら麻婆豆腐を食べろ
「横浜って何か名物ある？」という質問に横浜市民なら一度は頭を抱えたことがあると思う。家系ラーメン？焼売？中華街の食べ放題？どれをお勧めするのが正しいのかわからないというのが横浜あるあるだ。 しかし昨今の辛い物ブーム、麻辣ブーム、多分だけれど横浜が売り出すべきなのは本格四川麻婆豆腐なのだと俺は思う。つい10年前まで四川麻婆豆腐は激辛好き専用という認識が広がっていたけれど大阪でのスパイスカレーの流行りや関東ではアジア料理は女性中心にどんどん広がっているし「辛いのはちょっと…」という理由だけで麻婆豆腐を避ける人も前よりは減ったのではないだろうか？マーは好きだけれどラーは嫌いとか、そういう人もいるとは思うが一度は麻婆豆腐を食べてみてほしい。 という訳で麻婆豆腐好きの俺が観光客にお勧めする本格四川料理屋を参考にして横浜に行って麻婆豆腐を食ってくれ。 お勧め そのいち ◆京華樓 鶴屋町CRANE店 h
LLMをWindowsローカルマシンで実行し、AMD RX6600Mを使う。(LM Studio, KoboldCpp-rocm) - AOI-CAT's diary
はじめに AMD RX6600M GPUを搭載したWindowsマシンで、テキスト生成用途にLLM実行環境を試したときのメモです。 LM Studio、Ollama、KoboldCpp-rocm、AnythingLLMの各ソフトウェアの使用感、GPU動作について紹介します。 結論として、この中ではLM StudioとKoboldCpp-rocmがAMD RX6600Mを利用して動きました。 はじめに モデルについて 使用感と利点・欠点 1. LM Studio 2. Ollama 3. KoboldCpp-rocm 導入と設定 4. Anything LLM まとめ モデルについて LM Studio、KoboldCpp-rocmについては、GGUF形式にしたモデルを読み込みます。 huggingface.co こちらからMeta-Llama-3-8B-Instruct-Q4_K_Mを読み
ローカルLLMはこーやって使うの💢
making-the-most-of-local-llms.ipynb Sorry, something went wrong. Reload? Sorry, we cannot display this file. Sorry, this file is invalid so it cannot be displayed.
「コンプリボドゲ」サービスについてのご案内｜WAZA games
ボードゲーム制作を手掛けるWAZAgamesは、全国3万店以上のコンビニエンスストアで24時間365日買える「コンビニボドゲ」の名を改め、「コンプリボドゲ」としてサービス展開することを報告させていただきます。 ・コンプリボドゲについてコンビニボドゲ改めコンプリボドゲは「24時間365日、即買える、即遊べる」をコンセプトにした、新しいサービスです。 WAZAgamesは、新しいボードゲーム販売の一つの形として、この「コンプリボドゲ」のサービス展開を行います。 全国３万店舗以上のコンビニエンスストア※のマルチコピー機で展開する「エンタメプリント」で印刷できるので、遊びたい時にすぐ手に入れられる気軽さがありながら、本格的なゲームを楽しめるのが特徴です。 メリットとしてボードゲームをいつでもコンビニさえあれば気軽に買うことができるほか、ボードゲーム制作者にとっても初期費用を抑えつつ在庫リスクを回避
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - cl-tohoku/bert-japanese: BERT models for Japanese text.
TRIDENT
Backdrop Build