RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
第1章: Difyとは？ 生成AIが注目され始めて早数年。ChatGPTの登場が世間を賑わしたのは記憶に新しいですね。その後も、DALL-EやGPT-4など、様々な生成AIが登場しました。これらの生成AIは、それぞれの特徴を持ち、様々な用途に活用されています。ChatGPTなどの生成AIの技術は、LLM（Large Language Model）と呼ばれ、膨大なテキストデータから学習し、高度な言語理解を実現する技術であり、自然言語処理の分野で大きな注目を集めています。 そして、LLMを利用したアプリも登場しました。特に大きな注目を集めているのはRAGやAIエージェントでしょう。RAGは、外部のデータベースや文書から関連情報を取得して回答の精度を向上させる技術、そしてAIエージェントはLLMを活用してタスクの実行や意思決定を自律的に行う仕組みです。これらのアプリは、LLMを利用して、高度な自
いま「新しい数学」が必要だ。助けて数学者!｜shi3z
最初に言っておくが、僕は数学は全く苦手だ。数学が得意な人から見たらかなり的外れなことを言ってるのかもしれないが、僕にとっては切実な悩みなのである。「そんなのは簡単だよ」という人がいたらどうか教えて欲しい。 点がある。 これを0次元と言う。 点が横に並行移動して伸びて線になる。この線は無限大の長さまで伸びることができる。これを一次元という。 任意の長さ1の線が縦に1だけ動く、正方形になる。これを二次元と言う。 正方形を長さ1だけ今度は奥行方向に伸ばす。立方体になる。これを三次元という。 ここまでに「3つの方向」が出てきた。横、縦、奥行。 そのどれでもない四つ目の方向を考える。ただしこれは「時間軸」ではない。自由に行き来できる縦、横、奥行、ではない四つ目の「方向」だ。 立方体をそっち側の方向に動かす。これを超立方体といい、この空間を4次元という。 この長立方体をさらに「べつの方向」に動かす。こ
Stanで動かすベイズ的機械学習 ~医療費データの分析例~ - ENGINEERING BLOG ドコモ開発者ブログ
本記事は、ドコモアドベントカレンダー2024 19日目の記事です🎄 こんにちは！NTTドコモ クロステック開発部の畑元です。業務ではヘルスケア領域におけるデータ分析やAI開発を行っています。 この記事ではベイズ推論による機械学習とRStanを用いた分析例をご紹介します。データサイエンス分野の方には馴染みのある話かもしれませんが、私はよく忘れてしまうので頭の整理も兼ねて書いていこうと思います。 ※数式が崩れる方は、数式の上で右クリックして、Math Settings > Math Renderer > Common HTMLへ設定をご変更ください 1. はじめに 2. ベイズ推論について ベイズの定理 ベイズ推論 ベイズ的機械学習 3. 実際に動かしてみる 準備 探索的データ分析 ベイズ線形回帰 階層モデル 4. おわりに 参考書籍 1. はじめに 近年、AIに関する研究は急速に進歩し、あ
チェビシェフ距離（Chebyshev distance）／L∞ノルムとは？：AI・機械学習の用語辞典 用語「チェビシェフ距離」について説明。2点間の距離を計測する方法の一つで、2つの点座標（n次元）で「次元ごとの距離（＝各成分の差）の絶対値」のうち「最大値」を距離として採用する計算方法を意味する。 連載目次 用語解説 数学／統計学／機械学習におけるチェビシェフ距離（Chebyshev distance、Chessboard distance：チェス盤距離）とは、2点間の距離を計測する際に、n次元ベクトルで表現されるそれらの点座標の次元ごとに距離（＝成分間の差）の絶対値を求めて、その中の最大値を距離とする方法である。 チェビシェフ距離は、n次元のチェス盤の上をキング（駒）が移動する手数（＝ステップ数）によく例えられる（図1）。キングは斜めにも真っ直ぐにも動けるため、例えば左下にあるx地点から
生産性上昇の分だけ実質賃金を上げる、下流中間層へのセーフティネットを拡充する、それが成長を回復する近道 【後編】エコノミスト・河野龍太郎氏が語る、変えるべきは社会に蔓延している「実質ゼロベア・ノルム（規範）」 | JBpress (ジェイビープレス)
物価高に賃金上昇が追いつかず家計は火の車で、消費は低迷。円安の下で海外観光客が大量に押し寄せる一方、日本人は海外旅行を控え、パスポートの取得率は過去最低。なぜこんなことになったのか。『日本経済の死角―収奪的システムを解き明かす』（ちくま新書）を上梓したBNPパリバ証券のチーフエコノミスト・河野龍太郎氏に話を聞いた。（聞き手：大崎明子、ジャーナリスト） 【前編】この25年で生産性は3割上昇したのに実質賃金はまさかの据え置き、日本人が貧しくなった本当の理由 ──コーポレートガバナンス改革により、従業員よりも株主が重視されるようになったことも問題だと指摘しています。 河野：米英では1970年代から、企業は株主の利益を最大化すべきだという考え方が広がっていたわけですが、最近は、従業員や地域社会など全てのステークホルダーに分配すべきだという方向へ揺り戻しが起きています。 ところが、日本は、かつては株
2024年11月08日06:42 カテゴリ保有株お小遣い稼ぎ また株を買いました〜(*^-^*) 昨日はお休み中に大掃除した粗大ごみを捨ててきた〜 写真はお休み中に行った利府のイオンモール めちゃでかくて歩くの疲れた〜 お店も多いから全部見れてないので また遊びに行きたいな ポイントサイトでお小遣い稼ぎは 『ハピタス』で3000ＰをPeXポイントに交換 ここは昔から安定して稼げるすごいポイントサイトだよね そしてポイントサイトでは凄いキャンペーン中 11月1日から12月31日までｄポイントの交換が最大15％増です まだの方は今からでも間に合うのでポイントサイトとか登録しとくといいよ〜 ポイントサイトで小遣いを稼ぎたい方はサイドバーにお勧めサイト載せてるので興味ある方は見てみてね 1位はやっぱり『ポイントタウン』 2位は有名な『ハピタス』 3位には急浮上の『ちょびリッチ』が凄いんです 4位は
をマンキューがNBERコンファレンスで明らかにした。以下はその概要。 フィリップス曲線は厳然として存在する インフレと失業率の無条件の関係としてはもはや存在しないが、条件付きの関係としては存在する。 金融ショック、ないし総需要ショックは、インフレと失業率を短期的に逆方向に動かす。これを短期のフィリップス曲線と定義すると、これから逃れることはできない。 しかしフィリップス曲線は実務的に有用なツールではない フィリップス曲線はマクロ経済理論の重要な部品、という点については断固として擁護するが、実務的なツールとしてはさほど重視していない。 NAIRUの推計は信頼区間があまりにも大きい。 フィリップス曲線が軌道から外れるたびに研究者は新たな定式化を提案してきたが、それはあまりにも頻繁に起きており、聖杯探しに似た状況になっている。 失業率よりもフィリップス曲線の当てはまりの良い経済のスラックの指標を
ゼロから作るDeep Learning ❺
人気シリーズの第5弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイステップで実装し、最終的には「Stable Diffusion」のような画像生成AIを完成させます。技術の面白さは細部にあります——ゼロから作る、数式に挑む。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。 正誤表 まえがき ステップ1 正規分布 1.1 確率の基礎 1.1.1 確率変数と確率分布 1.1.
世の中そんなに甘くない。 SakanaAIの「AI科学者(AI Scientist)」を使ったら爆発的に研究が捗る!と思ったのも束の間、人間並、いや下手すると人間より日給が高くなる可能性があることがわかった。 この二日間、好き放題にAI科学者に研究させた結果がこのザマ 二日で300ドルを突破する勢いで、これはちょっと遊びでやるレベルを超えてる。 また、指示の出し方(seed_ideas.json)によっては、実験が失敗する可能性もある。 昨日はMNISTと進化計算をテーマに7つの研究をしたみたいだが、5本は失敗し、2本だけ論文が得られた。 まあ一晩で2本も論文書けるレベルの人間の日当はもっと遥かに高いと思うが、個人で抱えるにはリッチすぎる。 というのも、デフォルトでClaud-3.5-SonnetやGPT-4oを使うようになっているからだ。そこで激安になったGPT-4o-miniをデフォル
前提 設定 n 組の目的変数 y_i と p-1 個の説明変数 x_{1i}, x_{2i}, ..., x_{p-1,i} からなるデータセット(i=1, 2, ..., n)をもとに、線形回帰モデルを作成する： y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + ... \beta_{p-1} x_{p-1,i} + \varepsilon_i. ただし、\varepsilon_i は独立同時な分布に従う誤差項とし、その期待値は E[\varepsilon_i] = 0、分散は V[\varepsilon] = \sigma^2 とする。 この時上記のモデル式は、目的変数ベクトル \boldsymbol{Y} = (y_1, y_2, ..., y_n)^\top、計画行列 \boldsymbol{X}、回帰係数ベクトル \boldsym
ABEJAでデータサイエンス部の部長をしながら色々やっている大谷です。 今回は2024年12月19日に公開された待望のQwen2.5 Technical Reportについて日本語に翻訳しつつ、適宜コメントを入れていく記事を書いていこうと思います。コメントはですます口調で記述しています。 先にネタバレですが、Qwen2.5は特別新しい技術を導入しているわけではなく、これまで積み重ねてきた知見を着実に活かして精度を向上させています。この記事では、新しい観点の発見というよりも、これまでの有効な知見を再確認するきっかけにしていただければ嬉しいです。 ちなみにこちらの記事はABEJAアドベントカレンダー2024年の12/23分です。 裏話ですが、12月の頭にラスベガスで開催された「AWS re:Invent 2024」（re:Invent)にABEJAも参加していたので、本記事はそちらをテーマにす
Elasticsearch 8.16 で Better Binary Quantization (BBQ) という、新しい密ベクトルのフィールドタイプが追加されました。 Dense vector field type | Elasticsearch Guide | Elastic Elasticsearch version 8.16.0 New features | Elasticsearch Guide | Elastic Adding new experimental bbq index types by benwtrent · Pull Request #114439 · elastic/elasticsearch · GitHub Elasticsearch ではベクトルの各次元の int8 や int4 への量子化をサポートしていますが、BBQ ではビットにまで量子化することで、
最初に XGboost 1. 目的関数 2. 正則化項 二次近似 もっと詳しく 4.木の成長戦略 詳しく概念的な話 5. 特徴量重要度 LigthGBM 1. Gradient-based One-Side Sampling (GOSS) 2. Exclusive Feature Bundling (EFB) 3. Leaf-wise Tree Growth 最後に 最初に 前回はGBDTの理論とフルスクラッチ実装に関して解説記事を書きました。今回は、その発展形であるXGboostとLightGBMの理論に関して、解説していこうと思います（めんどくさくて扱わない予定でしたが頑張りました！）XGboostやLigthGBMは、予測・分類タスクにおいて第一手段として利用されています。これは、比較的安定して高い予測精度と安定性を誇るという部分からきているという認識です。GBDTの時も書きましたが
用語「マハラノビス距離」について説明。2点間の距離を計測する方法の一つで、「“普通の距離”（＝ユークリッド距離）を一般化したもの」とも言われる。データの分布（共分散行列）を考慮することで、データのばらつき具合や相関関係を反映した距離を計算できる。異常値や外れ値を識別するために有効であり、特に多次元データにおいて正確な距離測定が可能。 連載目次 用語解説 数学／統計学／機械学習におけるマハラノビス距離（Mahalanobis distance）とは、n次元ベクトル（多変量空間）で表現される2点（例えばx＝[x1,x2,...,xn]とy＝[y1,y2,...,yn]）間の「距離」を計算するための方法の一つである（具体的な計算方法は後述する）。マハラノビス距離は、“普通の距離”（厳密にはユークリッド距離、L2ノルム）の計算に「データの分布（厳密には共分散行列）」を加える。これにより、ユークリッ
ミンコフスキー距離（Minkowski distance）／Lpノルムとは？：AI・機械学習の用語辞典 用語「ミンコフスキー距離」について説明。2点間の距離を計測する方法の一つで、マンハッタン距離（L1ノルム）やユークリッド距離（L2ノルム）、チェビシェフ距離（L∞ノルム）などを一般化したもの。パラメーター「p」の値を調整することで柔軟に距離を表現できる。 連載目次 用語解説 数学／統計学／機械学習におけるミンコフスキー距離（Minkowski distance）とは、n次元ベクトルで表現される2点（例えばx＝[x1,x2,...,xn]とy＝[y1,y2,...,yn]）間の「距離（ノルム）」を計算するための方法の一つである（具体的な計算方法は後述する）。マンハッタン距離（L1ノルム）や、ユークリッド距離（L2ノルム）、チェビシェフ距離（L∞ノルム）の計算を一般化したものとも見なせる。ミ
元日銀総裁・黒田東彦が語ったデフレとの10年戦争。異次元のゼロ金利政策を支えた覚悟とは？──北野唯我「未来の職業道」ファイル【特別編】 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
あらゆる職業を更新せよ！──既成の概念をぶち破り、従来の職業意識を変えることが、未来の社会を創造する。「道を究めるプロフェッショナル」たちは自らの仕事観を、いつ、なぜ、どのように変えようとするのか。『転職の思考法』などのベストセラーで「働く人への応援ソング」を執筆し続けている作家、北野唯我がナビゲートする（隔月掲載予定）。 中央銀行トップとして、異常なデフレと10年の格闘。異次元緩和「黒田バズーカ」の覚悟はどこから来たか？ 北野唯我（以下、北野）：わが国の中央銀行総裁を10年勤めて、仕事の難しさはどこにありましたか？ 黒田東彦（以下、黒田）：2013年に就任するまでの15年間、先進国でも途上国でもデフレがこれだけ続いた異常な国はありませんでした。量的・質的に大規模な金融緩和を皮切りに、デフレ克服へ向けたあらゆる政策を実行しましたが、それでも時間がかかってしまった。これが最も難しかった点です
「賃金と物価の好循環」は実現しても期待外れ 「賃金と物価の好循環」が叫ばれて久しいが、賃金と物価の動きを実際のデータで確かめると、消費者物価指数（生鮮食品を除く）の前年比が2年以上にわたって日銀が目標とする2％を上回っているだけでなく、所定内給与（共通事業所ベース）の前年比も昨年7月からの9カ月間を平均すると2％を上回っている。これらを踏まえると、賃金と物価の好循環はほぼ達成されたと言ってよいだろう。しかし、多くの国民がこれに満足している様子は全くない。賃金は上がっても、インフレ率が予想以上に高止まった結果、実質賃金は2年以上低下を続けているのだから当然である。確かに、今年の春闘の賃上げ率は5％程度に達するとみられるため、今年後半には実質賃金もプラスに転じる可能性は高い。しかし、個人消費はコロナ禍で大きく落ち込み、その後の物価高でも減少した後だけに（図表1）、実質賃金がプラスに転じて個人消
MIRU2024参加レポート ～アダコテックの技術と外観検査のインターンを紹介しました～ - アダコテック技術ブログ
画像に関する国内会議であるMIRU2024にシルバースポンサーとして参加しましたので、ご報告します。われわれの技術紹介を行うとともに、画像の研究を行っている学生に向けてアダコテックでのインターンのご紹介をしました。 MIRUとは MIRUは、情報処理学会コンピュータビジョンとイメージメディア(CVIM)研究会が主催する画像の認識・理解シンポジウムです。毎年夏に開催されており、画像に関する技術研究の国内最大の会議です。 今年は熊本城ホールにて8月6日から8月9日の日程で行われました。年々参加者数が増加しており、今年も1,500名以上の方が参加し、600件以上の発表が行われました。来年は京都国際会館で2025年7月29日から8月1日に開催されます。 展示内容 今回の展示内容は、人工知能学会の展示と同様に、HLACを用いた外観検査プロダクトに関するものでした。アダコテックでは、工場のような制約の
日本銀行政策委員会審議委員 野口 旭 2024年10月3日 全文 [PDF 615KB] 図表 [PDF 375KB] 1．はじめに 日本銀行の野口です。本日は、県各界を代表する皆さまとの懇談の機会を賜り誠に有り難く存じます。皆さまには、日本銀行長崎支店の業務運営に日頃より多大なご協力をいただいており、この場をお借りして厚く御礼申し上げます。 本日はまず私の方から、国内外の経済動向と日本銀行の政策運営についてお話しし、その後に、2％の「物価安定の目標」を達成して賃金と物価の好循環を実現することの意義について、私見を交えてお話しさせて頂きます。その後は皆さまから、当地の経済状況についてのお話、さらには私どもの政策・業務運営に対する忌憚のないご意見を承りたく存じます。 2．経済・物価情勢 （1）内外経済情勢 わが国経済は今、コロナ禍以降に始まった世界的インフレを契機として、1990年代末から続
「物価を上げる」と大見得を切った黒田日銀が11年にわたって繰り返した苦しい言い訳。「物価や賃金が上がらない」というノルム(社会通念)の背後にある真の原因とはなにか（現代ビジネス） - Yahoo!ニュース
「バリバリの金融実務家であった私が、わからないことがあれば一番頼りにし、最初に意見を求めたのが山本謙三・元日銀理事です。安倍元総理が、もし彼がブレインに選んでいたら、今の日本経済はバラ色だったに違いない」 元モルガン銀行・日本代表兼東京支店長で伝説のトレーダーと呼ばれる藤巻健史氏が心酔するのが元日銀理事の山本謙三氏。同氏は、「異次元緩和」は激烈な副作用がある金融政策で、その「出口」には途方もない困難と痛みが待ち受けていると警鐘を鳴らす。 黒田日銀は、長期金利をゼロ％程度に抑え込むために、多額の国債買い入れを行った。その結果、日銀の国債保有残高は約590兆円に達し、日銀当座預金残高も、国債買い入れに見合う形で約561兆円に積み上がった(24年3月末時点)。しかし、史上まれにみる超金融緩和を10年以上も行ったにもかかわらず、長らく物価も賃金も上がらなかった。「国民のインフレ期待(心理)を変える
【論文】Bridging the Human–AI Knowledge Gap: Concept Discovery and Transfer in AlphaZeroを読む - TadaoYamaokaの開発日記
DeepMindがarXivで発表した、AlphaZeroからチェスの新しい概念を抽出して人間のパフォーマンス向上に使えるようにする方法について述べた「Bridging the Human-AI Knowledge Gap: Concept Discovery and Transfer in AlphaZero」を読んだ際のメモ。 概要 AlphaZeroから隠されたチェスの知識を概念として抽出する 概念は、AlphaZeroの中間層から概念ベクトルとして抽出する 人間が知らずAlphaZeroだけが知っていること発見する 学習可能かつ新規な概念を抽出する 人間のグランドマスターが概念を学習可能か検証した 結果 概念と局面を提示することで、チェスのグランドマスターのテスト局面の正解率が向上した AlphaZeroが学習した知識は、人間の理解を超えるものではなく学習可能な知識であることが示さ
元日本銀行調査統計局長の関根敏隆一橋大学国際・公共政策大学院教授は、日本の金融緩和度合いの大きさを踏まえれば、日銀が政策調整を進めることは自然であり、状況が許せば６月の金融政策決定会合での追加利上げもあり得るとの見解を示した。 関根氏は15日のインタビューで、インフレ率や需給ギャップなどから適切な政策金利水準を割り出すテイラー・ルールとのかい離や実質金利の大幅なマイナスを考えれば、日本は「金融緩和のし過ぎだ」と主張。日銀の金融政策運営は内外経済や物価の基調が大きな変調を来していないことを前提に、「機会が許せば少しずつ金利を引き上げていくオポチュニスティック（機会主義的）なアプローチになる」とみる。 ターミナルレート（利上げの最終到達点）は、現在の市場の想定よりも「もう少し高いところにあってもおかしくない」と分析し、現段階で「0.5％や0.75％が壁とか決める必要もないし、限界は誰にも分から
金融政策対応の評価を巡って 日銀による金融政策対応を評価する部分について考えてみよう。ここで最も注目されるのは、言うまでもなく「異次元緩和」と呼ばれた大規模緩和の効果だ。ただ、最初に述べておく必要があるのは、この分析の評価は大変難しいという点である。もちろん、当初に掲げた「2年程度で2％の物価目標を達成する」という目標を達成できたか否かであれば、これは失敗というほかない。しかし、「異次元緩和を行なったメリットとデメリットのどちらが大きかったか」に答えるのは簡単でない。我々は異次元緩和を行った結果は知っているが、異次元緩和を行わなかった場合の日本経済について知る方法がないからだ。結局、異次元緩和を行わなかった場合の日本経済の姿をモデルを使ってカウンターファクチュアル・シミュレーションとして計算する他ない。実際、日銀もこの方法で評価を行っているのだが、それはどうしても「モデル次第」ということに
要旨 日経平均株価は先行き12ヶ月42,000円程度で推移するだろう。 USD/JPYは先行き12ヶ月155円程度で推移するだろう。 日銀は半年に一度の利上げを続け、2026年１月までに政策金利は1.0％に到達しよう。 FEDはFF金利を25年央までに4.0%まで引き下げ、その後は様子見に転じるだろう。 目次 金融市場 注目点 金融市場 前営業日の米国市場は、S&P500が▲0.3％、NASDAQが▲0.5％で引け。ＶＩＸは14.9へと低下。 米金利はカーブ全般で金利低下。予想インフレ率(10年BEI)は2.418％(▲4.3bp)へと低下。 実質金利は2.201％(+2.2bp)へと上昇。長短金利差(2年10年)は+35.0bpへとプラス幅縮小。 為替はUSDが全面安。USD/JPYは156近傍で一進一退。コモディティはＷＴＩ原油が74.7㌦(+0.0㌦)へと上昇。銅は9276.0㌦(+
線形行列不等式を用いた最適制御器の設計手法
本記事では，線形行列不等式を用いた制御器設計について述べます。線形行列不等式を用いた設計法は制御工学において非常に有益なツールとして知られています。 以下の解説記事でMATLABを用いた線形行列不等式に基づく制御器設計について説明をしており，それを抜粋したものになります。 www.jstage.jst.go.jp 線形行列不等式と制御系設計 LMI問題の求解例 LMIとして与えられる制御仕様 LMIの関連動画 LMIの関連記事 LMIの書籍 執筆者情報：岡島 寛 （熊本大学工学部情報電気工学科准教授，Web, YouTube）約20年教員をやっています。モデル誤差抑制補償器，状態推定，量子化制御など制御工学の研究をしています。 線形行列不等式と制御系設計 線形行列不等式（Linear Matrix Inequality, LMI)を用いた手法は，制御工学分野における最も強力な制御器（コント
大規模な日本語の事前学習言語モデルSarashina1・2の公開 - SB Intuitions TECH BLOG
概要 SB Intuitionsの清野舜，李凌寒，高瀬翔です。 弊社では高品質な日本語大規模言語モデルの構築に取り組んでいます。 大規模言語モデルの構築は理論的にも経験的にもまだまだ発展途上の領域であり，学術界・産業界の日本語大規模言語モデルの研究開発促進のために，7B，13B，65BパラメータのモデルからなるSarashina1および，7B，13BパラメータのモデルからなるSarashina2を公開しました。 この記事ではSarashina1・2の詳細について解説します。 使い方 Sarashina1・2共にHuggingFace Hubにて，商用利用も可能なライセンス（MIT）のもと公開しています。 以下のようにtransformersライブラリからお試し頂けます。 なお，下記にあるように，tokenizerを呼び出す際にuse_fast=Falseを設定することで想定通りの挙動となり
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
世界一わかりみの深いDify | SIOS Tech. Lab
チェビシェフ距離（Chebyshev distance）／L∞ノルムとは？
金持ち父さんになるために… : また株を買いました〜(*^-^*)
インフレについての6つの考え - himaginary’s diary
人間よりいいぜ!と思ってAI科学者を使ったら、人間より日給が高かった｜shi3z
R/Python の線形回帰では完全な多重共線性のある入力データにどう対処しているか？
Qwen2.5 Technical Reportの中に潜る - ABEJA Tech Blog
近似最近傍探索における新しいビット量子化手法、RaBitQとBBQ
XGBoostとLightGBMの理論の解説 - tomtom58’s blog
マハラノビス距離（Mahalanobis distance）とは？
ミンコフスキー距離（Minkowski distance）／Lpノルムとは？
2つの「好循環」を考える ―求められるナラティヴの見直し― | 研究プログラム | 東京財団政策研究所
【挨拶】野口審議委員「わが国の経済・物価情勢と金融政策」（長崎） : 日本銀行 Bank of Japan
日銀は状況許せば６月にも利上げ、現状は「緩和し過ぎ」－関根元局長
日銀の「多角的レビュー」を読む（下） | 研究プログラム | 東京財団政策研究所
日銀 政策金利は１％超へ | 藤代 宏一 | 第一生命経済研究所