はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Cohere(コーヒア)とは、生成AI関連のスタートアップ企業であり、オラクル、エヌビディア（NVIDIA）、セールスフォース・ベンチャーズ（Salesforce Ventures）、センチネルワン（SentinelOne）などが支援しています。 これまでにCommand-R+などのモデルを公開しています。 今回はCohereのイケている部分について紹介させていただきます。 UIがイケている こちらCohereのダッシュボードです。実際に使ってみるとわかるのですが、全ての画面がわかりやすいです。この画面だけでもやりたいことがす

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

def convert_symbols_to_fullwidth(text): half_symbols = '!?~' full_symbols = '！？〜' half_to_full = {half: full for half, full in zip(half_symbols, full_symbols)} return ''.join(half_to_full.get(char, char) for char in text) def convert_fullwidth_digits_to_halfwidth(text): full_digits = '０１２３４５６７８９' half_digits = '0123456789' full_to_half = {full: half for full, half in zip(full_digits, half_digits)}

入力データとモデルの出力を関連づけることでより深い考察が可能である点 クラスタリングや次元削減の結果をもとに特徴のある入力データを特定&Exportでき、今後の改善に活かしやすい点 GitHub https://github.com/Arize-ai/phoenix ドキュメント https://docs.arize.com/phoenix Phoenixとは Phoenixとは、機械学習モデルの迅速な可視化やパフォーマンスの確認、問題点の抽出とその改善を手助けするライブラリです。 Phoenixは2023年6月現在、以下の領域のモデルに対応しています。 Tabular - Regression, Classification CV(Computer Vision) - Image classification NLP LLM Phoenixの書き方 Phoenixの基本的な使い方は以下で

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

導入 昨今の情勢でマスクの着用の有無を気にする人々が増えた。 今回はマスクの着用の有無を簡単に判定できるプログラムを紹介する。 内容 マスクの着用の有無の判定は以下二つの手法が考えられる。 マスク着用の有無のデータそれぞれを学習したモデルで判定 opencvを用いて判定 今回は簡単のため2を採用する。 opencvにおいてマスクの着用のプログラムの方針は以下である。 ここで、画像内には必ず顔が一つ写っていると仮定する。 opencvで画像内の顔を検出 判定された顔領域内において、opencvで口を検出 顔が検出できない場合または口が検出できない場合はマスクを着用、口がある場合はマスク未着用と判定 それぞれの検出はcascadeのdetectMultiScale()を用いる。 また顔が検出された場合及び口が検出された場合に、それらが正しく検出されたかを確認するために画像内にバウンディングボッ