tl;drOllama で Modelfile を作成することなく、Hugging Face Hub で公開されている GGUF 形式のモデルをそのまま動かせるようになったよ やり方は簡単で ollama run hf.co/{ユーザー名}/{リポジトリ名} とするだけ 量子化タイプの指定はデフォルト Q4_K_M で好きなタイプも指定可 チャットテンプレートはデフォルトは GGUF 内ビルトインテンプレートで自分で指定することも可 Fuck it! You can now run *any* GGUF on the Hugging Face Hub directly with @ollama 🔥 This has been a constant ask from the community, starting today you can point to any of the 45,0

TLDR Ollamaをチームで使えるソフトウェアをOSSで公開しました。 機能として、 OllamaのAPIを呼ぶ際の簡易的な認証 ウェブから メンバー管理 統計情報の表示 モデルの追加・削除 を提供しています。 こちらからインストールできます。 ぜひスターお願いします（スター乞食）。 背景 Llama等のオープンなモデルは外部にデータを公開せずに利用できる等のメリットがあります。しかし計算資源的に、70B等の大きなパラメータのモデルを手元の環境で動かすことは難しくなります。 そこで、チーム（中小規模の企業、大学の研究室等）が所有する共有の計算資源でローカルモデル用のサーバを立てたくなります。ローカルモデルを手軽に動かすのに便利なソフトウェアとしてOllamaがありますが、Ollamaはチームで利用するために必要な機能が不足しています。 チームで共有してローカルのモデルを利用する場合、

Yu Gothic UIに text-spacing-trim を適用するとバグる を読んでいて、気になってしまったので、実際にYu Gothic UIのファイルの中身を開いて調べてみました。 発生している問題 回避策 原因 Yu Gothic UI 特有の問題？ まとめ 発生している問題 Yu Gothic UIは、Windows 10からプリインストールされているUI表示用フォントです。 手元の環境で確認したところ、Windows 11 23H2 (ビルド 22631.4317) 時点では、「Yu Gothic UI Version 1.93」がインストールされていました。 このフォントをChrome系ブラウザで利用すると、鍵括弧表示が崩れる場合があります。具体的には、 「abc」「abc」 のように、閉じ括弧・開き括弧が隣接するケースです。 」「 の部分ですね。この際に、閉じ括弧と開

MarkdownをHTMLにコンパイルするmarkedは0.7.0でsanitizeオプションを非推奨にしています。 これはサニタイズの処理をmarkedから外す目的です。 Sanitize and sanitizer · Issue #1232 · markedjs/marked このsanitizeオプションの代わりにDOMPurifyを利用することを推奨していますが、 DOMPurifyはブラウザとNode.js両方で使うには癖があるためちょっとややこしいです。 なぜならDOMPurifyはDOM APIに依存しているため、 Node.jsで動かす場合はjsdom使うためです。 単純にjsdomを使ってしまうとブラウザでもjsdomが含まれてしまい、ファイルサイズが巨大になってしまいます。 そのため、ブラウザ向けの場合では直接DOMPurifyを使い、 Node.jsの場合はDOMP

フレッツ速度測定サイト利用規約 第1条（本規約の目的） 東日本電信電話株式会社（以下、当社といいます。）は、このフレッツ速度測定サイト利用規約（以下「本規約」といいます。）を定め、これによりフレッツ速度測定サイト（以下、本サイトといいます）を提供します。 第2条（本サイトの提供） 当社が提供するフレッツ網を利用したインターネットアクセスサービスをご契約の方のみご利用いただけます。 本サイトではベストエフォートで提供されているアクセスサービスの通信速度を測定頂けます。測定結果は通信速度を保証するものではありません。また、お客様のご利用環境（パソコン、スマホ等の処理能力、ネットワークカードの性能、ハブやルータなどのご利用機器の機能・処理能力、LANケーブルや無線LANの規格、セキュリティ対策ツール、PPPoEクライアントの種類等）、建物内の伝送方式、フレッツ網（ネットワーク）の混雑状況、インタ

こんにちは、越川です。ネットコムに中途入社して約２年になりました。私は入社してから今に至るまで同じPJに携わっています。 PJ運営の中で最初はプロジェクトメンバーとしてアサインされたのですが、その後、プロジェクトリーダを経て、今はプロジェクトをマネジメントする立場にいます。 各ポジションをやってみて実際に見えた景色や意識しなければいけない点は結構、異なりました。立場が変わったからこそ感じたことや見えたものがあります。今回はそんな各ポジションを経験する中で気付いたことをまとめてみようと思います。 記載するポジションに該当される方は、自分の上司や部下がどんな視点で仕事をしているのかをぜひ参考にしていただければと思います。 各レイヤーの役割や特徴 プロジェクトメンバー プロジェクトリーダ（PL） プロジェクトマネージャー（PM） 各役割に対するアプローチ プロジェクトメンバーに対するアプローチ

OpenAI GPT、Anthropic Claude、Google GeminiのAPIコストをまとめました。 不定期に更新します。 フラッグシップモデル コスト効率を重視したモデル テーブル No. Model $ / 1M input tokens $ / 1M output tokens

Google Analytics でサイト速度を計測する / Measure site speed with Google Analytics

Translate with Gemini Nano（Gemini Nanoによる翻訳）というChrome Extensionをリリースしました。Chrome Web Storeからインストールできます。またGitHubでソースコードを公開しています。 このように選択範囲の翻訳ができます。 Chrome 128から導入されたビルトインAIモデルGemini Nanoを利用しているところが特長です。現在のところGemini Nanoの利用には事前準備が必要である点に注意して下さい。 Gemini版、Claude版と比較したGemini Nano版のメリットとデメリットを以下に示します。 メリット 無料で利用できる 情報をインターネットに送信しない デメリット 翻訳品質はGemini版、Claude版に劣る PCの演算能力、メモリーを大量に消費する 正直なところ翻訳品質はまだ実用レベルには達し

Claude’s API now supports CORS requests, enabling client-side applications 23rd August 2024 Anthropic have enabled CORS support for their JSON APIs, which means it’s now possible to call the Claude LLMs directly from a user’s browser. This massively significant new feature is tucked away in this pull request: anthropic-sdk-typescript: add support for browser usage, via this issue. This change to t

エンジニアの又川（@n_matagawa）です。 皆さんは AI 対応 PC の性能指標に使われる「TOPS」という単位をご存知でしょうか？最近では Microsoft が発表した Copilot+ PC の性能要件である「40 TOPS」が話題になりましたね。 これから PC を買う方はその PC が 40 TOPS を超えているのか気になると思います。 そこで、この記事では「TOPS」の定義と、具体的な計算方法を解説したいと思います。 スーパーコンピュータの性能を測る指標として、「TFLOPS（テラフロップス）」というものがあります。「TFLOPS」は「Tera FLoating-point OPerations per Second」の略で、1秒間に何兆回の浮動小数点演算（加算・乗算のみ対象）ができるかを表すものです(*1)。 スーパーコンピュータや PC、スマホを始めとしたコンピュ

セキュリティの既定値群を使用すると、今日の環境で一般的なパスワード スプレー、リプレイ、フィッシングなどの ID 関連の攻撃から組織を簡単に保護できます。 セキュリティの管理は難しい場合があるため、Microsoft では、すべてのユーザーが事前構成されたセキュリティの既定値群を使用できるようにしています。 Microsoft の知見によれば、これらの一般的な ID 関連攻撃の 99.9% 以上は、多要素認証を使ってレガシ認証をブロックすることで阻止されます。 Microsoft の目標は、すべての組織が追加の費用なしで少なくとも基本レベルのセキュリティを確実に有効にできるようにすることです。 これらの基本的なコントロールには、次のものが含まれます: すべてのユーザーに対して、多要素認証への登録を必須にする 管理者に多要素認証の実行を要求する 必要に応じてユーザーに多要素認証の実行を要求す

Azure ADで多要素認証をセットアップします。 大まかな方向性として３パターンあるかなと思います。 パターン１：全ユーザーで多要素認証を有効にする 「セキュリティの既定値」というのを有効にすると全てのユーザーで多要素認証が有効になります。 有効にするには、まず以下のリンクを開きます。 https://portal.azure.com/#blade/Microsoft_AAD_IAM/ActiveDirectoryMenuBlade/Properties 「セキュリティの既定値の管理」というリンクをクリックします。 画面右側に「セキュリティの既定値の有効化」というパネルが表示されるので「はい」を選択して保存します。 条件付きアクセスポリシーが作成されていると以下のようなメッセージが表示されます。 カスタムの条件付きアクセスポリシーが有効になっている可能性があります。条件付きアクセスポリシ

※Microsoft Edgeを使用していて、画面の右上に警告が表示されてダウンロードができない場合 ※Chromeを使用していて、リンクをクリックしてもダウンロードができない場合 ■修正内容 2021/10/27　Ver3.0 環境により正常終了しない場合があったのを対策。 モニターの電源をOFFし続けるforceバージョンを追加。 対象機種 Windows10、Windows11が動作するPC 電源OFFに対応したモニタ 機能 実行するとモニターの電源をオフにするツールです。 スクリーンセーバーの電源OFFを待たずに電源を切りたい場合にご使用ください。 デスクトップやランチャー、キーボードのホットキー等に登録してご使用ください。 使い方 ファイル内のReadMe.txtを参考に、ご使用の用途に合ったファイルを、都度実行してご使用ください。 免責事項 お使いの環境によっては正常に動作しな

検証内容 llama.cppのGGUFフォーマットについて量子化サイズ、手法での精度の変化を確認する 変換、量子化にはb3369のReleaseを使用 変換するモデルはtokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1 評価対象は次の84種類 Model CardのUsageに沿ってvllmで実行したfloat32(そのままをoriginal、system promptに日本語で回答する指示を加えたものをoriginal_ja) safetensors -> GGUFに変換したF32とF16のGGUF Q8_0からQ2_Kまでのimatrixを必要としない14種類の量子化GGUF Q6_KからIQ1_Sまでのimatrixを使用できるor必要とする22種類の量子化GGUF (4についてはimatrix作成のためのデータを3種類用意しそれぞれに22種