最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの
awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
E2Eテスト自動化変遷 〜ノーコードからCypress、そしてPlaywrightへ〜 - estie inside blog
こんにちは！estieでQAエンジニアをしているかすや（macho | きんにQA💪🏾 (@ma_cho29) / X）です。 今回ブログを書くにあたり、前回書いたのはいつだったかなー？と見返すと1年が経過していたことに気がつきました。 歳を重ねると体感時間が短くなると聞いたことがありますがそれでしょうか・・・ 入社3年目になる今年もやり残しがないように過ごしたいところです。 さて、今回はQA未経験だった私が1人目のQAエンジニアとしてestieに入社し現在までおこなってきたE2Eテスト自動化の変遷について語っていきたいと思います。 私がメインで関わっているプロダクト「estie マーケット調査」は約2年間でテストフレームワーク移行を2度おこないました。 当時の意思決定やその際に個人的に感じたフレームワークごとのメリット・デメリットなど含めて話したいと思います。 （あくまで僕の所属する
Raspberry Pi 5のGIGAZINEレビュー総まとめ「必要な電源」「クーラーは必須なのか」「OSインストール手順」「M.2 SSDを接続する方法」「RTC機能の詳細」などの疑問を解決できるレビューが盛りだくさん
「Raspberry Pi 5」の日本での販売が2024年2月13日に始まりました。GIGAZINEでは一足先にRaspberry Pi 5を入手しており、読者からの意見を募りつつ「外観および搭載チップのチェック」「OSインストール手順」「純正クーラーの効果」「必要な電源の種類」「M.2 SSDの接続方法」などなど詳細なレビュー記事を大量に公開してきたので、日本での発売に際してこれまでのレビュー内容を一気にまとめてみました。このページを読めばRaspberry Pi 5に関するほとんどの情報を網羅できるはず！ ・目次 ◆01：外観＆搭載チップを細かくチェック ◆02：OSのインストール手順や日本語化手順を詳しく解説 ◆03：純正クーラーの干渉をチェック ◆04：純正クーラーは必要なのか？高負荷時の温度をチェック ◆05：安定動作に必要な電源はどれか？ ◆06：外部ストレージをUSB接続して
GIMPで画像生成AIを使えるようにしてNPUでの処理も可能にするOpenVINOプラグイン「OpenVINO AI Plugins for GIMP」レビュー
Intel製CPU搭載を搭載したPCでGPUなしでもStable Diffusionを用いた画像生成を可能にするGIMP用プラグイン「OpenVINO AI Plugins for GIMP」がGitHubに公開されています。特徴的なのは、AIの演算処理に特化したプロセッサ「NPU」に対応しており、NPUを使った画像生成が可能だという点。ちょうどNPUを搭載したXPS 13とXPS 14をDellから借りていたので、導入から実際に使うところまでをまとめてみました。 GitHub - intel/openvino-ai-plugins-gimp: GIMP AI plugins with OpenVINO Backend https://github.com/intel/openvino-ai-plugins-gimp/tree/main ◆目次 1：導入方法 2：使い方 ◆1：導入方法 使
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita