NumPyには多くの数値データを格納する多次元配列（ndarray）が用意されている ベクトル化やブロードキャスト、ユニバーサル関数などの機構を使うことで、多次元配列の操作を簡潔に記述して、それを高速に実行できる 基本的な統計関数を用いることで多次元配列に格納されているデータの分析が可能 今回はNumPyのインストール手順を見た後で、一番上の多次元配列を実際に作成して、その基本的な属性などを調べてみます。 NumPyのインストール NumPyはPython処理系とは別に配布されているパッケージです。そのため、使う前にはPython環境にインストールする必要があります。例えば、python.orgからPython処理系をダウンロードして使用している場合には、NumPyのインストールにはpipコマンドを使用します。以下は仮想環境myenvを作成して、そこにNumPyをインストールするコードの例

EDIT: このブログと似た内容の話をPyCon APAC2023にてお話ししました。 こちらの登壇資料も合わせてご覧いただけると幸いです こんにちはWantedlyの樋口です。 Pythonのパッケージングと配布は歴史が長く、多くのツール(ex. conda, pip, pipenv, poetry, rye...)が開発されてきました。これらの多様性はPythonが多くの人に使われ、継続的に改善されたゆえの賜物ですが、同時にこれらの理解を難しくしている要因にもなっていると感じます。 そこで本記事では、Pythonのパッケージングと配布の全体像を紹介します。パッケージングと配布が何か、なぜ重要なのか、そしてそれぞれのツールが何を解決しようとしているのかについて説明します。以下のような疑問を解決できることを想定しています。 パッケージングと配布の仕組みがなぜあるのか 多数あるツールが何を解

こんにちは。本業フロントエンド副業パイソニスタのぬこすけです。 Python エンジニアの皆さん、元気にリファクタリングしていますか？ 最近、昔作ったサイトで Python で書いたバックエンドのコードをリファクタリングしているのですが、負債まみれで吐きそうです😇 この記事では Python のコードをリファクタリングする際の参考になる例をいくつか紹介します。 ぜひ普段の Python での開発の参考になればと思います！ 注意事項 対象読者は Python 初心者から中級者 を想定しています。 Python のバージョンは記事執筆時点(2023/6/15)で最新の 3.11 を前提にお話します。 必ずしも紹介した方法が最適解とは限りません。というのも、プロジェクト毎で状況が違ったり、コードに対する思想というのも人それぞれだからです。 「こういう方法もありますよ！」などあればコメントいただ

CTranslate2 is a C++ and Python library for efficient inference with Transformer models. The project implements a custom runtime that applies many performance optimization techniques such as weights quantization, layers fusion, batch reordering, etc., to accelerate and reduce the memory usage of Transformer models on CPU and GPU. The following model types are currently supported: Encoder-decoder m

CTranslate2はTransformerモデルをCPUやGPUで効率的に動かすライブラリです。 https://github.com/OpenNMT/CTranslate2 CTranslate2の機能のひとつにモデルの量子化があります。INT8で量子化すると雑に必要メモリが半分に。そしてCPUでも動かしやすくなるので、GPUなくてもLLMが試しやすくなります。 まあ、INT8を使うだけだと、モデルの読み込み時のfrom_pretrainedにload_in_8bit=Trueをつければいいのだけど、これがbitsandbytesというライブラリを使ってて、そしてbitsandbytesがWindowsに対応していない。*1 一応、有志がビルドしたDLLを使えば動くのだけど、めんどい。 https://qiita.com/selllous/items/fbaa2c3d2d504e43

2023/06/13 OpenAIの大きなアップデートが発表されました。 その中でも新たに加わった目玉機能がFunction callingです。 このFunction calling、一見すると「APIのレスポンスをいい感じのJSONにしてくれるのかな？」と思ってしまうのですが、それは使い方の一部で本質ではありません*。本記事では、この少し概念がややこしいFunction callingを早く、正確に理解できるように具体的な実装を交えてご紹介します。 *記事の最後にレスポンスをJSONにする方法もご紹介はします。 Function callingとは Function callingとは、OpenAI API(以降OpenAI)のレスポンスが外部関数の呼び出しを検知し、教えてくれる仕組みです。これにより、OpenAIと外部のシステム連携をミスなく正確に行うことができるようになります。 具

先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか？ 名前から「関数を呼び出せるのかな？」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいありますね！ ダミーデータの作成 生成した JSON をそのままレスポンスとして返すエンドポイントの作成 テストとしても良い 関数や外部 API の呼び出し 今までは難しかった JSON の作成 今まで、JSON を作成してもらうにあたって gpt-3.5-turbo を用いて JSON を作成させようとするとほぼ失敗していました。それで gpt-4 のモデルを利用して JSON を作成させますが、このモデルはほとんど正確になる一方で処理速度がかなり遅くなる点がネ

スポーツメトリクス設計に対比較法を使いまくる / Sports metrics design using pairwise comparison method (spoana#14)

GPT-4のような高性能なモデルでも、APIの呼び出しコードを生成させるとかなりの確率で間違ったコードを生成してしまいます。「Gorilla」はAPIを呼び出すコードの生成に特化するようにファインチューニングが行われており、精度の高い呼び出しコードを生成できるだけでなく、情報検索器(Information Retriever)と一緒に利用するとAPIの更新にリアルタイムで追従できるという驚異的な機能が付いたモデルです。 Gorilla https://shishirpatil.github.io/gorilla/ Gorillaのトレーニングにおいては、「Torch Hub」「TensorFlow Hub」「HuggingFace」という3つのソースから収集した1645個のAPI呼び出しコードをもとにAIが1万6450個の命令とAPIのセットを作成し、その1万6450個の命令セットでファイ

さくらインターネット、生成AI向けクラウドサービス開始へ 〜NVIDIA H100 GPUを搭載した2EFの大規模クラウドインフラを石狩データセンターに整備〜 クラウドコンピューティングサービスを提供するさくらインターネット株式会社（本社：大阪府大阪市、代表取締役社長：田中 邦裕、以下「さくらインターネット」）は、経済安全保障推進法に基づく特定重要物資である「クラウドプログラム」の供給確保計画に関する経済産業省の認定を受けました。AI時代を支えるGPUクラウドサービスの提供に向けて、3年間で130億円規模の投資をし、「NVIDIA H100 Tensor コア GPU」を搭載した、合計2EFLOPS（エクサフロップス）※1の大規模クラウドインフラを整備することを決定いたしました。 クラウドコンピューティングに最適化した「石狩データセンター」 本取り組みは民間で初めて経済産業省から認定された

最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。 確かに、AI、特にディープラーニングに出てくる用語には、ベクトルやテンソルなど、代数幾何学で使う言葉が多い。が、敢えて言おう。 代数幾何学とAIはほとんど全く全然何も関係していないと。 なぜこのような不幸な誤解が生まれてしまうかの説明は後回しにして、意地悪をしても仕方ないので、AIを理解するために最低限知っておかなければならない用語を5つだけ紹介する。 テンソル(スカラー、ベクトル、行列など)おそらく、「テンソル」という言葉が人々を全ての混乱に向かわせている。 Wikipediaの説明は忘

「ChatGPTについて調べてくれ」と社長から特命を受けた──そんな人たちに向けた資料が無償公開され話題を集めている。公開したのはデータ活用に関するコンサルティング事業を手掛けるNOB DATA（福岡県福岡市）の代表・大城信晃（＠doradora09）さん。ChatGPTとは何かや、活用上の注意点などをまとめている。

フィルタリング製品「i-FILTER」に、ChatGPTなど生成AIに入力した内容を確認したり、アラートを出したりできる「AIチャットフィルター」機能が実装へ。 デジタルアーツは、企業や学校が、社員や学生のWeb閲覧などを制限できるフィルタリング製品「i-FILTER」に、ChatGPTなど生成AIに入力した内容を確認したり、アラートを出したりできる「AIチャットフィルター」機能を、8月16日に実装する予定だ。 ChatGPTやBing AI、Bardに対して、いつ・誰が・どんなメッセージを送信したなどの情報を、ログとして表示できる。機密情報など特定単語を含む生成AIへのメッセージ送信をブロックしたり、ブロックした単語をログから閲覧したりすることも可能だ。 生成AI利用時に、機密情報の漏えいなどに注意するよう伝える警告画面も表示する。 従来からあるWebサービスの利用制限機能には、Chat

And we’ve got Peter Jackson to thank for one last Beatles song. Microsoft may own almost half of OpenAI, but a recent expose hints the pair aren’t the happiest of bedfellows. The Wall Street Journal claims the AI company warned Microsoft not to incorporate GPT-4 into Bing search without further training, but it did so anyway. It resulted in several high-profile examples of odd behavior, including

ＡＩが近い将来人類に及ぼし得る脅威について、ＣＥＯらが危機感を抱いているという/d3sign/Moment RF/Getty Images ニューヨーク（ＣＮＮ Ｂｕｓｉｎｅｓｓ） 人工知能（ＡＩ）がそれほど遠くない未来にもたらし得る人類存亡の脅威について、企業経営者の多くが真剣に危惧している実態が、米イエール大学の意識調査で明らかになった。 調査はこのほど開かれたオンラインイベントのイエールＣＥＯ（最高経営責任者）サミットで、１１９人のＣＥＯを対象に実施。うち４２％が、ＡＩは今から５～１０年以内に人類を破滅させる潜在的可能性があると回答した。 この調査にはウォルマートのダグ・マクミリオン氏やコカ・コーラのジェームズ・クインシー氏をはじめ、ゼロックスやズームなどのＩＴ企業や医薬品、メディア、製造業などさまざまな業界のＣＥＯが協力している。 ＡＩの危険性をめぐっては大きく意見が分かれた。 Ａ

EU＝ヨーロッパ連合が成立を目指すAI＝人工知能の規制法案をめぐって、EUの議会、ヨーロッパ議会はChatGPTなど生成AIの規制も盛り込むべきだという修正案を採択しました。 国内でも、読書感想文など夏休みの宿題で、AIの回答をコピーしてそのまま提出させないことなど注意喚起を促す動きがあります。 生成AIをめぐる規制や対策の動きを、お伝えします。 EU議会 “生成AIの規制も“ 修正案を採択 EUの執行機関、ヨーロッパ委員会はおととし、リスクに応じてAIに規制を設ける法案を世界に先駆けて提出しましたが、生成AIについて明確には触れられていません。 この法案についてヨーロッパ議会は、14日の本会議で、生成AIに対する規制も盛り込むべきだとする議会としての修正案を賛成多数で採択しました。 具体的には、AIを使って作られた文章や画像、音声などはAIで作られたことを明示し、AIに学習させるために著

オムロンは１５日、研究・開発拠点「京阪奈イノベーションセンタ」（京都府木津川市）を報道陣に公開した。最先端のロボット技術や人工知能（ＡＩ）の開発を担う傘下のオムロンサイニックエックス（東京）の諏訪正樹社長が取材に応じ、「２０５０（令和３２）年までにノーベル賞級の研究成果を作り出すＡＩを開発する」と強調。人間のひらめきをサポートするＡＩを作り、電気自動車（ＥＶ）向けで次世代の「全固体電池」の材料開発などを支援する考えを明かした。 同社は「近未来をデザインする」をコンセプトに平成３０年に設立。料理を作る動画をもとにレシピを自動生成するＡＩや、サイズ、堅さなどが違う食材をつかめるロボットの開発などを進めてきた。 ほかの企業や大学と連携して全固体電池の材料開発の高速化にも取り組んでおり、人力では膨大な時間がかかる素材をすりつぶす作業などを自動化するシステムを、令和７年度までに完成させることを目指す

Copilot をオープンベータ直後から長く使っていて、また補助的に ChatGPT も使いながらコードを書いていて、なんとなくコツがわかるようになってきた。 自分は生成モデルのことは表面的な理解しかしてない。雑にバックプロパゲーションの実装の写経したり、Transformer の解説とかは読んだが、にわかの域を出ていない。 あくまで利用者として生成モデルから吸い出したプラクティスになる。 基本的に TypeScript と Rust での経験が元になっているが、他の言語にも適用できる話ではあると思う。自分は TypeScript はかなり得意だが、 Rust はあんまり書けるわけではなく、Rust の学習で ChatGPT を頼ろうとして失敗しているというステージ。 Copilot / ChatGPT とどう付き合うか まず、前提として ChatGPT も Copilot も、コード生成

経済産業省が国内での生成AI（人工知能）開発の基盤づくりに乗り出す。さくらインターネットが近く整備するスーパーコンピューターの経費の半額を補助する。AI開発向けで国内最高の計算能力をもち、国内の計算能力は現状の3倍に高まる。さくらインターネットはクラウドを通じて生成AIの開発を手がけるスタートアップなどにスパコンの計算能力を安価で提供するのを条件に、経産省から財政支援を受けた。2024年以降に