お近づきになりたい人向けシリーズです。 いろいろなトピックを詰め込みましたが、「これら全部を知らないといけない」のようなつもりではなく、いろいろなことを知るきっかけになったらいいなという気持ちなので、あまり身構えずにちょっとずつ読んでもらえたらうれしい気がします。 まえがき 予備知識 規格 用語 精度という語について 記法 表現について 有限値の表現について エンコードについて 丸めについて よくある誤差や勘違いの例 0.1 = 1 / 10? 0.1 + 0.2 = 0.3? 整数の誤差 Rump’s Example 基本的な誤差評価 用語に関して 実数の丸め 有理数の丸め 基本演算の丸め 差について 複数回の演算 補題たち 桁落ちについて Re: Rump’s example 融合積和 数学関数に関する式の計算 誤差の削減に関して 総和計算 数学関数の精度について 比較演算について 雑
MCP Python SDK のドキュメント｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・modelcontextprotocol/python-sdk 1. 概要「MCP」を使用すると、アプリケーションは標準化された方法でLLMにコンテキストを提供できます。これにより、コンテキストの提供とLLMとの実際のやり取りを分離できます。「Python SDK」はMCP仕様を完全に実装しており、以下のことが容易になります。 ・任意のMCPサーバに接続できるMCPクライアントの構築 ・リソース、プロンプト、ツールを公開するMCPサーバの作成 ・stdio、SSE、Streamable HTTPなどの標準トランスポートの使用 ・すべてのMCPプロトコルメッセージとライフサイクルイベントの処理 2. インストール2-1. PythonプロジェクトにMCPを追加Pythonプロジェクトの管理には「uv」が推奨されています。 (1) プロジェク
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
Excelは万能なので、商品金額をいくつか足し算したいだけでもExcelを起動することがあるだろう。しかし、業務でよく足し算するのなら専用ツールを作ってしまうと便利だ。本稿では、計算処理をしてメールに貼り付けするという一連の処理を自動化するツールを作ってみましょう。 専用の税込み金額計算ツール 汎用ツールと専用ツールを使い分けよう Excelのような汎用表計算ツールに習熟しておけば、あらゆる計算処理をExcelだけで処理できる。世界中のオフィスでExcelが活躍しているのは、その高い汎用性と豊富な機能によるところが大きいだろう。 これに対して、簡単な専用ツールを自作するならば、汎用ツールを工夫して使うよりも、何倍も効率が良く、素早くタスクを完成させることができる。専用ツールは、特定のタスクに特化させるため、操作性がよく画面もシンプルで使い勝手の良いものとなる。 それで、今回は、入力した商品
缶つぶし機とソフトウェア移行技術 - Refactoring to Rust の読書感想文 - じゃあ、おうちで学べる
はじめに ——あるいは、「知っている」と「理解している」の間 Rustのことは、知っていた。学習もしていた。実務でも使っていた。 でも、それは知っているつもりだった。 知ってるつもり 無知の科学 (ハヤカワ文庫NF) 作者:スティーブン スローマン,フィリップ ファーンバック早川書房Amazon 日々Rustで開発し、BoxとRcとArcを使い分け、tokio::spawnでタスクを生成し、?演算子を当たり前のように書いている。FFI？PyO3使えばいいでしょ。WebAssembly？wasm-bindgenがあるじゃない。技術的には、確かに「使える」レベルにはあった。 でも、心のどこかで感じていた違和感があった。 オートバイのエンジンを分解できる人と、エンジンが動く原理を理解している人は違う。コードが動くことと、なぜそう書くべきかを理解することも違う。私は前者だった。メカニックではあった
Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction - cl-fast-ecs by Andrew
Gamedev in Lisp. Part 1: ECS and Metalinguistic Abstraction In this series of tutorials, we will delve into creating simple 2D games in Common Lisp. The result of the first part will be a development environment setup and a basic simulation displaying a 2D scene with a large number of physical objects. It is assumed that the reader is familiar with some high-level programming language, has a gener
「DeepSeek-R1 の推論を自分のローカル デバイスで再現できるように」「わずか7GBのVRAMでアハ体験を」とのことなので、UnslothのGRPO（Group Relative Policy Optimizatin）トレーニングを試してみます。 今回は Phi-4 (14B)で試してみます。 You can now reproduce DeepSeek-R1's reasoning on your own local device! Experience the "Aha" moment with just 7GB VRAM. Unsloth reduces GRPO training memory use by 80%. 15GB VRAM can transform Llama-3.1 (8B) & Phi-4 (14B) into reasoning models. Blo
[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO
はじめに Amazon Connectでの発話内容をAmazon Transcribeで文字起こしし、音声出力するフローを構築しましたので、手順をまとめました。コンタクトセンターの無人対応を想定しています。 文字起こし内容を音声出力するまでの流れは次の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Amazon Kinesis Video Streams（以降、KVS）への音声のストリーミングを開始します。 発話します。 発話後、「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングが終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、以下の処理を行います。 LambdaでKVSからメディアデータを取得します。 メディアデータから音声データを抽出し、WAV形式に変換し、S3バケットに音声ファイルを保存します。 Amaz
![[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/680ff5baa4ad956a15cc332a4793f6aa3d675a49/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-transcribe.png)
Agent Skills対応Agentを作ろう｜はち
1. はじめに2025年末にAnthropicがAgent Skillsという機能をオープンスタンダード化し、Xなどでもよく話題になっていると思います。MCP然りでAnthropicはこういったスタンダード化をするのが上手いなと感心させられます。 色々議論されていると思いますが、Agentの開発を行っている私的にAgent Skillsのメリットは以下の2点だと考えています。 再利用性：1度作ったSkillを別エージェントでも使いやすい。 段階的開示(progressive disclosure)：そのSkillが必要になったときだけその詳細やスクリプトについてAgentが読み込むことができる。（プロンプトの圧縮につながる。） AnthropicとしてはあくまでClaude CodeやClaude APIでできることを増やしたいがためのオープンスタンダード化ということなのか、自作Agent
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
マルチモーダル AI 向けのデータフォーマット Lance と、その上に構築されたデータベース LanceDB についてまとめます。AI/ML や検索に関わる要件を Parquet や Avro、それらの上に成り立つ Iceberg で扱うことに限界を感じていたところ、Lance がそうした要件にフィットすることに気づき、調べた内容を整理しました。Lance は Iceberg を置き換えるものとは限らず、カタログの共有や将来的なファイルレベルの統合など、組み合わせて使う道も開かれています。 はじめに 概要 Lance とは LanceDB とは SDK と対応エンジン 特徴 アーキテクチャ ファイルフォーマット エンコーディングとバージョン体系 圧縮とランダムアクセスの両立: structural encoding semi-structural transformations 参考論文
Solving Quantitative Reasoning Problems With Language Models
Solving Quantitative Reasoning Problems with Language Models Aitor Lewkowycz∗, Anders Andreassen†, David Dohan†, Ethan Dyer†, Henryk Michalewski†, Vinay Ramasesh†, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur∗, Guy Gur-Ari∗, and Vedant Misra∗ Google Research Abstract Language models have achieved remarkable performance on a wide range of tasks that require
Getting Started with Python
Python is a powerful programming language that provides many packages that we can use. Using the versatile Python programming language, we can develop the following: AutomationDesktop applicationAndroidWebIoT home automationData Science and the list goes on.In this article, our primary focus will be knowing how to start learning Python and the essentials required to be a data scientist. Below is t
ChatGPT x LangChain で独自ドキュメントのベクターストア検索をチューニングする - GMOインターネットグループ グループ研究開発本部
D.Mです。 ChatGPT を開発の現場で活かしていくためにベクターストア活用の方法を検証しました。 結論ファースト A. ベクターストアに入れる元ネタドキュメントの抽出 ⇒ unstructured が使えるかも B. ベクターストアに入れる元ネタドキュメントのチャンク分け ⇒ タイトル。キーワードをメタデータで付加 C. ベクターストアに投げる質問プロンプトの最適化 ⇒ 形態素またはキーワード抽出でプロンプトを精査 D. ベクターストア検索結果の精査 ⇒ ContextualCompressionRetriever による検索結果要約とDocumentCompressorPipeline による検索結果絞り込みがよさげ 「検索結果が質問に沿ったものか精査させる」タスクをChatGPTに担当してもらうことが私の業務課題には適しているのではという気付きがありました。 E. （おまけ）ベク
Tier 4 Support § Support for these targets is entirely experimental. If this target is provided by LLVM, LLVM may have the target as an experimental target, which means that you need to use Zig-provided binaries for the target to be available, or build LLVM from source with special configure flags. zig targets will display the target if it is available. This target may be considered deprecated by
訓練データ（教科書）での性能: R²スコアが0.551。これは、モデルが学習に使ったデータの内容を、約55%は説明できていることを示します。完璧ではありませんが、データから何らかのパターンを学習しようとした努力の跡が見えます。テストデータ（本番試験）での性能: R²スコアが -0.205。これは衝撃的な結果です。マイナスの値は、モデルの予測が「常に全データの平均値を予測する」という最も単純な予測よりもさらに悪いことを意味します。つまり、このモデルは未知の問題に対しては全く役に立たない、むしろ有害でさえあるということです。過学習の診断：グラフが語るモデルの「病状」この「訓練データではそこそこ、テストデータでは最悪」という性能の大きなギャップこそが、「過学習」の典型的な症状です。モデルが訓練データに存在するパターンを「丸暗記」することに終始してしまい、物性の背後にある普遍的な法則を学ぶことがで
GIMP 2.99.12 is a huge milestone towards GIMP 3.0. Many of the missing pieces are getting together, even though it is still a work in progress. As usual, issues are expected and in particular in this release which got important updates in major areas, such as canvas interaction code, scripts, but also theming… “CMYK space invasion”, by Jehan (based on GPLv3 code screencast), Creative Commons by-sa
【GROMACS】Umbrella samplingによるMD simulation 【In silico創薬】【SMD】 - LabCode
Umbrella Samplingの概要と目的Umbrella Samplingは、分子がめったに起こさないような状態変化（たとえば、タンパク質同士が離れるなど）を詳しく調べるための計算手法です。通常の分子動力学（MD）では、エネルギー的に安定な状態にとどまりやすく、重要な変化が起こる確率が低いため、十分な情報が得られません。 たとえば、タンパク質AとBがくっついている状態から、少しずつ離れていく様子を観察したいとき、まずAとBを少しずつ引き離すSteered Molecular Dynamics（SMD）などのシミュレーションで、さまざまな距離の構造を取得します。その中から、0.5nm、0.7nm、0.9nmなど、特定の距離ごとに「窓（window）」を設定し、それぞれの距離でバネのような力をかけてMDシミュレーションを行います。これにより、その距離での分子の振る舞いをしっかり観察できま
とほほのFlask入門 - とほほのWWW入門
Flaskとは インストール チュートリアル Hello world! デバッグモード ルーティング指定 @app.route() URL末尾のスラッシュ データを受け取る requestオブジェクト メソッド・パス情報 リクエストパラメータ その他のリクエスト情報 ファイルアップロード データを返却する レスポンスデータ HTTPステータス テンプレートファイル スタティックファイル レスポンスヘッダ Cookie リダイレクト URLを関数名で指定する その他ノウハウ エラーページのカスタマイズ JSONを扱う セッション ロギング 前処理・後処理 グローバルオブジェクト コンフィグ クラスメソッドを呼び出す 実装サンプル ログイン認証 REST-APIサンプル リンク Flaskとは 「フラスク」と呼ばれます。理科実験で使用する「フラスコ」と同じ単語です。 Pythonベースの軽量な
For demonstration purposes, we'll fine-tune the multilingual version of the small checkpoint with 244M params (~= 1GB). As for our data, we'll train and evaluate our system on a low-resource language taken from the Common Voice dataset. We'll show that with as little as 8 hours of fine-tuning data, we can achieve strong performance in this language. 1{}^11 The name Whisper follows from the acronym
マテリアルズインフォマティクス（MI）入門②【勾配ブースティング（CatBoost）を用いた未知組成からの高精度な物性予測】 - LabCode
訓練データでの性能: R²スコアが0.996と、ほぼ完璧です。これは、CatBoostが訓練データのパターンを非常に高い精度で学習できる、強力な表現力を持っていることを示します。 テストデータでの性能: R²スコアが0.805と、訓練データよりは低いものの、非常に高いレベルを維持しています。線形回帰のマイナススコアとは雲泥の差であり、実用的な予測モデルとして機能していることを示します。 汎化性能の獲得: 訓練データとテストデータ両方で高い性能が出ており、モデルが未知のデータに対しても（過学習を抑制しつつ）うまく機能する、高い汎化性能を持つことがわかります。 モデルパフォーマンスの可視化 グラフでは、訓練データ（青）はほぼ完全に理想線上に乗っており、テストデータ（赤）も多少のばらつきはありますが、全体として理想線に強く追従しています。これは、CatBoostが線形回帰では捉えきれなかった非線
Try Mastering Emacs for free! Are you struggling with the basics? Have you mastered movement and editing yet? When you have read Mastering Emacs you will understand Emacs. It’s that time again: there’s a new major version of Emacs and, with it, a treasure trove of new features and changes. Notable features include the formal inclusion of native compilation, a technique that will greatly speed up y
マテリアルズインフォマティクス（MI）入門③【SHAPによるモデル解釈 – 予測根拠を定量的に説明する】 - LabCode
この記事から学べること説明可能なAI（XAI）の概念 なぜ高性能なモデルの「解釈」が重要なのか、その基本的な考え方を理解できます。 SHAPの理論と実践 SHAPがどのようにして各特徴量（元素）の貢献度を算出するのか、その仕組みの概要とPythonでの実装方法をマスターできます。 定性的な可視化と定量的な評価 Forceプロットによる視覚的な貢献度の理解に加え、実際のSHAP値を表で確認し、定量的に評価する技術を習得できます。 個別の予測理由の画像化 特定の鋼材サンプルに対する予測の根拠を、レポートや論文に活用しやすい静的な画像ファイルとして出力できます。 関連理論の解説1. 説明可能なAI（XAI）とは？CatBoostのような高性能モデルは「ブラックボックス」と呼ばれます。これは、モデルが高精度な予測を行う一方で、その予測に至った理由やプロセスを人間が直感的に理解しにくいためです。特に
Or if the package is only meant to be run on Node.js and wants to fallback to CJS on older versions that don't have require(esm): { "type": "module", "exports": { // On new version of Node.js, both require() and import get the ESM version "module-sync": "./index.js", // On older version of Node.js, where "module-sync" and require(esm) are // not supported, use the CJS version to avoid dual-package
In this write-up, I will walk you through an implementation of a string formatting library for C++ I came up with for my video game. The end result came out really compact, at only 65 lines of code—providing a skeleton that can be supplemented with additional functionality at low cost. Usage Given a format buffer… char buffer[64]; String_Buffer buf = {str, sizeof str}; …the fmt::format function pr
[crypto] Simple Substitution Cipher [crypto] Substitution Cipher [crypto] Administrator Hash（NTLM hash） [crypto] Administrator Password [crypto] Hash Extension Attack [forensics] The Place of The First Secret Meeting [forensics] The Deleted Confidential File [forensics] They Cannot Be Too Careful. [forensics] The Taken Out Secrets [forensics] Their Perpetration [NW] Transfer [NW] Analysis [NW] Enu
インストール無しにWEBブラウザで動作するPython環境"Pyodide"を使ってみた - Qiita
Pyodideとは WebAssembly技術を用いてWEBブラウザ上でPython3を動かすことができる素晴らしいソフトウェアです。WEBブラウザでPyodideを簡単に体験できるサイトが用意されており、これは面白そうだと思いました。 WEBエディタAceとの組みあわせ 本来のPyodideの目的はWEBブラウザ上でのPythonでの科学計算だと思いますので、エディタとしてはIodideのようにグラフ表示の要求優先度が高そうです。 とはいえ、コンソール上で単純にPythonが動くだけでも応用は利きそうだと思いましたので、今回はPythonコードを記述するエディタとしてAceを利用します。 simple版コードは下記のようになります。Aceエディタの領域とPyodide実行ボタンを縦に並べて、JavaScript内で初期化、実行するだけです。実行ログはF12キーで出るブラウザのコンソールを
2024-10-16, Version 23.0.0 (Current), @RafaelGSS We’re excited to announce the release of Node.js 23! Key highlights include: Enabling require(esm) by default for Node.js applications Removing support for Windows 32-bit systems Stabilizing the node --run command Enhancements to the test runner, including glob pattern support for coverage files Node.js 23 will replace Node.js 22 as the ‘Current’ re
Cloud9 で SAM を利用し AWS サービス毎の請求額を毎日 Slack に通知する | DevelopersIO
Cloud9 を利用して AWS のサービス毎の料金を毎日 Slack に通知する仕組みを作成しました。 コーヒーが好きな emi です。 AWSサービス毎の請求額を毎日 Slack に通知するため、以下のブログ AWSサービス毎の請求額を毎日Slackに通知してみた を見ながら設定しようとしたのですが、手元の Windows 11 端末に AWS CLI、AWS SAM CLI、Python などの開発環境を整えるのが面倒…！！と思いました。 そこで、AWS Cloud9 を使って手軽に一時的な開発環境を構築し、AWS Serverless Application Model (SAM) でサーバレス通知システムを構築しました。 AWS Serverless Application Model (SAM) とは AWS SAM は、サーバーレスアプリケーション構築用のオープンソースフレー
This December I once again did the Advent of Code, in Rust. If you are interested, my solutions are on Github. I wanted to highlight one particular solution to the day 2 problem as it is both optimized completely beyond the point of reason yet contains a useful technique. For simplicity we’re only going to do part 1 of the day 2 problem here, but the exact same techniques apply to part 2. We’re go
LispText.pdf
Lisp Common Lisp / Scheme 0.1 Copyright c � 2020, Katsunori Nakamura 2020 2 29 1 1 1.1 Common Lisp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3.1 Lisp . . . . . .
トークナイザを使わない自然言語処理モデルである ByT5 と Charformer のご紹介です。従来の自然言語処理では多くの場合で文章を単語（あるいはサブワード）単位に分かち書きして処理しましたが、今回のモデルは直接、生のテキストを処理します。それでは実際に動かして単語（サブワード）ベースのモデルと比較してみましょう。 1. はじめに 今回は今年5月と6月に発表された ByT51 と Charformer2 の紹介をしたいと思います。一本の記事で 2 つのモデルを扱うのは、この連載では珍しいのですが、この二つはよく似ているというか、Charformer は 「ByT5 にもう一工夫加えたもの」くらいの認識なので、一度にさばいてしまいましょうということで。 さて、この二つのモデルの特徴ですが「分かち書きをしない」という点に尽きます。 今まで、この連載では BERT や T5 等の Tran
初めての投稿ですがよろしくお願いします、ハンです。 私は福岡の株式会社Fusicの機械学習チームで勤めている者です。機械学習やAWS運用など、困っていることがありましたら気軽にお声かけてください。 この記事では、Lambda LabsのGPU Cloud Serviceを使ってみたレビュー・感想などを書いてみたいと思います。 要約 Lambda Labs、お値段だけを考えると良い！ モニタリングなど、提供するサービスが少ないので、自分なりの工夫が必要 使用可能なインスタンス・ストレージの制約があり、Persistanceストレージ連動ができなかったのはすごく残念 なぜLambda Labs？：お値段！ 皆さんはクラウドサービスを利用する際、何を一番の選択基準にするのでしょうか？ 使用したいGPUの種類や数・求められるセキュリティ・サポート機能など、さまざまな判断基準があると思いますが、以下
Introduction: These Aren’t the JSONs You’re Looking For JSON (JavaScript Object Notation) was designed as a simple, lightweight, and human-readable data interchange format, often positioned as a more accessible alternative to XML. It has become the de facto standard for web APIs and system integration. However, while the specification itself is straightforward, different programming languages and
こちらが 公式リポジトリ に掲載されている比較表です。モデルサイズがlargeの半分程度に抑えられ、速度に至ってはlargeの最大8倍と大幅に改善されています。精度についてもlarge-v3には多少劣るものの、日本語ではlarge-v2と同レベルの性能が出ています。 faster_whisper faster_whisperもwhisperの高速化実装です。Transformerモデルの高速化に特化したエンジンであるCTranslate2を使って推論速度を大幅に（4倍程度）向上させています。 turboがモデル構造の変更・軽量化による高速化なのに対して、こちらは推論の計算処理をモデルレイヤーの融合、ビット量子化、バッチの入れ替えなどによって最適化しています。 whisper_mic whisper_mic はwhisperをマイクに繋いで簡単に動かせるようにした薄いライブラリです。Whis
Metashapeで全天球画像をキューブマップに変換
Metashapeは全天球画像(エクイレクタングラー)の処理に対応していますが、アライメント結果を他のSfM系ソフトで利用する場合は、全天球画像のままでは渡すことが出来ません。 postshot、RealityCapture、Inria 3D Gaussian Splatting等は全天球画像には対応していないためです。 しかし先日smert999氏が「Agisoft_metashape_convert_to_cubemap」を公開されました！ Metashapeでアライメントした全天球画像を、そのアライメント結果を維持したままキューブマップに変換できるというものです。 Theta, Insta360等で360度動画/全天球画像撮影 → Metashapeでアライメント → キューブマップ変換 → RealityCaptureで活用・postshotで3DGS生成 といったワークフローが可
Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録 - LayerX エンジニアブログ
こんにちは。機械学習・データ部の @irotoris です。 どこからかダウンロードしてきた Excel ファイルのデータを BigQuery に入れてほしいという話があり、Python と pandas で Excel を読み込んでシュッと BigQuery にロードしたときの作業備忘録です。 TL;DR Google Colaboratory に Google ドライブをシュッとマウントできて便利 pandas の ExcelFile() で Excel ファイルがシュッと読めて便利 備忘録 まずは人に聞いたりファイルをいくつか眺めてデータの仕様を把握します。どうやら以下のようなファイルのようです。 ファイル数は200以上、合計 5GiB 程度 Excel 内のシート数は 3つ Excel のシート名は「データの内容を表す文字列_ランダム文字列のサフィックス」※ 例: シート1: tr
Numba のコンパイルが通らなかった時の対処 - 菜
Numba はいいぞ この記事は何 ふつうの Python なら動くけど Numba では動かないようなコードを列挙して、対処法を書いたもの 主に AtCoder 目的だけどそれ以外でも役に立つはず Numba のバージョン 0.48.0 くらいの情報なので将来的にいろいろ変わってくると思うので注意（2020 年 8 月現在で AtCoder に入ってるのも 0.48.0） 先に読んでおくといいかもしれない記事 qiita.com ikatakos.com Numba で使えないもの 2 次元以上の ndarray のイテレーション できない エラーになるコード @numba.njit("void()", cache=True) def solve(): array = np.random.rand(5, 2) # 5x2 array for a in array: # コンパイルエラー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
浮動小数点型の算術とお近づきになりたい人向けの記事 - えびちゃんの日記
GPT in 60 Lines of NumPy | Jay Mody
Writing a C compiler in 500 lines of Python
ゼロからはじめるPython(116) 金額合計ツールでExcel要らず - 合計/整形/コピーのツールを作ろう
WSL2でunslothのGPROトレーニングを試してみる｜noguchi-shoji
Lance / LanceDBとは何か - Bering Note – formerly 流沙河鎮
0.10.0 Release Notes ⚡ The Zig Programming Language
マテリアルズインフォマティクス（MI）入門①【線形回帰で挑む物性予測と「過学習」の罠】 - LabCode
GIMP - Development version: GIMP 2.99.12 Released
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers
What's New in Emacs 28.1?
Node.js — Node.js 22.10.0 (Current)
A string formatting library in 65 lines of C++
防衛省サイバーコンテスト2023 Writeups - はまやんはまやんはまやん
Node.js — Node.js 23.0.0 (Current)
The World's Smallest Hash Table | orlp.net
はじめての自然言語処理 ByT5 と Charformer の検証 | オブジェクトの広場
コスパ良いGPU Cloudを使いたい：Lambda Labs
JSON is not JSON Across Languages | Dochia CLI Blog
リアルタイム音声認識をwhisperのturboモデル+faster_whisperで動かす