機械学習エンジニアの吉田です。 夏ですね。7月はLayerXエンジニアブログを活発にしよう月間 です。 昨年バクラクOCRの機械学習モデルの検証から本番投入までの取り組みについて記事を書きました。 tech.layerx.co.jp その後、運用する中で新たな課題が生まれたり、負債を解消するために当初の開発環境を見直しアップデートしてきました。 今回は機械学習周辺の技術スタックに焦点を当ててその変遷について紹介したいと思います。 MLチームでは各サービスからのリクエストを処理するAPIやデータ基盤、社内のアノテーションツールなどの開発も行っており、これらは主にGo, TypeScriptで開発されていますが今回は対象外としています。 技術スタックの変遷 本番リリース時と現在の主な技術スタックの比較です。 リリース時 現在 言語 Python Python パッケージ管理 pip Poetr
Lightweight MMM：NumPyroで実装されたベイジアンMMMフレームワーク - 渋谷駅前で働くデータサイエンティストのブログ
以前「Ads carryover & shape effects付きのMedia Mix Modeling」という記事で取り上げたベイジアンMMMのtechnical report (Jin et al., 2017)ですが、当時RStanで実装されていたものが4年の時を経て時代の趨勢に沿う形でPythonベースのOSSとしてリリースされています。 それがLightweight MMM (LMMM)です。ベイジアンモデリング部分はNumPyroによるMCMCサンプラーで実装されており、さらにはモダンなMMMフレームワークにおいて標準的とされる予算配分の最適化ルーチンも実装されています。全体的な使い勝手としては、まだ開発途上の部分もあるので時々痒いところに手が届かない感があるものの、概ねRStanで実装したものと似たような感じに仕上がっているという印象です。 ということで、LMMMがどんな感
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
Python is Actually PortableUpdate (2024-04-15): The Python executable build process described in this post is from 2021, and both Cosmopolitan Libc and the surrounding tooling have improved since 2021. The build process is much simpler now, you can download Python 3.11.4 Actually Portable Executables built via Github Actions at https://github.com/ahgamut/superconfigure – one of the Python binaries
The State of Python 2025: Trends and Survey Insights | The PyCharm Blog
This is a guest post from Michael Kennedy, the founder of Talk Python and a PSF Fellow. Welcome to the highlights, trends, and key actions from the eighth annual Python Developers Survey. This survey is conducted as a collaborative effort between the Python Software Foundation and JetBrains’ PyCharm team. The survey results provide a comprehensive look at Python usage statistics and popularity tre
agent loop x4檪 You are Manus, an AI agent created by the Manus team. You excel at the following tasks: 1. Information gathering, fact-checking, and documentation 2. Data processing, analysis, and visualization 3. Writing multi-chapter articles and in-depth research reports 4. Creating websites, applications, and tools 5. Using programming to solve various problems beyond development 6. Various ta
Python behind the scenes #13: the GIL and its effects on Python multithreading
As you probably know, the GIL stands for the Global Interpreter Lock, and its job is to make the CPython interpreter thread-safe. The GIL allows only one OS thread to execute Python bytecode at any given time, and the consequence of this is that it's not possible to speed up CPU-intensive Python code by distributing the work among multiple threads. This is, however, not the only negative effect of
「生成AI × 数理最適化」が変える、次世代の業務デザイン - NTT docomo Business Engineers' Blog
本記事では、現在進行中で取り組んでいるテーマ「生成AI×数理最適化」に関する試みとして、生成AIを活用して数理最適化技術の実務適用を支援するアプローチを紹介します。例として、スーパーマーケットにおける在庫管理の効率化を取り上げ、その具体的な応用と効果について述べます。 はじめに 背景 数理最適化モデルの定式化と実装に伴う困難 生成AIの台頭 実現アプローチの検討 生成AI活用の全体像 在庫最適化の課題設定 実現までのステップ 1. 定式化支援エージェントによる定式化支援 2. 入力データ設計支援エージェントによるデータ設計支援 3. Node-AIを活用したデータの準備 4. コード生成エージェントによる実行コード生成 5. 作成されたコードの実行と結果 まとめ おわりに はじめに こんにちは、イノベーションセンター テクノロジー部門 先端AI数理PJの伊藤です。 普段はNode-AIやA
開発生産性があがる生成AIを使った開発ツールの紹介 | CyberAgent Developers Blog
これはCyberAgent Developers Advent Calendar 2023の13日目の記事です よければ他の記事も見てみてください はじめに Developer Productivity室(DP室)のuncle__koです。 DP室ではサイバーエージェントグループにおける事業開発の開発生産性（主にソフトウェアデリバリー領域）を大きく前進させるための開発に従事してます。 OpenAI社が2022年11月30日に公開したChatGPTを皮切りに、いまでは生成AIを聞かない日はないムーブメントになっているかと思います。 ChatGPTやGitHub Copilotの登場によって、日々の開発業務もかなり効率的に生産性が上がっていることかと思います。 今回は生成AI x Developer Productivityをテーマに、開発生産性があがりそうな、個人的に気になっている生成AIを
【RVC v2モデル対応版】日本人のためのRVC WebUIの使い方：AIボイスチェンジャー | 子供プログラマー
【今後の開発に関して】（2024年12月24日） Google Colaboratory版のRVC WebUIのチュートリアルコードのご利用いただき、ありがとうございました。 今後の開発は、クラウドGPUサービスの1つであるRunPodで継続していきます。 今後もクラウドサービス上でRVC WebUIを使いたい方は、以下の記事ページを参照ください。 チュートリアル記事： 【RunPod編】RVC WebUIをはじめよう – AIボイスチェンジャー（一覧） 現在利用できるノートブック（2024年12月24日時点） ・オリジナル版RVC v1モデル対応RVC WebUI ・オリジナル版RVC v2モデル対応RVC WebUI ・ddPn08版RVC v1モデル対応RVC WebUI ・ddPn08版RVC v2モデル対応RVC WebUI 【動画で解説】RVC v2モデル対応版：オリジナル版
Version 1.0
Version 1.0# For a short description of the main highlights of the release, please refer to Release Highlights for scikit-learn 1.0. Legend for changelogs Major Feature something big that you couldn’t do before. Feature something that you couldn’t do before. Efficiency an existing feature now may not require as much computation or memory. Enhancement a miscellaneous minor improvement. Fix somethin
The 'eu' in eucatastrophe – Why SciPy builds for Python 3.12 on Windows are a minor miracle
This matrix would be a lot larger if it included historical OSes and less common architectures, where support with the respective compiler was often in a 1:1 relationship (i.e. that combination would cover a single cell in the matrix). The matrix also does not cover which programming languages a given compiler is able to process, but for simplicity, you can picture C/C++ here. Of course, GCC remai
Build and deploy ML inference applications from scratch using Amazon SageMaker | Amazon Web Services
Artificial Intelligence Build and deploy ML inference applications from scratch using Amazon SageMaker As machine learning (ML) goes mainstream and gains wider adoption, ML-powered inference applications are becoming increasingly common to solve a range of complex business problems. The solution to these complex business problems often requires using multiple ML models and steps. This post shows y
Machine learning (ML) now impacts a wide swath of business, engineering, and research domains, to the extent where you’d be hard-pressed to find a niche where machine learning is totally uninvolved. Progress in ML has come on the coattails of broader trends in software and automation: Wherever human activity depends on doing repetitive tasks that can be readily described in a way that a computer c
I started using uv because the benchmarks seemed too good to be true—10–100x faster than pip, resolves and installs in milliseconds. After reading the source code and the official resolver internals documentation, I understand why, and the answers are more interesting than just "it's written in Rust." This post traces every layer: from the repository structure, through what literally happens when
Windows 11のWSL2（Ubuntu 22.04）でGPUを使う際にPyTorch, CuPy, TensorFlowを全て使おうと思ったら少し詰まった部分もあったのでメモとして残しておきます。 ※以下「WSL2」＝「WSL2にインストールしたUbuntu」です バージョン一覧（2023/7/7時点）Windows 11 22H2 WSL2 Ubuntu 22.04 Nvidia Driver 536.40 CUDA 11.7.1 cuDNN 8.6.0 (for CUDA 11.x) Python 3.11.4 PyTorch 2.0.1 CuPy 12.1.0 TensorFlow 2.13.0 Windows 11での設定それぞれの詳細は省略しますが、以下の設定を行います。 Enable NVIDIA CUDA on WSLが参考になります。 Nvidia Driverのイン
This article will discuss the Matplotlib library,” in the data scientist’s toolbox on Python. Matplotlib is a library very commonly used by data scientists…. In addition to “Matplotlib,” “Pandas,” and “NumPy” are important parts of the data scientist’s toolbox. Introduction to MatplotlibIs it possible to know your data’s trend or pattern without visualization? In my view, the answer is definitely
GitHub - ComfyUI-Workflow/awesome-comfyui: A collection of awesome custom nodes for ComfyUI
ComfyUI-Gemini_Flash_2.0_Exp (⭐+172): A ComfyUI custom node that integrates Google's Gemini Flash 2.0 Experimental model, enabling multimodal analysis of text, images, video frames, and audio directly within ComfyUI workflows. ComfyUI-ACE_Plus (⭐+115): Custom nodes for various visual generation and editing tasks using ACE_Plus FFT Model. ComfyUI-Manager (⭐+113): ComfyUI-Manager itself is also a cu
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
バクラクMLチームの技術スタックの変遷 - LayerX エンジニアブログ
Python is Actually Portable | Blog Needs a Name
Manus tools and prompts
AutoML: Using Auto-Sklearn and Auto-PyTorch - DZone
How uv Works Under the Hood | Noos - Where Thought, Code, and Craft Converge
WSL2でGPUを使う（PyTorch, CuPy, TensorFlow）｜Koji Iino
Fundamentals of Matplotlib Library for Data Science