僕は、商業漫画を描いたり同人漫画を描いたりブログを書いたりウェブラジオに参加したり、SNSでも発言が多く、それ以外に会社の仕事もゴリゴリやっているため、「アウトプットが多い」という評価を人から受けることがあります。 でも、個人的な感覚では、そのほとんどはアウトプットではなくインプットとしてやっている感覚があって、特にこのブログなんかはほぼ完全にインプットとしてやっていると思います。 つまり、何かに関する考えをまとめるて書くということは自分にとってのインプットの側面があります。なぜなら、外部の刺激を受けたことについて、自分の中で考えを整理することは、自分の中にその考えを定着させるというプロセスのひとつであると感じているからです。なので、ここで文章として書いたからこそ、それをインプットとすることができ、他でやる何かのアウトプットに転用をできていたりします。 そういう認識なので、僕自身は色んなア

課題 解決策 入力 データ正規化 総和計算の準備（1） 総和計算の準備（2） 総和計算の準備（3） 総和を求める 日付情報を付加する 最大値を持つ区間を集約 不要な情報を上書き カウントと解答の抽出 スクリプト全体像 所感 課題 paizaで公開されている以下の練習問題をbashで解いてみたい。 https://paiza.jp/works/mondai/a_rank_skillcheck_archive/max_range_large 解決策 入力 5 3 1 2 3 2 1 以降は説明のしやすさから上記が入力されることを想定する。 データ正規化 # 入力 5 3 1 2 3 2 1 # 処理 awk ' NR==1 { n = $1; k = $2; } NR==2 { for (i = 1; i <= k; i++) { print; } } ' # 出力 1 2 3 2 1 1 2

こんにちは！ LayerXで機械学習エンジニアをしている伊藤 (@sbrf248) です。直近はOCRモデルの学習・評価に使うデータセット周りの改善に取り組んでいます。 今回は、データセット作成におけるアノテーションに注目し、関連する研究分野や、LayerXにおける改善にどう繋げられそうかを紹介したいと思います。 アノテーションに関する研究分野 アノテーションは、機械学習に利用する教師付きデータの正解ラベルを人間が付与する作業を指します。 高い精度のモデルを作るためには高品質かつ大量のデータセットが用意できると理想ですが、人間が作業する以上一定の時間的・金銭的コストは必要になるため、品質を高めつつ効率を上げるための工夫が必要になります。 アノテーション品質・効率を高めるための研究分野は、大きくサンプリングと品質管理と効率化の2つに分けられます。 以下では、それぞれについての代表的な手法や最

「テスト駆動 Python 第2版」を読んだ📕 仕事で pytest を使ってて，もっと自信を持って書けるようになりたいな〜と思っていたら本書を見つけてさっそく読んでみた．pytest の機能・記法・設定・Tips などの理解が深まって本当に読んで良かった❗️フィクスチャ・パラメータ化・モック・プラグイン活用など，今まで何となく書いてたところを自信を持って書けるようになって，仕事で pytest を書くのが楽しくなった🦄 テスト駆動Python 第2版 作者:Brian Okken翔泳社Amazon もちろん pytest の公式ドキュメントを読むべきだし，本書の内容の多くは公式ドキュメントにも載っているとは思うけど，本書の翻訳はとても読みやすく，pytest の全体像をサッと把握できて，また Cards というサンプルアプリケーションを題材に実際に pytest を試しながら読み進め

注意事項 イベント情報 舞台挨拶 はじめに 映画祭 演者のその後 QA.1 QA.2 QA.3 プレゼント争奪じゃんけん おわりに 注意事項 個人的なメモを書き起こしたものです。 細かい言い回し等まで完璧に再現できているものではありません。 また内容に誤りを含む可能性があります。 ご了承ください。 致命的な誤りがありましたら修正しますのでご指摘をお願いします。 イベント情報 【イベント名】 『かがみの孤城』「閉城の日」イベント 【日時】2024/03/30（土）17:00の回 上映終了後 【会場】新宿ピカデリー 【登壇】原恵一監督、新垣弘隆プロデューサー 舞台挨拶 原＝原監督の発言です。 新＝新垣プロデューサーの発言です。 各見出しは公式のものではありません。 はじめに 原：初めて来てくれた人ありがとう。久しぶりの人もありがとう。 新：今日は自由に写真を撮ってくれてOKです。 新：（新宿ピ

PyTorch v1.12 以降では、macOS において Apple Silicon あるいは AMD の GPU を使ったアクセラレーションが可能になっているらしい。 バックエンドの名称は Metal Performance Shaders (MPS) という。 意外と簡単に使えるようなので、今回は手元の Mac で試してみた。 使った環境は次のとおり。 GPU が 19 コアの Apple M2 Pro を積んだ Mac mini を使用している。 $ sw_vers ProductName: macOS ProductVersion: 14.4.1 BuildVersion: 23E224 $ sysctl machdep.cpu.brand_string machdep.cpu.brand_string: Apple M2 Pro $ pip list | grep -i tor

DALL-E作成の「worker間で重複タスクを確認しながら作業を進める」イメージ図です こんにちは。AI・機械学習チーム（以下AIチーム）の池嶋(@mski_iksm)です。 仕事で、誰か一人がやればいい作業を、気がついたら同僚と同じタイミングでやっていた、という経験はありませんか？ せっかく頑張って作った機能が実は被っていてムダになってしまった。。。というのは誰もが悲しいものです。 そうならないように作業チケットを切るなどしてタスクを中央管理する方法もありますが、もっとゆるくやりたいこともあるかと思います。 そういうときは一言「この作業私がやりますね！」と声掛けをすれば済みますね。 以前のブログで、私たちはgokartを使ったMLパイプラインの効率化について掘り下げました。 具体的には、「すでに完了したタスクをスキップする」と「タスクの実行順序をできるだけランダムにする」という2つの戦

オードリー春日が一年間かかさず英語の勉強をした成果が放送されました。 www.nhk.jp 最初は語彙力も文法もバラバラだったところから、実際に渡米して面倒なハンバーガー注文ができるようになっています。 その前に、日本で観光客にインタビューして「これまで学んできたチャンクを使ってこい」というロケ。 このときに使われていたチャンクが雑談とかで使えそうなので文字起こししてみることにしました。 Kasuga's Chunk Bingo 〜でつながっている文章の訳は、春日がロケしていた文脈で解釈しています。※勝手に訳してるのでニュアンスに違いがあったら遠慮なく指摘してほしいです。 Is this your first time in Japan? 日本ははじめてですか？ Just go straight down this road. この道をまっすぐ行ってください Sounds good. いい

こんにちは。エンジニアリンググループの武井です。 私は現在、デジカルチームに所属し、クラウド電子カルテ、エムスリーデジカルの開発に携わっています。 昨年夏にエムスリーに入社し、早くも半年が経過しました。 digikar.co.jp この記事では、私が入社してから4ヶ月目に取り組んだ、バッチ処理の運用改善について振り返ります。 特に、新しくチームに加わったメンバーとして意識した点に焦点を当ててみたいと思います。 これから新しいチームに参加する方の参考になれば幸いです。 改善したバッチ 現状の正確な理解 現状に馴染む技術選定 自分なりの+αを加える 改善の結果 We're hiring 改善したバッチ 今回の改善対象は、特定の医療機関に紐づく全患者の全カルテをPDFファイルとして出力する、というバッチです。 デジカルのデータを医療機関側にエクスポートする用途で使われています。 移行前のアーキテ

こんにちは、LegalOn Technologiesでエンジニアをしている神田（@kampersanda）です。 本記事では、Jaccard係数に基づく類似文書検索の高速化技法を解説し、契約書検索での実験結果を報告します。 背景と目的 共起に基づく類似文書検索の必要性 契約書検索での注意点 本記事の目的 準備 表記 Jaccard係数 Overlap係数との関係 問題設定 線形探索による解法 高速化の方針 Length Filtering Position Filtering 高速化のための要素順序 アルゴリズム 転置索引を使った解法 基本的なアイデア Prefix Filteringに基づくトークンの絞り込み 高速化のための要素順序 アルゴリズム 実験 データセット 統計量 Length Filterの検出率に関する結果 検索時間に関する結果 おわりに メンバー募集中!! 背景と目的 共

RevCommでバックエンド開発をしている小門です。 最近、CSVファイルのアップロードを受け付けて処理するバックエンドAPIの機能開発を担いました。 CSVファイルのパース、バリデーションにPydanticが便利でしたので紹介したいと思います。 なお開発言語はPython、コードの動作バージョンは以下です。 Python 3.12 Pydantic: 2.6.0 PythonでCSVファイルの取り扱い Pythonでは組み込みモジュールcsvを使うことで基本的なCSVファイルの読み取り・書き込みができます。 # persons.csv の例 """ "name","age" "alice",20 "bob",21 """ import csv with open("persons.csv", newline="") as csvfile: reader = csv.DictReader(

forkwell.connpass.com こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。 会の概要 会の様子 LT1 「人とAIが協調するHuman-in-the-Loopへ」 LT2「GPTsの可能性」 LT3「100人参加ハッカソンから学ぶGPTsの活用方法」 Q&A OpenAIにはセキュリティ面で懸念があるが、どう考えているか？ GPTsの作成にはどれくらい時間がかかるのか？ 勉強資料のおすすめはあるのか？ GPTsを作るテクニックのキャッチアップは？ 作成したGPTsをテストする勘所を知りたい 会全体を通した感想 会の概要 以下、イベントページから引用です。 2023年11月6日にユーザーが自然言語でカスタマイズできるGPTsがリリースされ、2024年初頭では既に300万以上のGPTsが作成されています。 そして2024年1月10日にGPT Sro

RAG（Retrieval Augmented Generation）は大規模言語モデル（LLM）の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よく使われているRAGでは、外部知識源として検索エンジンにテキストをインデックスしておき、質問に関連するテキストをベクトル検索や全文検索を用いて取得します。しかし、構造化データを扱うことには苦労するため、質問によっては回答が不十分、あるいはまったく回答できないことに繋がります。 これらの問題を克服するために、ナレッジグラフを用いたRAGが構築されることがあります。ナレッジグラフでは、エンティティとその間の関係がグラフ構造で表現されており、単純な検索を用いた場合には回答できないよ

Pythonのdataclasses.dataclassは普段からたまに使っていますが、良く使っている書き方を人に紹介するためにメモを残します。 dataclasses - データクラス - Python 3.12.2 ドキュメント dictと相互変換するクラス オブジェクトとdictで相互変換するクラスをdataclassで書くことがあります。 asdict 関数が便利です。リストで保持したいメンバー変数は、 field 関数を使って定義すれば、asdictでそのまま対象にできます。 また from_dict メソッドは厳密に実装するなら引数のチェックなどをしてもよいですが、可変長のキーワード引数としてそのままコンストラクタに渡すように書けば、実装はシンプルです。 コード main.py: from dacite import from_dict from dataclasses imp

書籍「機械学習エンジニアのためのTransformers」を読んだので内容をまとめる。 以下の内容は、ほとんどClaude3 Opusを使用して作成している。 第1章 入門Transformers いる。さらに、Transformer系モデルのGPTとBERTが紹介され、自然言語処理の分類、固有表現認識、質問応答などのタスクにおいて、TransformersライブラリがTransformerモデルを簡単に適用できることが示されている。最後にはHugging Faceのエコシステムが概観されている。 重要なポイント Transformerはエンコーダ・デコーダのフレームワーク、アテンション機構、転移学習を組み合わせている GPTやBERTなどの代表的なモデルが登場し、自然言語処理のベンチマークを更新した Hugging Faceのエコシステムを使うことで、最先端のモデルを簡単に利用できる 理

今までuWSGIをシングルスレッド、マルチプロセスで使っていたのだけれども、昔に比べて外部のAPI呼び出しが増えているのでマルチスレッド化を検討している。 uWSGI uWSGIでマルチスレッドを有効にした時は、各workerスレッドがacceptする形で動作する。スレッド数以上の接続をacceptすることがないので安心。 プロセス内のスレッド間ではmutexで排他されて、同時にacceptを実行するのは1スレッドのみに制限されている。つまりthendering herd問題はプロセス間でしか起こらない。マルチスレッド化でプロセス数はむしろCPUコア数まで減らせるので、thendering herd問題はむしろ今よりも軽減できる。（ちなみにプロセス間でもロックしてthendering herdを許さないオプションもあるけど、プロセス間同期は怖いので使っていなかった。） ただしuWSGIのマ

with文がやってくれるのはどこまでなのか インターネット経由で取得したZIPファイルを手元で加工する、という状況を考える。 たとえば、次のようなコードを書いたとする。 URL は ZIPファイルを取得できるものならば何でもよいが、今回は環境に配慮してローカルに1回だけダウンロードしてhttp.serverで簡易Webサーバを立てることでキャッシュしている。 import io import urllib.request import zipfile URL = "http://localhost:8000/python-3.12.2-embed-amd64.zip" with urllib.request.urlopen(URL) as f: content: bytes = f.read() with zipfile.ZipFile(io.BytesIO(content)) as zf

こんにちは。 カケハシの Musubi AI在庫管理 チームにて業務委託のエンジニアをさせていただいております takanakahiko と申します。 今回はuvをGitHub Actionsに導入したらとても効果があったので、紹介することができればと思います。 uvとは uvとはPythonのパッケージインストーラー・リゾルバーです。 その最大の特徴はRust言語で開発されており、従来のツールの100倍の速度で動作する点です。 pipやpip-toolsのdrop-in replacementが可能であることも特徴です。 開発をするのはAstralです。 AstralはRuffの開発で有名ですね。 Ruffについては、こちらの記事で紹介しています。 試しに手元で利用する 今回の目的はGitHub Actionsへの導入です。 その前に手元でひととおり使ってみます。 まずは、比較のために通