ArXivで論文を検索して、ざっくりアブストラクトから論文の動向の情報を得て、NotebookLMに投入するところまで作りました。Podcast機能が面白かったので、NotebookLMに投入して調整しなくても、自分の好きな感じでPodcastに出来るようにしました。もちろん、日本語です。 bwgift.hatenadiary.jp 出来たサンプルはこちらです。 [音声データ] 音声：VOICEVOX:春日部つむぎ、小夜/SAYO LLMは、Gemini Flash使ってみました。Colab以外で味見した程度の経験しなく、今まであまり利用していませんでした。Gemmaもそうですが、プロンプトによる出力の調整はしやすいと感じました。今回はjsonで結果を得るために出力はjson形式に指定しました。それも、mim type指定の形式なので感覚的でした。 特に工夫したところはありません。処理速度

AI・機械学習チームの北川(@kitagry)です。 このブログはサテライトオフィスのメンバーで投稿されるブログリレー１日目の記事になります。1 サテライトオフィスブログリレーとある通り、４月から京都オフィスに在籍しています。 最近京都オフィスメンバーで居酒屋に行ったりしたのですが、やはり関西めっちゃ安い。。 みんなおいでよと思っているところです。 本ブログではエムスリー株式会社がOSSとして公開しているgokartというPythonツールの型を強化した話について書きます。 Python3.5から型ヒントの機能が追加され、現在最新のPython3.13に至るまでに徐々に機能が追加されています。 最近はGILの無効化など高速化に関する話題が上りがちですが、その一方で型についても徐々に充実してきています。 このブログではPythonで利用可能な型について言及しながら、gokartに型を導入した

今回は mypy plugin を利用して、型安全に対応していないライブラリを型安全にする方法を紹介します！ 具体的にはエムスリーが開発する機械学習パイプラインツールである gokart を対象とし、mypy plugin を用いてどのように型の課題を解消したかについて解説します。 対象読者としては、既に gokart を使ってくださっている方はもちろんですが、dataclass や Pydantic がどのように型を担保しているかについて興味がある方も想定しています。 github.com gokart について gokart における型の問題 クラス変数をハックするツールである mypy による型チェックする上での課題 mypy plugin を自作してみる 静的解析時のイベントにフックする Plugin クラス 構文解析の結果を上書きする mypy API mypy plugin 開

先日、副産物で得られた論文のアブスト集をNotebookLMに入れてみたら快適でした。もともとデータセット作成のテストだった*1のですが、使えそうなのでそこだけ切り出します。今回の手順は、 ArXivから任意のキーワードで検索しアブストを入手する。 50000文字以下になるように分割してNotebookLMに投入できるmarkdown形式にする。 ついでに、gemini-flashを使ってまとめも作成する。 出来たmarkdownをNotebookLMに投入して好きなように使う。 です。簡単です。 Gemini-flashでまとめさせると、Promptを完全に制御できるので比較的思い通りの結果が得られます。ところが、試してみるとNotebookLMでは文書がどういう性格（もしくは素性）のものかが、正確に伝わりません。論文リストだけしかないテキストなので、そりゃなんなのか分からないのでしょう

このページでは、毎週木曜の定期連載「コード品質向上のテクニック」の過去記事一覧を掲載しています。 LINEヤフーの開発組織では、高い開発生産性を維持するためにコード品質と開発文化の改善に注力しています。そのさまざまな取り組みの 1 つとして Review Committee の活動があります。これは、マージ済みのコードを再度レビューし、レビューアとオーサーにフィードバックするというものです。そして、そのレビューで集めた知見を Weekly Report と称して毎週社内に共有しています。 この Weekly Report で共有される話題の中には、Kotlin や Swift といった言語固有のものや、Android や iOS といったプラットフォームに限定されるものもあります。しかし、多くの記事は言語やプラットフォームによらず、プログラミング一般に適用できる話題についてです。そのような

皆さん、日々魔法の鍛錬は怠っていませんか？ どうも、夢想の鯨寮所属のNGです。 【#夢想の鯨寮に入りました💫】 ミリオンマグス学園へようこそ✨ 3つの寮のうち、あなたが所属する寮は…？#ミリシタ魔法学園寮分け診断 👇診断する🔮🪄 https://t.co/Ow5KGTJmtP— NG@ミリオンの民 (@maki103NG) 2022年10月22日 いや〜もうね… 今回のプラチナスタートラストスペシャル〜ようこそミスティック・セレモニー〜が好きすぎる！ 曲の時点で最高！！！ってめちゃくちゃ興奮してたんですが、これがもう設定もめちゃくちゃ作り込まれてる様子。テキストが膨大でめちゃくちゃ歓喜してます。 しかも一部歌い分け対応で、そのセリフがさらにストーリーに絡んでる！！！ こういうのがもうハチャメチャに好きなんですよ。 しかし一方！イベントコミュが短すぎる～～～～！！！ あれだけのテキス

課題 ある変数Aに別の変数Bの変数名を格納し、変数Aを通して変数Bの値にアクセスしたい。 解決策 eval コマンドを利用する。eval は shell による評価を再実行するためのコマンドである。 単純なケースを例示する。 nameA=value nameB=nameA echo ${nameB} # --> nameA eval echo \$${nameB} # --> value nameB の値として nameA という文字列が格納されている。これは別の変数の変数名だ。単純に nameB の値を出力すると当然 nameA が表示される。一方で、eval の行を評価すると、本記事の主旨のように、nameA の値（= value）が表示される。 eval の行の評価の過程を以下に示す。 eval echo \$${nameB} ↓ shellによる評価 eval echo $name

【ハイブリッド開催】わたし史上、最高のチューニング - connpass 2024/10/29に株式会社DELTAさんのオフィスで開催された『わたし史上、最高のチューニング』というイベントに参加してきた スライドへのリンクはこちら speakerdeck.com speakerdeck.com RE: 光を超えるためのフロントエンドアーキテクチャ 以下、感想 顧客が本当に必要だったもの - パフォーマンス改善編 by そーだい チューニングには仕様を変える、削るのが有効、というお話...確かにそれはそう というか、特に根拠もない、誰も使っていない機能のために消耗するのは誰も得をしないので、価値のあるところにフォーカスしようぜーという話だと理解しました 当然何でも仕様が削れる訳でもなく、必要な機能は必要なので ただ、現実的に「よく考えると要らない」「他のサイトでも見かけたから入れた」「ちょっ

今回は、以下の記事の続きとして PyTorch で RMSProp のオプティマイザを実装してみる。 blog.amedama.jp 上記では PyTorch で Adagrad のオプティマイザを実装した。 Adagrad は学習率の調整に過去の勾配の平方和の累積を使っている。 このやり方には、イテレーションが進むと徐々に学習が進みにくくなってしまう問題がある。 そこで、RMSProp では学習率の調整に過去の勾配の平方和の指数移動平均を使っている。 これによって、徐々に学習が進みにくくなる問題を解決した。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 15.1 BuildVersion: 24B83 $ python -V Python 3.12.7 $ pip list | egrep -i "(torch|mat

先日、DevLOVE関西の200回目を記念するイベントで登壇してきました。 登壇内容を考えるにあたって、大きく2案あったので、没にしたほうのネタを簡単にブログに書いて供養しておきます。 ロックバンドの成功の証は、日本武道館でのライブである、みたいなイメージがなんとなくあります。 地元の小さなライブハウスで、客席に友人しかいない状態で演奏するところからはじまって、そこそこ有名になり、対バンに呼ばれるようになって、ソロでライブハウスが埋まり、Zeppなどの大きなハコでやるようになって、そういうステップアップを繰り返した先に、ついに武道館を満員にする。 そのときの彼らの気持ちは、どんなものなんだろうか。 自分にとって、かつて武道館のような舞台がありました。 今は会場が変わりましたが、かつては毎年目黒の雅叙園で開催されていたデブサミ。ここは自分にとっての武道館のようなものでした。 2010年ごろに

会社のカジュアル面談に来てくれた方と話すと、自分自身考えさせられたり意見を交わして理解が深まったりする。 自分が以前に聞かれて特に面白かった質問を雑にいくつか書き出してみる。会話の中で出てきた質問なので、このままストレートに聞かれたわけではない。 いま楽しいとしんどいの割合はどのくらいですか EMをやっていた時で、しんどいが7くらいで答えたと思う 割合を答えるだけなので答えやすく、それに対してどう感じているかといった深堀った話もできて面白かった もちろん楽しい割合が多いのも素晴らしいのだけれど、ある程度しんどさもあるのが常だし真っ当だと思っていてリアルなところを聞けるいい質問だと思う 自分が入るであろうチームで一番大きい課題は何ですか 当時解決してほしい課題は明確にいくつかあったものの、実は"一番"大きい課題と聞かれるとバシッと答えられなかった 話していく中でこういうところが一番ですかねみ

ワールドトリガー247話にて、ヒュースが若村に話した言葉が非常によかった。 "刻むんだ" 目の前の1段を登るために必要な要素を 1段の中でさらに刻んで 自分が登れる小さいステップを作るんだ その行動を努力と呼ぶ 痺れる~~~。この"刻む"というのは目標達成のための大事な考え方なのはもちろん、タスクを進める時にも同じように"刻む"技術が必要。自分もうまくできないことがあるので、雑に考えを書いておきたい。 仕事において、ゴールまでの道筋を刻んで小さくして進めるのはとても重要。進み具合をトラッキングできるし、刻むことでチームで仕事をしやすくなる。いわゆるジュニア、ミドル、シニアの違いは「どれくらい抽象的で大きいことを刻んで進められるか」の差と言ってもいいかもしれない。 このゴールを"刻む"技術はどうすれば身につくのだろうか。経験によって全体を把握する力がついた結果できるようになるというのも一定あ

JJUG CCC 2024 Fallに参加してきました。最初の10時からの枠で登壇し、そこから懇親会までフル参加してきました。フル参加は初めてでした。学びが深かったので記録を残しておきます。 jjug.doorkeeper.jp 登壇は2回目でした。前回の登壇についてはこちらに書いています。 qiita.com Javaエンジニアのための低コストKotlin入門 speakerdeck.com 私のセッションです。もともとは45分枠でCfPを出していてもうちょっと深いところまで立ち入るつもりだったのですが、20分枠にすることを条件とした採択となり、内容を大幅に削って今回のような形に落ち着きました。本当にこの内容でいいのか迷って発表前日にちょっと大きめの変更を加えたりしていましたが、最終的にはそれっぽくまとまった（たぶん）ので良かったです。 ざっと見た感じ、20名ほどの方に聴いていただきまし

テスト容易性の確保にかかわる責務設計、リファクタリングのためのデザインパターンに、Humble Objectパターン（Humbleオブジェクトパターン、質素なオブジェクトパターン）があります。 Humble Objectパターンは、ユニットテストのデザインパターン集であるxUnit Test Patternsで定義されたものです。近年は書籍「単体テストの考え方/使い方」でテスト容易性を確保する基礎的技術として紹介され、認知が広がっています。 Humble Objectパターンは自動テスト、特にユニットテストをターゲットとします。大まかな概要として、以下を実施します。 自動テストで実行しにくいオブジェクトを、「自動テストで実行できるオブジェクト」と、「自動テストで実行しにくいコード」に分離する テストすべきロジックの責務をなるべく「自動テストで実行できるオブジェクト」に集中させる。 このHu

JJUG CCC 2024 Fall に参加しました！ JJUG CCC への登壇もなんと4回目。いい加減慣れてきた頃…、と思ったのですが全然そんなことなかったです。この1ヶ月ぐらいあーでもないこーでもないと構成を考えて書き直して図を追加してというのをずっと繰り返していました。そんな苦労が詰まっていた本日の登壇だったのですが、Twitter(現・X)の感想を見る限りでは好評だったようで、とても嬉しいです！ 今回面白いなーと思ったところは、セッション内で「この点については、〜さんのセッションで話していましたね」みたいな話がちょくちょく出ていたことです。自分のセッションでもジェネリクスについてはなぎせさんのセッションを参照してくださいという話をしましたし、阪田さんからは indy については前回の私と桜庭さんのセッションをという話が、また桜庭さんのセッションでも私の今日のセッションについても触

こんにちは！スマートバンクのmitaniです。 だんだんと寒くなってきて年末の足音が聞こえてきましたね。スマートバンクでは10月25日から行われるKaigi on Railsで今年最後のブースを出展します。ブースではクイズに答えて全国各地の名産お菓子を掴み取りする企画をやるのでぜひ遊びに来てください。 今回のブログでは、ブースで使うクイズ画面のコーディングを完全にLLMに任せてみた取り組みを紹介しようと思います！果たしてLLMは期待通りのコーディングをしてくれるのか？気になる方はぜひチェックしてみてください！ 作りたいもの ネプリーグというテレビ番組でやっている「パーセントバルーン」というクイズをご存知でしょうか？初めに100個のバルーンが残りライフとして与えられます。0~100の%で答えられるクイズが出題され、正解との誤差だけバルーンが破られていきます。そして最後に残ったバルーンの数を競

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 LLM-as-a-Judge、名前の通り何かしらの評価にLLMを使う手法です。 LLMは非構造化データでもうまいこと解釈してくれる優れものなため、通常のプログラミングでは判断することが難しいことでも、それらしき判断やスコアをつけてくれます。 本記事ではそんなLLM-as-a-Judgeを、LLMを使ったシステムの振る舞いの改善の確認 and デグレ検知目的で作っていく際の、私なりの流れやTipsなどを紹介していきます。 なぜLLMでJudgeしたいのか？ はじめに「なぜLLMでの評価がしたいのか」、その目的を整理したいと思います。 まず大上段の目的として、LLMシステムが改善しているか、または劣化(デグレ)してないかを検知したいというのがあります。 LLMを使っ

2024年10月15日（火）に、 Hatena Engineer Seminar #31 をオンライン開催しました。ご参加いただいたみなさま、ありがとうございました。 このエントリーでは、当日のアーカイブ動画や公開資料をご紹介します。 お詫び 当日のライブ配信では、トラブルにより一部映像が止まる・音声が聞き取りづらいなどの問題が発生し、配信を一時中断させていただきました。快適にウェビナーをご視聴いただくことができず、大変申し訳ございませんでした。スライドと音声がズレてしまっている箇所がございますので、アーカイブ動画をご視聴いただく際は、公開しているスライドとともに内容をご確認いただけますと幸いです。 お詫び Hatena Engineer Seminar #31 について 発表概要と資料 マルチテナントのサービスインフラに大きなテナントを受け入れるまで / id:koudenpa 10年続

こんにちは！木下ひなただよぉ。あたしは、壮瞥町りんご大使に就任いたしました！もともとあたしは北海道のりんご農園の出身だから、声をかけてもらってねぇ。ありがたいお話だべさ！ りんご大使として、10月13日から11月17日までの壮瞥町のりんご祭り「そうべつりんごめぐり」をしっかり盛り上げるからねぇ。本当は私にちゃんと務まるかちょっこし不安なんだけど、みんなの笑顔に勇気をもらって頑張るから、みんなめいっぱい楽しんでねぇ～！ という就任式の挨拶から始まった、「そうべつりんごまつり」。 昨年に続いて、今年も木下ひなたさんが「壮瞥町りんご大使」に就任したのです！ ということでこの記事では、今年のりんごめぐりにてこれから壮瞥町を訪れる皆さんにとって、壮瞥町をめぐる上で知ってほしいことや立ち寄りスポットなどを紹介したいと思います！ この記事を参考に、ぜひ壮瞥町をめぐってくださいね～ ※参加店やグッズ一覧な

目次 目次 はじめに 検証環境 pyenv + Poetryのインストールとプロジェクト作成 pyenvのインストール Poetryのインストール プロジェクト作成 Ryeのインストールとプロジェクト作成 インストール プロジェクト作成 pyenv環境とRye環境のPythonの挙動の違い readlineモジュール なぜRyeのPythonはlibeditを使用するのか pyenvよるPythonのインストール RyeによるPythonのインストール ライセンスの問題 ユーザへの影響 まとめ はじめに Pythonの開発において、pyenvによるバージョンの切り替えと、Poetryによるプロジェクト管理の組み合わせを使用されている方は多いかと思います。 そんな中、ワンストップなプロジェクト・パッケージ管理ツールとして近年登場し、話題となっているのがRyeです。 rye-up.com Ry