機械学習を簡単に行うための有用なライブラリの一つはscikit-learnである。 この文書では、scikit-learnの学習結果をpickleしないで済ます方法について述べる。 scikit-learnの特徴 各種識別器の学習・予測・評価方法のためのインターフェースがそろえてある設計。 各種アルゴリズムを試して、比較しやすい。 ドキュメントが充実している。 前提 python scikit-learn pickle scikit-learn に欠けているもの scikit-learnで学習した結果を保持するための枠組みが不足している。 そのため、sckit-learnで作った学習済みの識別器をpickleして、それをpickl.loads(pickle済みのファイル)して使ってしまうということをしてしまいやすい。 問題点 scikit-learn のサイトでも、pickleしたものを使

『本なんて読まなくたっていいのだけれど、』を読みました。著者は、ブックディレクターである幅允孝さんです。 ブックディレクターとは、日本語で言うと選書家。書店や病院、老人ホームの本棚など、その空間に合った本棚を作ったり相手に合った本を紹介したりと本を扱う仕事。 そのような仕事をしている幅允孝さんが、ブックディレクターという立場から本への思いを語ったエッセイ集です。 本を血肉化すること この本を読んで、私が一番心を打たれた文章はこちら。 本を読むことは、数時間かけて空想の中を旅するだけではない。読んだ本の一文でも一言でもいい、ある言葉が読者の中に深く刺さり、血肉化し、日々の実際的な生活に作用することが大切なのではないかと僕は思っている。 (中略) 些末な、けれども毎日を形づくる積層の一部分に本が関わっていて欲しいのだ。 本を読むうえで重要な要素が詰め込まれています。 ビジネス書や自己啓発書を読

Home タスクリストが自分のホーム(行動の基点)になっていること。 スマホのホーム画面のように 最初に見る場所 をつくる ホームにタスクを書き並べるのが基本で、収まらないものは適宜ゾーニングする(別の場所に移す) なぜホームが必要？ → 二重管理せずに済むから 「ホームさえ見ておけば良い」になる 「とりあえずホームに書いておけば良い」になる Editable pttm が愛用テキストエディタ一つだけで完結すること。 pttm は 文章執筆やプログラミングのようにタスクをバリバリ書くもの バリバリ書くには？ → 使い慣れたテキストエディタがベスト エディタの設定や拡張機能はフル活用して少しでも書きやすく、見易く、使いやすく Reachable ホームからすべてのタスクを辿れる(ホームに従っておけば生活が全部まわる)こと。 タスクすべてをホームに書いて運用するのは無理 どうするか？ → 二段

TL;DR 主観がご多分に含まれています。 僕(20代ソフトウェアエンジニア)が副業を個人事業主として受けるために色んな人に話を伺ってまとめたテキストです。 マサカリは大いに歓迎。 収入が20万以上になると確定申告が必要 確定申告を行う際に一括で税金を支払う必要があるため、その分のお金を貯めておく必要が有る 個人事業主になるのが有利。 控除を受けることができ、業務関連の出費を"費用"にできる。 税理士を頼んだほうが良い。 諸々の業務関連の出費だけではなく、税理士代・家賃・インターネット代などを良い感じに費用にして節税してくれる 自分語り なぜ副業をしようかと思ったのか 現職で1年間（研修を含めてると1年半）働き、「やってることがマンネリ化してきたので違うことをやりたい」と思ったのが一番の動機です。 自社では好き好んでクラウド領域をやっていいて、ありがたいことに「クラウドができる人」的な立ち

10点満点でつけてもらったアンケートの回答です。 ごあいさつ はじめましての人ははじめまして、こんにちは！フロントエンドエンジニアのがっちゃん（ @gatchan0807 ）です テックブログに出てくるのはお久しぶりです 今回の記事では、4月末に社内で実施したイベント 「あの頃のオフライン勉強会の感覚を取り戻そう！ オフラインリハビリ勉強会」 という取り組みをご紹介します！ どんなイベント？ BASE には #iikanji-conference-toudan というワーキンググループがあり、外部カンファレンスやイベントでの登壇の支援をしていく活動をしています （詳しくは2022年のアドベントカレンダーの記事で振り返りを行っているのでそちらをご覧ください！） devblog.thebase.in 今回の「あの頃のオフライン勉強会の感覚を取り戻そう！ オフラインリハビリ勉強会」（以下、オフラ

はじめに こんにちは！クラシルでプロダクトデザイナーをしているkashikoです！ 今回のブログでは、「Zapierを活用したデザインチームの業務改善ナレッジ」を書いていきます。 Zapierとは操作の自動化を非エンジニアでも簡単に行えるツールで、私たちの場合はSlackで特定のスタンプを使うとNotionにリスト形式で自動でストックするのに使用しています。クラシルのデザインチームでこの機能をどのように活用し、チームとしてのレベルアップを図っているのかご紹介します。 ユースケース クラシルデザインチームがZapierを利用しているのは以下の3つのシーン。 ①実機を触っていて見つけたデザイン改善タスクのストック ②デザインの過程でリサーチしたナレッジのストック ③相互に行うデザインレビューのストック です。 それぞれ具体的にどのような運用になっているのか、詳しく見ていきます！ ①デザイン改善

はじめに こんにちは、AIチームの杉山です。 今回の記事では、QA検索などを行う際の文類似度の計算に、文の埋め込みベクトルを用いてknnで計算した場合とSVMを用いた場合の結果を簡易的ですが定量的に比較してみたいと思います。 動機としては、LangChainのRetrieverの実装にkNNだけでなくSVMを用いた実装が採用されており、その説明の中で以下のようにSVMの方が良いことが多いとされていたことでどれくらい性能が異なるかを確認したいと思ったためです。[1][2] TLDR in my experience it ~always works better to use an SVM instead of kNN, if you can afford the slight computational hit 具体的には、クエリ自身だけを1クラス、検索対象のドキュメント集合全体を別の1ク

[RubyKaigi 2024] Ruby Mixology 101: adding shots of PHP, Elixir, and more

概要 以下の記事を参考に、最近リリースされたUnity製推論エンジンを試してみたのでそのメモです。 qiita.com note.com Barracudaとは？ Barracudaとは、ドキュメントにはこう記載されています。 Barracuda is lightweight and cross-platform Neural Net inference library. Barracuda supports inference both on GPU and CPU. 軽量でクロスプラットフォームなニューラルネットワークの推論ライブラリということですね。 そしてこちらのブログによるとUnity製のオリジナルだそうです。 セットアップ BarracudaはPackage Managerから簡単にインストールできます。 インストールするにはWindow > Package Managerから

[論文解説] MAML: Model-Agnostic Meta-Learning for Fast Adaptation of Deep NetworksMeta-Learning 以下の論文の解説(まとめ)になります． Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks この論文は，Chelsea Finnが出した論文でICML 2017に採択されています．Meta-Learningの汎用性を大きく改善した，ターニングポイントとなる手法を提案していて非常に面白く，また論文の優位性を適切に説明した日本語解説がなかったため，今回紹介させていただきました．この論文で提案しているモデルは，MAML(Model-Agnostic Meta-Learning)と呼ばれる手法になります． 記事中の図は，特に記載がない限り

こんにちは。シンプルフォーム株式会社 にてインフラエンジニアをしています、山岸です。 社内向けに運用しているデータ分析基盤について現状抱えているいくつかの課題を克服すべく、最近は更改に向けた検証に取り組んでいます。今回は取り組みの一つである「AWS Glue と Apache Iceberg によるデータレイクテーブル構築」についてご紹介したいと思います。 概要 当社ではデータ分析基盤の ETL 処理に AWS Glue を使用しています。社内のデータ分析業務等のため、RDS データベース等のデータソースから日次で S3 上に構築された DWH に連携しています。 現行のデータ分析基盤では、DB テーブル上のデータを毎日全件洗い替えています。このような処理方法は ETL 実装や問題発生時の復旧が簡単である一方、ETL 処理のコスト効率が悪く、データ量の増加に伴って処理時間も長くなっていきま

24-4-18: Command-R+ (cohere playground) 追加（結果のみ） 簡単なまとめ見返したらあまりにも長くて読みづらかったので、Opusの力も借りて、要約を追記しておきます。 【ローカルLLM】 LightChatAssistant-4x7B-f16.gguf: 非常に流暢な日本語で応答するものの、小説の内容理解には限界が見られた。キャッチーな単語に引きずられるなど、ややハルシネーションが見受けられた。ただし、このサイズのモデルとしては驚くべき性能を示している。 c4ai-command-r-v01-Q8_0.gguf: 洗練された文章で、小説のテーマをある程度理解している。登場人物の分析は限定的だが、想像力豊かな解釈を示した。ただし、やや饒舌な傾向があり、時折本題から外れた考察も見られた。 command-r-plus-Q4_K_M: 極めて高い理解力と要約力

本記事では、よく聞く「Self-RAG」についてざっくり理解します。軽めの記事です。 はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、RAGの新手法として昨年発表された「Self-RAG」の論文[1]について、日本語で簡単にまとめたものです。 この論文は「CRAG」[2]など、最近出ている別のRAGアーキテクチャにも影響を与えているので、理解する価値がありそうです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの性能を高めるための新しい手法です。ワシントン大学などの研究者によって2023年10月に提案されました。Self-RAGという手法を使うメリットは、回答品質を上げられること、ハルシネーション（幻覚）を減らせるこ

前回の続きです。次はChat Vector処理によってどれくらい日本語チャット機能が改善しているのかを具体的にみてみます。 下記の記事で、Chat Vectorを使わなくても単純に2モデルをMoEマージするだけで一定の性能向上が観察できることは確認しています。 sc-bakushu.hatenablog.com では、Chat Vectorを加えることでモデルのチャット性能はどのように影響を受けるののでしょうか。 単体の7BモデルにおけるChat Vectorの効果 まず「LightChatAssistant 2x7B」の再現過程で得られた「ChatNTQ 7BにMistral-7B-v0.2-InstructのChat Vectorを適用したモデル」の性能を測定してみます。 名称 LightChat Assistant 2x7B Chat NTQ 7B random MoE ChatNT

最近、一部のローカルLLM勢のあいだでChatVectorで遊ぶのが流行っている。 ChatVectorとは何か？というとこちらの論文で発表された技術だ。 [2310.04799] Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages (arxiv.org) こちらの解説記事が分かりやすい。 Chat Vectorを使って日本語LLMをチャットモデルに改造する – Qiita 要するに、ChatVectorとは指示チューニングでチャット能力を獲得したモデルのウエイトから、ベースになったモデルのウエイトを差し引いた差分の事である。 そしてChatVectorを別のモデルのウエイトに加算すれば、そのモデルにチャット能力を付与する事が

言語モデルの研究領域の一つに「知識編集(Knowledge Editing)」というものがあるらしい。 近年は言語モデルの大規模化による開発コスト膨張が問題になっており、既存モデルをより長く利用するための低コストな知識更新手法に注目が集まってる（らしい）。 とはいえ既存の知識編集手法は不確実性が高いうえ、モデル性能が劣化する副作用も存在する（らしい。こちらやこちらのアブストラクトを参照）。 言語モデルの知識編集そもそも知識編集ってなんなのか、と思って検索したところ、こちらによくまとまっていた。 https://github.com/zjunlp/EasyEdit/blob/main/tutorial.pdf基本的には追加学習やRAGとは異なるアプローチを指すらしい。 追加学習による知識更新は高コストで副作用が多い。RAGによる知識更新は一時的でスケーリングもしづらい。そこで、より局所的＆恒

Renovateはプロジェクトの依存関係の更新を自動化するツールです。 npmライブラリやGitHub Actions、Dockerイメージのバージョンなどを監視し、ライブラリアップデート用のPRの作成を行います。 Renovateは豊富な構文から柔軟な設定ができますが、プリセットと呼ばれるカスタマイズされた設定集を利用することもできます。 その中でconfig:best-practicesというRenovateが考えるベストプラクティスのプリセットが用意されています。 このプリセットを読み解くことで、Renovateがどのようにライブラリのバージョンを指定し運用するべきか知ることができます。 この記事ではconfig:best-practicesの設定を読み解き、どのようにライブラリの依存関係を扱うかを考えていきます。 config:best-practice で設定されている項目 執筆

ある論文を書き終えて、ほっと一息している。ブログをさぼってTwitterばかりやってたので、そこで貯めたメモをブログで書いていくことにしよう。それにしてもTwitterを試していて確信したのだが、私はTwitterそのものは否定しないのだが、Twitterに群がっている人たちに疑問があるんだなと思った。 というのも、賑わいをみせているソーシャルメディア（SNSでも動画サイトでもモバイルゲームでも何でもいいのだが）に群がりはじめる人は、そこでなにかビジネスをできないか考えている人々だ。このソーシャルメディアは会員も多くて接続時間も長いんで、プロモーションに使えると思ってるわけだ。 だがこの発想はじつは大きな間違いをしている。なぜならプロモーションに使おうとする発想そのものが、ソーシャルメディアの本質と矛盾しているからだ。たとえばソーシャルメディアに人が集まるのは、そのメディアそのものの用具性

ゲーム禁止を「強要」するのはおかしいと思う。 http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1325610133 (中略) 先生は「私のクラスではゲーム一切禁止です」と、家庭でのゲーム禁止令を出されました。 安易に「禁止」という言葉を使う人間がそもそもどうかとは思うのだけれど、ゲームもそんなに悪い面ばかりではない、というかメディアや娯楽から何を学ぶかは、人それぞれの感性に委ねられている部分なのに、教育者たる者がその機会を一方的に奪う姿勢で臨むというのは、些か短慮に思える。 主にアーケードゲームではあるが、ある学校の教師が禁じたそのテレビゲームから、こんな事を学ぶ人間もいるという事例を示したく。 教訓1：自分より強い奴がいる これを十代のうちに学べたのは、僕にとっては非常に大きな収穫だった。自信のあるはずの格闘ゲームで、シュ

私は読書感想文反対派の急先鋒です。触発されました。 lechatdusamedi.hatenablog.com ちなみに、モカよりもキリマンジャロが好みです。 それで思い出したけど、ヘミングウェイ「キリマンジャロの雪」初めて読んだときはびっくりしました。TOTOのAfricaって感じです。 Toto - Africa なのですが、最近では北方謙三が解説を行っているらしい。もちろん「あの阿呆が」という含みです。そこで、もしヘミングウェイを手にする機会があれば「老人と海」を、そしてその福田恒存の解説をぜひ読んでみてください。あれほど平易簡明なアメリカ近代文学史を僕はみたことがない。あれがすべてじゃないけど、通ったほうがいい。 老人と海 (新潮文庫) 作者: ヘミングウェイ,福田恆存 出版社/メーカー: 新潮社 発売日: 2003/05 メディア: 文庫 購入: 23人 クリック: 184回 こ

はじめに2023年度の3月に博士号の受理が決定し、博士課程を修了しました。自分はD3を終えるとともに博士課程を修了したので、標準年限で卒業したことになります。（定義としてはおかしいのですが）標準年限で卒業することは社会学の分野では僅少で、多くの人はもう1、2年、あるいはそれ以上をかけて博士論文を書き上げることが多いです。 近年では博士課程を標準年限で修了することへの期待が高まっています。近年では博士号が就職の必須要件になってきていること、また（少なくとも自分が属していた東京大学では）学内の経済的支援がD3からD4にかけて打ち切られることから、標準年限で卒業する需要が高まっていると考えています。 この投稿では標準年限で卒業するという（2024年時点で）僅少な事例である自分を対象に、博士課程の間に何をしていたかを書き残します。博士課程を冗長な時間をかけずに修了するには、博士課程の間にある程度戦

ちょっとした豆知識や気付きにライフハックとタグ付けするエントリー。 社会人になってからも勉強しなければならないことは多く有りますね。やれ新技術だ、やれ資格だと。なのに学生のような自由な環境は無く、なかなか時間を作れず困っている人も多いと思います。私の場合は学生の頃まったく勉強していなかったので、社会に出てからのほうが勉強しているかも……。 今回は、そういう人が勉強するのにどうやったら効率良いかについて、です。特に、資格について勉強しようという人向けです。細かいコツを幾つか挙げてみます。 スケジューリングをする 良く言われることですが、締め切りを決めないと人間なかなか動けないものです。また、進捗の度合いも見えづらくて、出来ているのか出来ていないのか？急いだほうが良いのかどうなのか？解らなくなりがちです。 なので、学ぶことが決まったらスケジュールを組みます。これは粗くて良いと思います。だいたい

（異常に脱字が多かったので見直しました 12/28) 最近検証を兼ねて、Kedroを使ってMLモデル開発におけるワークフロー管理をしています。 Kedroはワークフロー管理ツールの一つであり、python関数をnodeというクラスでラップしてつなぎ合わせることでPipelineを構成すること、nodeの入出力は全てData Catalogと呼ばれるメモリやストレージを抽象化したファイルシステムクラスで管理されることが特徴です。io自体は別個のDataSetというモジュールを用意して対応しています。 kedroの利用にあたって学習用に生成した特徴量と推論用に生成した特徴量を、中間生成物を含めて丸ごと別々に保存したいと考えましたが、どうもその分けて保存する方法についてストレートな解決方法が見つからなかったため、今回試行した方法をこちらに残します。 前提 kedroが自動生成してくれるプロジェク

年末オープンジオかくし芸大会 でおなじみの、FOSS4GAdventカレンダー2018の23日目です。 はじめに この記事は 地図や位置のデータをPythonで処理したい Python初学者 QGISちょっとわかる PostGISやMySQLなどのサーバー系はちょっとしんどい 商用GISソフトは手元にない 暗中模索話だいすき という方むけの検証記事です。どうぞよろしくおねがいいたします。 きっかけ いろいろとアレで大量のcsvファイルをなだめたりすかしたりクリーニングしたりするために、PythonのライブラリであるPandasをよく使っています。Pandasについては多くの知見があるため割愛しますが、表形式のデータを取り扱うのに様々な命令があるため、結構便利ですし、今後もいろいろ使ってみたいなあと考えています。 ※こちらのパンダさんとはちょっと関係がないかもしれませんが、どこかでなにかつな

イントロ 日立製作所 研究開発グループの中田です。普段、エッジコンピューティングや分散システムの研究開発、またシステムアーキテクトをやっています。 公私ともにQiitaは初投稿です。 今回は、Rayを紹介します。 Rayは、分散処理を含むアプリを開発するためのライブラリおよび実行環境です。まだ日本では情報が少ないのですが、海外では有名企業や大学がこぞって活用しており、かなりホットなライブラリだと思います。今年2020年10月1日にバージョン1.0がリリースされました。また同じタイミングにRay Summitが開催され、50本程のセッションで多数の活用事例が紹介されました。 Rayは、通常の手続き型言語を容易に分散処理化できるものであり、データ分析やエッジ/IoTの分野で有用に思えるので、日本でも広まって欲しいと思っている次第です。 本記事では、そもそもここでの分散処理とは何か、から始めて、

はじめに こんにちは、にっしゃんです。こちらはROS Advent Calendar 2021の22日目の記事です。 この記事の3行サマリーは次のようになっております。 Realsense T265で簡単に自己位置推定できるよ。 ラズパイ4で持ち運べるロガーを作ったよ。 この装置を使って、ディズニーランドのアトラクションの乗り物のルートが可視化できたよ 縦に長い記事なので、興味のあるところを好きに読んでいただければ幸いです。 目次 1.構想：「自己位置推定の自己って私のことだよね？」 2.制作：ラズパイなら持ち運べる 3.ディズニーランドでrosbagの取得＆再生してルートの可視化 1. 構想：「自己位置推定の自己って私のことだよね？」 1-1. Realsense T265 INTELのRealsense T265は先日ディスコン(=生産終了)が発表され、一部のユーザからは落胆と継続販売

今までの記事 GatsbyJS v2 はじめの一歩 (1) 開発環境の立ち上げ GatsbyJS v2 はじめの一歩 (2) 実際にページを作る GatsbyJS v2 はじめの一歩 (3) ページにスタイルを当てる GatsbyJS v2 はじめの一歩 (4) gatsby buildとデプロイ Webページを構成するのに必要なのは、HTML, CSS, JSとDataです。Dataというのは stringという文字列だったり、42という数字だったり、{ pizza: true }のようなオブジェクトで表現できます。データはReact Componentの外にあるべきという考えに基づいており、マークダウンやCSVファイル、一般的なデータベース、Web APIなども含めてデータ層で持っておき、そういったデータを簡単に扱えるようにしています。 GatsbyJSではデータ層からReactコンポ

Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] はじめに 本記事では、Amazon Connect + Amazon Bedrock + Amazon Lexを組み合わせて、電話での問い合わせ内容を種別判定し、最適な担当者に振り分ける方法と、その精度結果をまとめました。 ユーザーのお問い合わせの種別を判定し、種別ごとに担当者に振り分けるコンタクトセンターでのAIチャットボットによる一次対応を想定し、生成AIであるBedrockのClaudeが種別判定機能を担います。 お問い合わせの種別判定は、以前Amazon Kendraを利用して試しましたが、今回は、BedrockのClaudeを利用してみます。 構成 構成としては、下記の通りです。 以下は、ユーザーがお問い合わせした内容を種別判定し、内容によって担当者に振り分けするまで

PyTorch, ONNX, Caffe, OpenVINO (NCHW) のモデルをTensorflow / TensorflowLite (NHWC) へお手軽に変換するDeepLearningCaffeTensorFlowPyTorchONNX 日本語　English 1. はじめに いつも左中間を狙うようなプチニッチなふざけた記事ばかりを量産しています。 この記事の手順を実施すると、 最終的に PyTorch製 高精度Semantic Segmentation の U^2-Net を TensorFlow Lite へ変換することができます。 下図のような感じです。 TensorFlow めちゃくちゃ扱いにくいです。 日々公開される最新のとても面白いモデルは軒並みPyTorch実装ですし、なんでTensorFlowで実装してくれないんだ！！ と、常日頃思っています。 論文のベンチマ

機械学習におけるハイパーパラメータの最適化は，高い予測性能を実現する上で重要なステップの一つである．古くは scikit-learn などでも実装されるグリッドサーチが標準的であったが，深層学習全盛の現在ではベイズ最適化に基づく最新技術を実装したパッケージがいくつも利用可能になっている． このハイパーパラメータ最適化を行う python パッケージとして日本で最も有名なものは，Qiitaで見る限りにおいては optuna と思われるが，おそらく全世界的に見れば Ray Tune だろう．PyTorchの公式チュートリアル にも採用されるなど，代表的なハイパーパラメータ最適化ライブラリとしての地位を確立しており，既存の学習用実装をそれほど大きく変更することなくハイパーパラメータ最適化が実現できるなどの御利益もあるが，残念なことに日本語の資源がほとんどない． そこでこの記事では，Ray Tun

都内でデータサイエンティストしている者です。はじめてのアドベントカレンダーの投稿となります。今年もはやいものですね。 よければ、暇つぶしにどうぞ。 逆解析の何がウレシイの！？ 皆さん、日々機械学習を用いて、データからあらゆるラベルであったり、数値であったりを予測していると思います。私も業務で、スコアリングだったり、売上だったり、様々指標を教師あり学習器を用いて、予測しています。しかし、予測値を出してプロジェクトが終わりということはなかなかありません。特に多いのは、なぜその予測値が出るのか？という説明性を求められるケースです。さらには、ほしい予測値を出すことはできるのか？といったケースもあります。この記事では後者に絞った話をします。 まず初めに、哲学的な問を投げさせてください。そもそも、モデル理解するとは何でしょう？何がどうなれば、理解したと言えるのでしょう？これにはいくつか主張はあるかと思

概要 機械学習アルゴリズムを実装する企業研究者やデータサイエンティストが、本番環境に移行しやすい機械学習コードを書くための Tips を紹介します。 私は、最近、機械学習アルゴリズムの実装だけでなく、それを本番環境に載せる作業もするようになったので、その際に「 こうしておけば本番環境への移行が楽だったな 」と思ったことをまとめました。 「自分はエンジニアじゃないから細かいことはいいや」と思われる方にも以下のメリットがあると思います。 エンジニアへの負担が減り、早くリリースすることができ、研究者またはデータサイエンティストとしての社内での評価や信頼を獲得しやすくなる 信頼を獲得できれば、次の仕事を回してもらいやすくなる、という好循環が生まれる 自分自身の生産性や開発体験が向上するので、より早く実験サイクルを回せる 再利用性や再現性などを上げることができ、コードを公開したときに多くの人に使って

はじめに 近年の深層学習のブームに乗っかる形で、DQNに代表されるような深層強化学習手法が話題になっています。 下の、DQN（もしくはAtariをプレイするAIの映像）などを見て、強化学習すごそう！なんか面白そう！と思って勉強を始めた方も多いのではないでしょうか？ ちなみに、自分もその一人であることに間違い有りません。 しかし、強化学習の反対側に制御工学の理論が見えることは実はあまり知られていなかったり、制御工学を勉強していても、強化学習が制御工学と関係があると知らなかったりすることがあると思います。 もし、そのつながりを知り、両者の違い、良さをそれぞれ知れれば、今まで見てきたものがもっと広い視野で見えるようになることは間違い有りません。 そこで、このQiita制御工学アドベントカレンダー2019 22日目の投稿は、制御工学の分野の１手法である最適制御と強化学習のつながりを解説します。 本

はじめに ゲーム「ポケットモンスター」シリーズにおいてはポケモンの鳴き声は電子音のようなSEとして表現されています。ほぼ全てのポケモンに固有の鳴き声が割り当てられており、本編をプレイしたことがある方にとっては馴染み深いものも多いと思われます。以下の動画はそれらの例です。 これらの音声をデータセットにし、機械学習の手法の1つ"WaveGAN"でポケモンの鳴き声を生成しました。以下は生成例です。 機械学習で音声を生成する手法「WaveGAN」でポケモンの鳴き声を出力させてみましたhttps://t.co/Izt2nq9Q3e pic.twitter.com/fqzEFwSqoH — zassou (@zassouEX) March 12, 2021 本記事ではこれに用いた手法を紹介していきます。 音声の生成にはWaveGANという手法を使っています。これはGAN(Generative adve

明示的にグラフ構造でないデータに対してもGraph Convolution Network(GCN)が使える！？ ドコモの久保田です。この記事では、データマイニングの国際会議であるKDD2020で開催されたThe Second International Workshop on Deep Learning on Graphs: Methods and Applications (DLG-KDD’20)に採択された私たちの論文"Time-aware GCN: Representation Learning for Mobile App Usage Time-series Data"を紹介します。論文はKDDのリンクのページからダウンロードできます。 KDD2020の投稿傾向 KDD2020のOpening1でResearch Trackのトピックごとの投稿論文数が報告されていましたが、上位2

この記事ではxfeatとAutoGluonを使って、機械学習モデルの評価で役に立つベンチマークモデルを作ってみようと思います。 はじめに みなさんは機械学習モデルのベンチマーク作成に悩んだことはないですか？ 個人的な経験では、新規プロジェクトのデータサイエンティストが自分一人の時に悩む時がありました（モデルの精度はデータに依存する部分が大きいですが、新しいデータ、タスクで比較対象がないなか、いかに自身のモデルの有用性を伝えるかなどの面で）。 過去には... 素のデータセットでモデルを学習した結果で比較する 実験過程の記録を使用する 複数アルゴリズムを試した時の結果を利用する（後付けでA, B, C...のアルゴリズムを試してAが一番良かった） HPOした時の結果を利用する（後付けでA, B, C...のハイパーパラメータを探索してAが一番良かった） こういったアプローチをとったことがありま

AIは教師データの収集とアノテーションが大変 こんにちは、AIやってますか！？（唐突な問いかけ） AIの中でも、ディープラーニングの画像認識といえば、大変なのは教師データを集めることとアノテーションですね。 数千枚の画像に対して、例えばルールを変えてアノテーションのやり直しとか、セマンティックセグメンテーションのアノテーションとか地獄ですよね（想像です）。 なんとかこの教師データの収集とアノテーションを自動化するのが人類の夢なのではないかと思います。ただ、これは卵が先か鶏が先かの話なのでとても難しいです。今回は、Unityを使って、この教師データ生成をなんとか自動化できないかというトライアルになります。 既に先行事例に加えて、Unityさんが丁寧なチュートリアルを出していますので、今回はそれに沿って実践していく形になります。 ブログにも記事を書いていますので、よろしければこちらも合わせて参

自作フレームワークにMesh Shaderを組み込み、従来の頂点シェーダーと比較してどのくらいパフォーマンスが変化するか検証しました。 CADデータをポリゴン化したモデル、3DスキャンやZBrushでスカルプトしたような超ハイポリゴンモデルの場合 Mesh Shaderが圧倒的優位である。 しかし低ポリゴン数のモデルが配置されたシーンではVertex Shaderの方が優位になる。 低ポリゴン数のモデルをAmplification Shaderと併用して描画するとMesh Shaderのみの場合と比べて速度が低下する。 超ハイポリゴンモデルの場合、Amplification Shaderを併用するとより高速になる。 自作フレームワーク せっかくなので今回検証に使用した自作フレームワークをちょっとだけ紹介させてください。 API 開発環境 CPU RAM GPU

はじめに 音声を任意の数に分離するモデルであるDANet(Deep Attractor Network)の実装と解説をします。 DANetは論文"DEEP ATTRACTOR NETWORK FOR SINGLE-MICROPHONE SPEAKER SEPARATION"で提案されているモデルです。 このモデルを環境音データセットのESC-50を使って学習させ、その分離音性能をGNSDR、GSAR、GSIRで測定しました。 実装にはTensorflowとKerasを用いました。 実装の全コードはGithubにあります。 また、それらを実行して学習やGNSDR等の測定ができるGoogle Colabのファイルもあります(GithubのDANet.ipynbをGoogle Colabで開いたもの)。 公式のPytorchを用いた実装もGithubに公開されています。 追記(2021/3/10

要約 大学の研究室でClearMLを導入して実験記録やデータセットの管理を自動化した結果、 研究の本質的な作業に使える時間が増えたよという話です。 単にMLOps導入の話であれば既に多くの知見がありますが、それほど規模が大きくない大学の研究室でMLOpsツールを活用する一つの事例として参考になれば幸いです。 （特に自分の研究室でこういったツールを使ってみたいけど、周りが興味なくて導入に踏み切れない同士がいたら参考にしてください。） はじめに zennでは初めまして、SIY1121です。 ここ数年は主にweb系・音響系の開発をしていますが、 現在は大学院1年で音響処理と深層学習を組み合わせた研究もしています。 さて、最近特にweb系ではCI/CDを始め、可能なものは自動化する文化がすっかり浸透したように思います。そんなweb畑にいたこともあって、研究室に入ってからも「自動化できる部分は自動化

このページを見たあなたは、もう化学情報学（ケモインフォマティクス）という世界に足を踏み入れている。まずはこの世界の入り口を概観してみよう。 題材として、水溶解度を取り扱ってみます Water solublity (logS) database http://modem.ucsd.edu/adme/databases/databases_logS.htm にある「database.dat (the SMILES file includes 1290 molecules)」 を使ってみましょう。 まず、データファイルの URL をチェックします。 http://modem.ucsd.edu/adme/data/databases/logS/data_set.dat であることが分かります。今回の目的は、このファイルの左端の列にある文字列（SMILES）から、水溶解度（logS）を予測する機械学

こんにちは。 もう、Webの開発を何年もやってきたのになと思うのに、まだまだ理解できてなかったことがあるんだなぁと日々痛感させられてるmasamikiです。 GraphDB こないだ GoのORM「ent」の話 を書かせてもらったのですが、GraphQLを使う仕事も結構でてきたなと。 さてさて、同じGraphの名を冠するGraphDBとはなんでしょうか。 Graph自体はentでMySQLに対して表現していたように、DBによらず、そのデータ構造のモデルを作ることは難しくありません。 この記事の言葉をかりると Graph DBとは、index-freeな隣接する頂点を取得できるストレージシステムなら、それをGraphDBと呼べるそうです。 もうちょっと細かい定義としては、（といっても翻訳してるだけですが） すべての要素（つまり、頂点またはエッジ）には、隣接する要素への直接のポインタがある。

FPGAへの固定小数点実装の課題 FPGAに除算、Exp、Log、積分（フィードバック演算）などを固定小数点演算で実装しようとすると、ダイナミックレンジが非常に大きいためオーバーフローの危険性と演算精度のトレードオフに悩むことになり、実装がとても厄介です。 そんなダイナミックレンジが広いアルゴリズムの実装は浮動小数点で実装してしまえば、オーバーフローのことで悩む必要が無くなり、設計時間を短縮することが出来そうです。 FPGAへの浮動小数点実装 Intel(Altera)のデバイスArria10には浮動小数点DSP（Hard Floating Point）が搭載されており、IntelのマクロALTERA FP Functionを使って、浮動小数点演算を少ない回路リソースで実現できます。 もう一方で、MATLAB/SimulinkのオプションHDL Coderを使えば、ターゲットデバイス依存し

概要 最近流行っているクラウドゲーミングを気軽に手元で試すことを目的にした記事です。 ゲーム開発者向けではありますが、ネットワーク関係の人も楽しく読んでもらえると思います。 複数回に分けて、概念の紹介や試せる活用例に触れていきます。 実際に構築する前に、概念や用語について解説します。 MECについて インターネットは通常、目的の宛先に届くまで様々な機器を経由して通信を行います。 あなたの家からAWSのEC2でホスティングしたサイトにアクセスしようとする場合、東京のAWSデータセンターに届くまで、様々な場所を経由します。 仮にあなたの家とサーバーが直に繋がっていたとしても、光の速さを超えてることはできず遅延が発生します。 CDNなどのキャッシュを各地に設置することで遅延削減を図るデザインはよく使われますが、 あくまでキャッシュを保存させているだけで、クラウドゲーミングのようなものには対応でき

この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n

今までは行動空間(アクション)は離散値を扱っていましたが、今回は連続値を扱いたいと思います。 第3回　価値推定編(TD法、モンテカルロ法、GAE) 第5回　TRPO編(IS、KL距離、ヘシアン、共役勾配法) ※ネット上の情報をかき集めて自分なりに実装しているので正確ではない可能性がある点はご注意ください ※ライブラリはTensowflow2.0(+Keras)を使っています。 ※2021/5/15 分散に関して大きな間違いがあったのでそれに関する内容を最後に追記しています コード全体 本記事で作成したコードは以下です。 GoogleColaboratory 2021/5/15 修正後のGoogleColaboratory 環境(MyCartpole) Cartpole-v0を使いますが今回は連続行動空間を扱いため少し手を加えます。 本当はPendulum-v0を使いたかったのですが学習難易

はじめに 強化学習に対する参考書を読み進めて、深層強化学習のコードをgithubで落として一部改変して使ったりしています。しかし、肝心の理論に関するところが追いついていけません。 思うに、参考書を進めるうちになんとなくわかった気になったり、飛ばしたりするうちに不理解が蓄積していっているんだと思います。そのため、強化学習の基礎の基礎から、もう少し整理する必要があると思いました。シリーズものにして少しずつまとめていけたらと思います。 間違いや不明瞭なところなどありましたらどんどんご指摘いただけるとありがたいです。 参考書籍 Richard S. Sutton and Andrew G. Batro 著「強化学習」第1版 三上貞芳・皆川雅章訳、森北出版株式会社 現状 価値関数、方策、価値最適化、方策評価、Q関数など、なんとなくわかっているが、やはりなんとなくしかわかっていない。。 今回やったこと

はじめに 先日参加したKaggleのOpenVaccine: COVID-19 mRNA Vaccine Degradation Predictionコンペティションで自分が参加していたチームではDomain Adversarial Neural Networks (DANN)と呼ばれる手法を用いていました。 結果としては、CV, Public LB, Private LBのいずれにも効いていないことが判明したのですが、Kaggleで度々話題になるAdversarial Validationとも類似した面白い技術なので、改めて紹介するとともに本当に使える手法なのかを検証していきたいと思います。 本記事は二部構成(三部構成、2020/10/25更新)になっており、前編(この記事)ではDANNの紹介と、論文中でも紹介されているMNIST/MNISTMを用いて検証を行います。後編つづく中・後編で

はじめに ライス大学とインテル社の共同開発によって、GPUのような特別なアクセラレーションハードウェアなしでディープラーニングを高速化できるSLIDEが考案されました。そのSLIDEについて解説します。 Deep Learning Breakthrough Results In A 44-Core Intel Xeon Destroying NVIDIA Tesla V100 GPU TL:DR GPUが得意とする行列演算をやるのではなく、LSHによって直接計算せず活性化したニューロンを取得することができます。 Locality Sensitive Hashing Locality Sensitive Hashing（LSH）は、大量なデータから類似度が高いデータのペアを高速に抽出してくれるアルゴリズムです。以下は参考ページです。SLIDEはこのLSHの考え方に基づいて設計されています。

kuromoji.js + SudachiDict で形態素解析（辞書のビルド、IPADic・UniDic との比較）JavaScript形態素解析SudachiDict UniDic の matrix.def のサイズが間違っていたので修正しました: 59GB → 5.9GB kuromoji.js （日本語形態素解析器 Kuromoji の JavaScript実装）と React を組み合わせて、クライアントサイドで完結するブラウザアプリを開発しています。kuromoji.js は IPADic (mecab-ipadic-20070801) をデフォルト辞書として使用していますが、収録語彙が私のアプリケーションの目的には最適ではないと感じていました。また、UniDic は機能面で魅力的ですが、ビルドして使ってみた結果、データサイズが大きすぎてスマートフォンでは動作しないという課題に

Rで統計解析を行う際には、しばしばモデルからのデータの抜き出しや結果の描画が面倒です。それはパッケージ間で出力結果の形式が異なったり、出力された結果自体が複雑な構造を持つオブジェクトに格納されるためです。 それを解決するのがeasystatsパッケージ群であり、Qiitaでこの一年その便利さをたびたびご紹介してきました。 せっかくのAdvent Calendarなので、ここではそれらの記事の振り返りもかねて自分なりにeasystatsパッケージ群の便利さをご紹介したいと思います。 他の方による紹介記事であるeasystatsについて①: パッケージ群の紹介もご覧いただくと、より理解が深まるかと思います。 easystatsとは？ easystatsはRのパッケージ群です。このパッケージ群は、おっかないRの統計とそのやっかいなモデルたちを、手懐け、しつけて、うまく利用するための統合的で一貫し

こんにちは！@MonaCatです。本稿はDeep Learning論文紹介 Advent Calendar 2019の1日目の記事です。画像は全て論文中から引用しています。 概要 本稿ではBERTを自動要約に適応させたBERTSUMについて紹介します。 論文：Fine-tune BERT for Extractive Summarization Full paper：Text Summarization with Pretrained Encoders また自動要約全体に関する資料をまとめているので参考にどうぞ。 自動要約とは 自動要約とは自然言語処理におけるタスクの1つです。多くはテキストを対象とした自動要約を指しますが、ここでは区別するために文章要約と呼びます。文章要約は抽出型と生成型（抽象型）に分かれますが、現在は生成型（と抽出型を組み合わせたもの）が主流となっています。 抽出型：元