ABEJAでリサーチャーをしている白川です。 皆さん、アノテーションしていますか？ 私はしています。アノテーション、自分でやるのは大変ですよね。 AIというとモデルの学習に注目されがちですが、もしかしたら、アノテーションはAI開発においてモデル開発以上に重要で注意の必要なプロセスかもしれません。今回はなぜアノテーションがそれほど重要なのか、良いアノテーションとはどのようなアノテーションなのかについて、機械学習的にアプローチしてみたいと思います。 アノテーションを機械学習で解析するの、楽しいですよ。 なお、本記事に関連して、2018年7月1日に開催されるccse2018というカンファレンスでもお話させていただく予定です。記事内では触れられなかった内容についてもお話させていただくかもしれないので、ご興味ある方はチェックしてみてください。 この記事を読むとわかること アノテーションはAIの開発・

X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design ericlbuehler/mistral.rs • 11 Feb 2024 Starting with a set of pre-trained LoRA adapters, our gating strategy uses the hidden states to dynamically mix adapted layers, allowing the resulting X-LoRA model to draw upon different capabilities and create

理屈編 問題設定 損失関数 損失を小さくする勾配法 損失の減少はいつ終わるのか 学習がうまくいく更新の大きさ 学習がうまくいかない更新の大きさ 実践編 実行環境 必要なライブラリの準備 問題設定 モデルの設計と損失関数 tf.keras.Modelクラスでモデルの雛形を作る 損失関数 勾配の計算 パラメータの更新 実験 初期状態のモデル 学習後のモデル 本当に学習は上手く行ったのか コード全体 多項式フィッティングへの発展 理屈編 問題設定 ここでは最も単純な線形回帰である単回帰について説明します。 これは、入力変数がスカラーで $x$ １つ、出力変数もスカラーで $y$ １つのときに、 $x$ と $y$ の関係を一次式で表そうというものです。 データセット $D={(x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N)}$がある時に（ $x_i, y_i$

はじめに 実行環境 理屈編 問題設定 損失関数 損失を小さくする勾配法 実践編 必要なライブラリの準備 問題設定 モデルの設計と損失関数 tf.keras.Modelクラスでモデルの雛形を作る 損失関数 勾配の計算 パラメータの更新 実験 初期状態のモデル 学習後のモデル 本当に学習は上手く行ったのか 補足 コード全体 関連記事 前回記事 続きの記事 はじめに 前回の記事では単回帰で直線をフィッティングする問題を、TensorFlow Eager Executionで実行しました。 割と低レベルなTensorFlowの機能を使ったため、数式とほとんど直結した形で機械学習の動作を確認できたのではないかと思います。 www.hellocybernetics.tech 実は先のような単回帰をしっかりマスターすると、基本的にどんなモデルを仮定するのかというのがちょっと変わるだけで、いろいろな手法を

iPhoneからブログを更新する人に激烈オススメのアプリを発見したのでレビューを書いていきますね。ただ…高機能でオススメな無料アプリなんですが全ての機能を使うためにはアプリ内課金が必要なのでセレブなブロガー向けです（笑） Annotable – 画像注釈アプリ レビュー ブログを更新するときに使う画像やスクリーンショットってそのまま使うより、矢印や文字入れ加工をすると分かりやすくなりますよね。しかし…iPhoneから画像加工しようと思うと使い勝手のいいアプリがあまり無いんですよ。 今回紹介する「Annotable」は基本的な機能は無料で使えて、さらに一歩踏み込んだオシャレな画像を作りたい時はアプリ内課金で対応してくれる。そんな画像注釈アプリです。 アプリを起動してカメラロールから写真を読み込んだら右下にある四角いアイコンをタップします。すると… このようの様々なメニューが表示されます。まず

産業革命の国イギリスで、Maker向けの企業がとても元気だ。Raspberry PiがなければMakerムーブメントは成り立たないし、micro:bitはここ数年の大きなニュースのひとつといえる。Raspberry Pi財団のエベン・アプトン（写真中央）にインタビューしたところ、彼はイギリスのMakerムーブメントについてアツく語ってくれた。 ガレージのアメリカ、知識階級のイギリス 忙しいエベンとの短いインタビューが予想外に盛り上がったのは、僕がRaspberry Pi財団を訪れる前に、コンピューター歴史博物館（The Center of Computing History：ケンブリッジ）やロンドンサイエンスセンターのコンピューター展示を見てきた話をしたからだ。 インタビューの前に、コンピューターの歴史におけるイギリスの役割について説明しておきたい。日本でコンピューターといえばAppleほ

Raspberry Pi(ラズベリーパイ)の国内総代理店であるアールエスコンポーネンツ(RS)は27日、特定無線設備の技術基準に適合した「Raspberry Pi 3 Model B+」の販売を開始したことを発表した。 ラズベリーパイ最新モデル「Raspberry Pi 3 Model B+」 Raspberry Pi 3 Model B+は、ラズベリーパイシリーズの普及モデルである「Raspberry Pi 3 Model B」の後継モデル。基本性能の向上に加え、SDカードが不要なネットワークブートやイーサネットケーブルで電源供給できるPoE(Power over Ethernet)に対応するなどの進化を遂げている。 これにより、SDカードに起因するトラブルを回避でき、コンセントのない環境への設置やOSの一元管理が可能となり、業務用IoTモジュールや教育機関におけるシンクライアント運用の

家庭科のお掃除の単元でプログラミング的思考を伸ばそうとしてみた 家庭科って、調理実習の記憶が大きいと思いますが、掃除、洗濯、裁縫、買い物、住居の維持、時間管理といったスキルを学ぶ、かなり広範囲をカバーする教科でもあります。その中の掃除の単元で、プログラミング的思考を育てようとしてみたのですが、ありていに言えば普通に失敗しましたので、これ以上失敗者を増やさないためにも書き残します。 掃除をプログラミングしてみよう ジェイソンをプログラミング的なものを想像して、掃除をプログラミングで表現してみようとしました。 www.nhk.or.jp あれ、まって。いつの間にか放送リストに教科対応がなされてる。すごい。 まずは動作をリストアップ 付箋を使って動作だけをリストアップしてみました。 とある子のものがこちら。 ここまではスムーズだった。 ここから先が大変だった 子どもたちも初めてなのでまぁ仕方ない