概要 絶賛フロントエンド勉強中の井上です。今回は自然言語処理界隈で有名なBERTを用いた文書分類（カテゴリー分類）について学習（ファインチューニング）から予測までを紹介したいと思います。本記事では実装ベースでお話しするので、「そもそもBERTって何？」という方は検索するか、参考URLを載せておくのでそこから飛んでいただけると助かります。 目次 事前準備 学習 評価 予測 参考文献 事前準備 Google Colaboratory 学習は膨大な計算量が必要なので、Google Colaboratoryを使用します https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja 無料でTPU（Tensor Processing Unit）が使えるのでお得！ googleさんありがとうございます TPUはIntelのHaswellと

みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。

アクティブに更新され続けている、お勧めの機械学習データセット一覧サイト：AI・機械学習のデータセット辞典 「300個以上のデータセットを紹介している大型サイト」「毎週／毎月のようにアクティブに更新されているサイト」という条件に該当するお勧めのデータセット一覧サイトとして「arXivTimes/DataSets」「Awesome Public Datasets」「UCI Machine Learning Repository」の3つを紹介する。

ここ数年「もう終わりだろう」と言われ続けたAIブームは、コロナウイルスによってタピオカ屋を巻き込んでトドメを刺された。自宅作業を「WFH」と呼び、同僚や取引先とはZoomでコミュニケーションを取っている。息抜きにNetflixやYoutubeを見て、「AIは『テレワーク』と『DX』に話題も予算も奪われたな」と思ったりする。だがこれは、IT業界で働く人間の姿だ。 一方で自宅で仕事ができない方々も多く、否応なく出勤する光景は日常となった。仕事から帰って息抜きにテレビをつければ「スーパー派遣社員とAIでリストラ」なドラマや、倍返しの人がITリテラシーとコンプライアンスを無視した銀行で歌舞伎役者による顔芸勝負を見て、「月曜日なんてなければいいのに」と思っている。 つまりIT業界のイキリツイッタラーである我々と、現場で働きながら社会を動かす皆様では、住む世界も見ている光景も異なる。むしろ「当然のよう

Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。 Read less

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m

この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built

はじめに 最近、異常検知に関する案件に関わって、結構苦労しました。 その理由の一つとして、異常検知の手法については一部本がでているもののそこまで多くはなく、また、異常検知プロジェクトの進め方という意味では情報があまり見つけられなかったというのがあります。 そこで、プロジェクト実施前に、こんな情報があればよかったなという内容についてまとめました。 自分が関わった案件は、設備のセンサーデータを用いた異常検知だったため、その内容に偏っていますが、全体の流れや考え方としてはあまりドメインや異常検知によらないものと思います。 なお、個別の異常検知のアルゴリズムについては話しません。 また、読者の対象しては、異常検知に興味がある人、機械学習プロジェクトに興味がある人を想定しています。 異常検知を取り巻くコミュニケーション 前提として、「異常検知」という言葉でイメージするものは人によって違います。関係者

私自身もこういったアンチパターンに遭遇し失敗した経験がある。 冒頭にあげた鬼十則はその反省から生まれたものであるが、ここからそれぞれの項目を解説していきたい。 1. データは自ら集めるべきで、与えられるべきではない 主人公の「データがないから開発できない」の発言は間違ってはいない。しかしデータがないと嘆くのではなく、そのデータを取りに行く努力が必要である。昨年データサイエンティスト界隈で話題となった『アルキメデスの大戦』では上のいざこざでデータ（設計図）が手に入らない時、自らデータを集めて突破口を開くエピソードが綴られている5。この姿はまさに理想のデータサイエンティスト像といえるだろう。データ収集の壁は数多く挙げられるが6、その壁を乗り越える努力を怠ってはいけない。自らが安心して開発を進めるためにも、データ取りには十分に入り込んでいくべきである。 2. 目標とは、先手先手と働き掛けていくこ

最終更新日： 2023年4月12日 みなさん、こんにちは。この記事では、AI（機械学習）の理解には欠かせない”特徴量”とその選択手法について説明していきます。 AIの学習をスタートさせて、最初に躓くのがこの特徴量という概念である人も多いのではないでしょうか。そんな方のためにも、今回は具体例を交えながら解説していきたいと思います。 特徴量とは？ それでは本題の特徴量という概念の説明に入りましょう。 特徴量とは特徴が数値化されたもののこと 特徴量とは、対象の特徴が数値化されたもののことを指します。 人間を例にとって考えてみましょう。数値化しやすい特徴の例として、私たちに馴染みが深いのは、身長や体重、年齢、性別などでしょうか。 少し視野を広げれば、貯金額や食事摂取量、身体活動量などもこの例となるでしょう。 肝心なのは、特徴量とは、特徴そのものではなく、その数値化された値です。データを特徴量に変換

2024年5月10日 金曜日 デジタルPRとプレスリリース配信 お問い合わせinfo@digitalpr.jp受付 10：00〜18：00（土日祝日を除く） 一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下 データサイエンティスト協会）は、独立行政法人情報処理推進機構（所在地：東京都文京区、理事長：富田 達夫、以下IPA）と共同で、『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』を刊行することをお知らせします。 本書は、今必要とされるデータ利活用のためのスキルを体系化した「スキルチェックリスト」と業務プロセスを体系化した「タスクリスト」を読み解くための初の公式ガイドブックです。 『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』表紙（出典：IPA） 『データサイエンティストのためのスキルチェックリスト/タス

TL;DR 機械学習のアルゴリズムには詳しくなりたいけど実装はしない、という立場の人向けの学習資料まとめ 知人向けで、具体的には同僚医師がターゲット読者（めちゃ狭い！）だが、一定度他の人にも役に立つかも 改めて色々眺めてみてやっぱり大学の講義は質の高いものが多いと思った 知人が機械学習のアルゴリズムを学びたいと言っているので、オススメの資料などを見繕ってみるブログエントリ。 機械学習への関わり方を雑にアルゴリズムと実装で分けた場合に、アルゴリズムには詳しくなりたいけど実装をするわけではない、という立場の人向けである。 このようなタイプの人はそんなにいないと思うけど、具体的にはドメインエキスパートとして機械学習エンジニアと一緒にアルゴリズム・データ改善に取り組んでいて、アルゴリズムでどんなことをやっているかをちゃんと理解したい、みたいなのが一例となる。 なんとなくのイメージ的な理解だけだと、

スマホのアプリを開発する上で端末を識別するのに何が使用できるのか調べたのでまとめておきます。 各識別子 Android/iOS共通 ・MACアドレス ネットワーク機器に一意に割り当てられるアドレス。 通常変更はできないが、脱獄などしている場合はできる模様。 ネットワークアダプタが搭載されてない場合や無効になっている場合は取得できない。 ・IMEI(International Mobile Equioment Identity、国際移動体装置識別番号) 携帯電話など通信端末に付与される番号。15桁の数字。 通常変更はできるものではないが、もし変更すると違法となる。 端末を一意に識別できる。 ・MEID(Mobile Equipment Identifier) IMEIと同じで携帯電話に付与される番号。15桁の数字。 フォーマットもIMEIと同じだがコチラは16進数になっている。 ・ICCID

こんにちは。LIFULLでデータアナリストをしている宮野です。 普段はサービス周りのデータ分析を行っているのですが、TVCMの効果検証を行う機会があり、その際CausalImpactという時系列因果推論フレームワークを使用したのでご紹介いたします。 【目次】 はじめに Pythonを用いたCausalImpact データの準備 効果検証 共変量の確認と選定 / 周期性(シーズナリティ)の付与 ①共変量 ②周期性(シーズナリティ) RのCausalImpactとの結果比較 RでのCausalImpact実装 PythonとRの検証結果比較 おわりに はじめに CausalImpactとは？ →Googleがリリースした時系列因果推論の"R"パッケージです。 そう。Rのパッケージです。当然Rを使って効果検証を行うのが通常だと思います。 なのですが、私自身Pythonを使用することが多く、どうせ

1. はじめに テーマ「"やってはいけない” アンチパターンを共有しよう！」…色々とネタが思い当たります！ 最近再び出会った、とある問題についてご紹介しようと思います。 2. それは画像の異常検知を解いていたときのこと… 画像の異常検知とは、正常な画像に対して異常な画像を検出して、例えば不良品の選別などに使う技術です。 図: MVTec ADウェブサイトより、緑 の正常サンプルに対する 赤 の異常サンプル例。 普通あまり「異常の画像」が発生しないので、「距離学習」という手法を使って「正常品じゃない度合い」を数値化して、この数値が大きいと「異常だ!」とみなす方法などがあります。 その一つ、記事「幾何変換を使った効果的な深層異常検知 (CNN画像分類モデル/教師なし/MVTec異常検知データセット)」で紹介した「DADGT」という略称の手法を試していたときのことです。 3. 学習〜やったね、A

はじめに 評価関数（評価指標）についてあやふやな理解だったので、代表的な評価関数をまとめてみました。 評価関数とはそもそもどんなものなのか、それぞれの評価関数はどんな意味を持つのか、実際に使う時のサンプルコードを簡単にまとめています。 評価関数の追加や内容の修正は下記でしています。 評価関数とは 評価関数とは学習させたモデルの良さを測る指標を指します。 目的関数との違い 機械学習を勉強していると、目的関数や損失関数、コスト関数などいろいろな名前を目にします。 まずは、目的関数との違いについて確認します。 目的関数 モデルの学習で最適化される関数 微分できる必要がある つまり、学習中に最適化されるのが目的関数、学習後に良さを確認するための指標が評価関数ということになります。 損失関数、コスト関数、誤差関数は目的関数の一部になるそうです。 （いくつか議論がありそうなのですが、ほとんど同じものと

こんにちは、樫田です。 ご存じの方もそうでない方もいると思いますが、この数年メルカリという会社でデータ分析という業務を通して意思決定に関わる仕事をしてきました。（知らない方は ⇨ 僕について） ビジネスはいわば意思決定の塊で出来ています。事業と組織、そのすべてのことが何らかの意思決定を通して動いていると言っても過言ではないでしょう。 僕自身、仕事で分析を行う中でも「意思決定」という領域に対するフォーカスは強かった方だと自負しています。今振り返ってみると、メルカリ在籍時に受けたインタビューもそのスタンスがタイトルとして切り取られていることが多かったようです。 さて、意思決定について話す時に「良い意思決定とはなんだろう？」と問うと、一般的には「良い意思決定とは正しい決定である」というような答えが返ってくることが多いような気がしています。また、昨今のスタートアップに聞けば、意思決定は早いほど優れ