機械学習におけるEDAって結局何するの？ - ABEJA Tech Blog
ABEJAでデータサイエンティストをしている服部です。 「EDAって結局何したらいいの？」っていう声をよく聞く気がするので、無謀にも今回はEDAについて記事を書いてみました。 本記事はABEJAアドベントカレンダー2023 25日目の記事です。 EDAとは EDAは「Exploratory Data Analysis」の略で「探索的データ分析」と日本語では言います。 データの特性だったりデータから何が言えるかを把握するための分析であり、JohnTukey氏により1960~70年頃に統計学の分野で提唱されたようです。 今では機械学習の分野でも、「まずEDAをしてからモデルを作ろう」と言われる場面をよく見かけ、EDAをすることは当たり前になってきています。 en.wikipedia.org 本記事のモチベーション EDAに関する情報もたくさん調べると出てきますが、EDAのためのPythonライ
機械学習の落とし穴 リーク問題について - ABEJA Tech Blog
はじめに リークって何? リークの例 テーマ概要 使用できるデータ,手法 例 例1.運用時に使えない情報を使ってしまう 例2.更新された情報を使ってしまう その他例 リークを回避するためには? ドメイン知識をもとにした確認 データを正しく理解する 重要特徴量からの判断 特徴量作成後の可視化 自分がやったことを信用しすぎない まとめ We Are Hiring! はじめに こちらは、ABEJAアドベントカレンダー2023の13日目の記事です。 こんにちは！ABEJAでデータサイエンティストをしております松村です。2021年の入社時から地元広島からフルリモートで働いており、早いものでもうすぐ3年が経過します。 今回は、データサイエンティスト誰もが一度は直面するリーク問題について考えてみました！ リークって何? 「機械学習におけるリークとは何か?」について一言で言うと、本来使うことのできない情報
最新の自動運転研究 in NeurIPS2023
TuringでResearcherをしているいのいちです。 先日、会社にサポートしていただいてニューオーリンズで開催されたNeurIPS 2023に参加させていただくことができたので、今年のNeurIPSで発表された自動運転系の論文をいくつかピックアップして紹介しようと思います。 NeurIPSとは NeurIPSは1987年から開かれている機械学習系でトップの国際会議です。この会議が発足した当初はBiologicalとArtificialの両方の側面からニューラルネットワークを研究しようという趣旨があり、長らく神経科学からも理解しようという趣旨があったようです。現在はこの国際会議で発表される多くの研究が機械学習や人工知能といったコンピューターサイエンス系のものが主体にはなっていまが、参加してみて他の機械学習やコンピュータビジョン系の学会よりも生物学と関連した研究も多く、生物学出身の私とし
機械学習に最適とされる「NVIDIA H100」の代替になり得る「NVIDIA L40S」の性能とは？
1台当たり数百万円以上で販売されているNVIDIA H100は機械学習に最適ということで人気があり、Facebookのマーク・ザッカーバーグ氏の慈善団体はNVIDIA H100を1000個以上積んだ高性能医学研究用コンピューティングシステムの構築をスタートしています。ブロガーのパトリック・ケネディ氏は、「NVIDIA L40S」という製品が「NVIDIA H100」の代替となり得るとして、その性能について解説しています。 NVIDIA L40S is the NVIDIA H100 AI Alternative with a Big Benefit https://www.servethehome.com/nvidia-l40s-is-the-nvidia-h100-ai-alternative-with-a-big-benefit-supermicro/ NVIDIA H100はハイエン
トラウマ記憶形成における脳神経細胞ネットワークレベルの変化を解明
大阪大学は、光学と機械学習の融合的新手法を用いて、マウスのトラウマ記憶に関わる脳神経細胞ネットワークの検出に成功し、記憶形成に伴う複雑な変化を捉えてトラウマ記憶が生じる仕組みを明らかにした。 大阪大学は2023年10月6日、光学と機械学習の融合的新手法を用いて、マウスのトラウマ記憶に関わる脳神経細胞ネットワークの検出に成功したと発表した。これにより記憶形成に伴う複雑な変化を捉え、トラウマ記憶が生じる仕組みを明らかにした。東京大学らとの国際共同研究による成果だ。 音を聞いているマウスに微弱な電気刺激を与えると、恐怖反応を示す。この学習をした翌日には、音を聞かせるだけで恐怖反応し、トラウマ記憶が形成されたことが分かる。今回の研究では、この恐怖連合記憶の実験系を利用した。 具体的には、光により生きた動物の脳を長期的に計測できるin vivo2光子イメージングに、低侵襲なプリズム埋込法とイメージン
Dataiku Japan、日本市場向けの事業戦略を説明--日常業務でのAI/ML活用を促進
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 人工知能／機械学習（AI/ML）向けの統合プラットフォームを提供するDataiku Japanは9月5日、報道機関向けの事業説明会を開催した。4月に日本のカントリーマネージャーに就任した佐藤豊氏が製品特徴や事業戦略などを明らかにした。 Dataikuは、2013年にフランス・パリで創業した企業。2015年に米国・ニューヨークで本社を設立。2021年に日本市場へ進出し、2022年にDataiku Japanを設立した。同年実施したシリーズFでの評価額は37億ドルに達する。 「Everyday AI, Extraordinary People - 日々のAIで、皆が一歩先へ -」をブランドのメッセージに掲げ、データやAI/MLの活用が日々の
Sentence-Transformersを使ってみた！YouTube動画のセリフを手軽にセマンティック検索 | フューチャー技術ブログ
Sentence-Transformersを使ってみた！YouTube動画のセリフを手軽にセマンティック検索 はじめにこんにちは。フューチャーTIG DXユニット所属の王です。 本記事は、夏の自由研究ブログ連載2023の4本目です。 今回はテキストの埋め込みエンコーダーを使ってセマンティック検索をおもちゃレベルで簡単に実装する方法を紹介します。分かりやすいように、YouTubeの動画のセリフをコーパスとして使用します。将来的に時間軸のメタ情報も利用したら、検索結果には動画の何分何秒に特定、遷移リンクの生成などもいろいろ面白いことができると思います。 目次 セマンティック検索を注目するきっかけ セマンティック検索とは 原理 埋め込みベクトル(Embedding Vector) 埋め込みベクトルを使ったセマンティック検索 実装 使ったライブラリ Semantic Searchの実装 まとめ セ
Amazon Kendra で独自文書に対するセマンティック検索（自然言語での検索）を実現する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） ここ一か月、健康的な食事を心がけ、 1kg 減量しました。 リモートワークだから仕方ないと思っていたのが、間違いでした。 さて、今回は Amazon Kendra での検索について検証していきます。 1. Amazon Kendra とは 2. 環境構築 3. 検証 3.1. 複数の文書の検索 3.2. 高度なクエリ構文による検索 3.3. 文書の更新があった場合の確認 データソースのSync スケジュールについて 4. まとめ 1. Amazon Kendra とは Amazon Kendra （以下、 Kendra ）は Amazon が提供する、機械学習を利用し
数式や文章がぐにゃぐにゃに曲がった論文PDFでもくっきり認識する画期的なOCR『Nougat』 | AIDB
科学的知識は主に書籍や科学誌に保存されていますが、PDF形式が一般的です。しかし、この形式は特に数学的表現においてセマンティック情報の損失を引き起こします。この問題に対処するために、Meta AIの研究チームは『Nougat（Neural Optical Understanding for Academic Documents）』という新しいOCR（光学式文字認識）技術を開発しました。 Nougatは、数式や文章が複雑に配置された画像であっても、それをマークアップ言語に高品質で変換する能力を持っています。この技術は、新しい論文だけでなく、電子データが存在しない古い書類などの解析にも非常に有用です。 参照論文情報 タイトル：Nougat: Neural Optical Understanding for Academic Documents 著者：Lukas Blecher, Guillem
コンペで使える！？LightGBMで実装する３つの弱教師あり学習 - ABEJA Tech Blog
ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学習がしたい！ PU分類 問題設定 解き方 LightGBMの実装 実験 Partial Label Learning 問題設定 解き方 LightGBMの実装 実験 マルチインスタンス学習 問題設定 解き方 LightGBMの実装 実験 おわりに はじめに 機械学習を行うためには、一般的に、大量の入力データと、それら一つ一つに対応した正確なラベルが必要です。 例えば、犬と猫の画像分類を行う場合には、それぞれの画像一つ一つに犬か猫のラベルがついていてほしいですね。 一方で場合に
機械学習と深層学習違いとは？AIと密接に関連する仕組みを解説 | Koto Online
ニュースなどを見ていると、「AIによって〇〇を解析」「AI搭載の〇〇」など毎日のようにAIという言葉が目や耳に入ってきており、特にChatGPTの登場によりその頻度は急速に上がってきています。今や私たちの生活に欠かせない存在となったAI（Artificial Intelligence/人工知能）ですが、「AIがどういった技術なのか深く理解できていない」「AIの進化が自分たちの生活や仕事にどう影響するのか分からない」という方もいらっしゃるのではないでしょうか。 本コラムでは、AIとはそもそも何なのか、そして機械学習や深層学習がどういった仕組みなのか、を改めて解説いたします。 AIの定義とは？ 「AIとは何か？AIの定義は？」という議論はこれまで活発に行われてきました。ここでは、最もイメージしやすいであろう定義をご紹介します。 “AIとは人工的に作られた人間のような知能、ないしはそれを作る技術
機械学習の評価指標覚え書き
評価指標の重要性 データ分析失敗事例集という書籍を読んで「評価指標って大事だな（小学生並みの感想）」と思ったので、個人的な覚え書きとしてメモ。 データ分析失敗事例集に加えて、ほぼ積読状態だった評価指標入門から、ポイントをまとめます。 評価指標とは何か？どうやって決めるか？ 一番大事な話として、そもそも（この記事では特に機械学習分野での）「評価指標とは何か？」「どうやって決めるか？」という大問題がありますが、私が語るのは恐れ多いので、本記事では省略します。 一番難しくて、重要だからこそ、簡単に説明できないのでこの記事を読んであらためて気になったら、最初に紹介したような本を読んでみると良いかもしれません。 評価指標の分類 機械学習は「教師あり学習」「教師なし学習」「強化学習」と大きく3つに分けられるという話を聞いたことがある人は多いかもしれません。そのうち代表的な「教師あり学習」をさらに大きく
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
TFRecordとWebDatasetを使った分散並列学習とパフォーマンス調査
はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shiboutyoshoku) です。 Turingが目指す自動運転は、大量のデータで学習された非常に賢い機械学習モデルを活用することです。そのために、走行パートナーの方たちと協力して創業時からこれまで大量の走行データを取得してきました。走行データは車両に取り付けられた複数カメラによる360度をカバーした動画と、そのときの速度やGPSなどの走行ログを含んでいます。データサイズは80TBを超え、時間換算で3500時間程度です。 これだけのデータサイズでモデルを学習するためには、1枚のGPUだけで頑張るには限界があり複数のGPU (multi-GPU) による分散並列学習が必要となってきます。しかし、ただ分散並列学習を行うだけではmulti-GPUに対し、データの入出力 (I
実験を高速化する機械学習パイプライン開発の挑戦 - ABEJA Tech Blog
はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも
生成AI向け基盤モデルのメモリ使用量を98％削減
中部大学の研究チームは、生成AIに必要となる「基盤モデル」のメモリ使用量を、従来に比べ98％も削減可能なアルゴリズムを開発した。開発したアルゴリズムを物体認識に適用したところ、従来と同等の性能が得られることを確認した。 再学習によって大きく変化しなかったパラメーターを枝刈り 中部大学の研究チームは2023年7月、生成AIに必要となる「基盤モデル」のメモリ使用量を、従来に比べ98％も削減可能なアルゴリズムを開発したと発表した。開発したアルゴリズムを物体認識に適用したところ、従来と同等の性能が得られることを確認した。今後は半導体メーカーと手を組み、早期実用化を目指す。 生成AI技術は、文書や画像の生成において、その活用が注目されている。こうした中で、自動運転車や工作用ロボットなどに向けた用途では、エッジ端末側でリアルタイム処理を行う必要がある。そこで取り組んだのが、大規模な基盤モデルのメモリ使
DATAFLUCTとオルビス、EC梱包サイズ最適化モデルを開発 2023年度中に本番導入目指す
DATAFLUCTはオルビスと共同で、EC発送時の梱包サイズを最小化する機械学習モデルを開発。実証実験において、注文の約15%でサイズダウンを実現したと2023年7月26日に発表した。2023年度中にオルビスのEC発送を行う全拠点での本番導入を目指し、開発を進めるとしている。 ライフスタイルの変化などからEC市場が拡大する一方で、エネルギー価格や原材料価格の上昇や労働力減少により、物流コストは今後も高騰が見込まれる。オルビスは、通販向け出荷ラインにAGV（無人搬送ロボット）、直営店舗・BtoB向け出荷ラインには重量計を搭載した最新のAMR（自律走行搬送ロボット）を導入。物流システムの自動化や省人化を促進するための取り組みを行っている。 同社はさらなる効率化を目指す中で、梱包のサイズダウンに着目した。これまで同社では、現場の熟練担当者の判断や、商品サイズから梱包サイズを決定するシステムによっ
現場経験と機械学習を組み合わせた航空機の「予知整備」に挑むANA
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 全日本空輸（ANA）は、過酷な環境で運用する航空機の整備において、定時性の向上やコスト抑制を目的として、整備現場の豊富な知識や経験と機械学習技術を組み合わせた「予知整備」に挑戦している。同社に取り組みを聞いた。 ANA 整備センター 部品事業室 装備品整備部でアビオニクス（航空機の電子システム）を担当する重冨貞成氏は、航空会社の整備部門にとって最大の使命は、航空機の利用客に安心と安全、快適性を提供することだと話す。整備部門は、航空機メーカーや部品メーカーから提供される整備マニュアルに基づいて、日々の航空機の整備を行っている。 現代の航空機は、飛行中に万一故障が発生しても安全に着陸する設計が徹底されている。ただ、海外の空港など整備拠点から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AI対応のためにML/DL処理能力向上を目指すGoogle Cloudが発表した“TPU v5e”とは何か？
https://cloud.watch.impress.co.jp/docs/news/1527388.html
