「そうだ、数理最適化、やろう。」ってなった時にめっちゃ参考になったリンク集＆参考書｜CO-WRITE
数理最適化案件とAI/機械学習案件とのアナロジー 「やってみなければわからない」中で僕たちDSはどうするか本記事では表題に関して、脳筋系ゆるふわVTuberこと入社2年目DSの岡部がお送りいたします。（DS=データサイエンティスト） 発... ◆【理論・実践】（2021年時点で）オススメの参考書 最大のアップデートはこちらの2冊です。参考書は時代の流れに合わせていいものが出てくるものですね。もちろん過去の参考書にもいいものはたくさんありますが、日進月歩の分野である以上、新しいものに軍配が上がりやすい構図はあると思います。 しっかり学ぶ数理最適化 モデルからアルゴリズムまで Pythonではじめる数理最適化： ケーススタディでモデリングのスキルを身につけよう 以下それぞれの所感です 【理論】「最適化分野全般を知るための『最適解』」とも言われている教科書 僕が最適化にハマっていた当時は様々な本
近似最近傍探索の最前線
MIRU 2019 チュートリアル http://cvim.ipsj.or.jp/MIRU2019/index.php?id=tutorial 松井 勇佑（東京大学生産技術研究所）http://yusukematsui.me/index_jp.html ベクトルの集合を前にして新たにクエリベクトルが与えられたとき、そのクエリに最も似ているベクトルを高速に探す処理を近似最近傍探索という。近似最近傍探索は画像検索をはじめ様々な文脈で用いられる基本的な操作であり、速度・メモリ使用量・精度のトレードオフの中で様々な手法が提案されている。本チュートリアルでは、アプローチや対象とするデータの規模に応じて近年の手法を分類し、その概観を示す。また、各手法に対応するライブラリを紹介し、大規模データに対する探索を行いたい場合にどのように手法を選択すべきかの道筋を示す。
Bardのようなimage2textAIを構築して動画検索システムを作る
Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取
大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
GitHub - invoke-ai/InvokeAI: InvokeAI is a leading creative engine for Stable Diffusion models, empowering professionals, artists, and enthusiasts to generate and create visual media using the latest AI-driven technologies. The solution offers an industry
InvokeAI is a leading creative engine for Stable Diffusion models, empowering professionals, artists, and enthusiasts to generate and create visual media using the latest AI-driven technologies. The solution offers an industry leading WebUI, supports terminal use through a CLI, and serves as the foundation for multiple commercial products.
機械学習エンジニアリングで『みてね』事業に貢献！～新卒MIXIエンジニア成長の軌跡、その後〜
新卒MIXIエンジニアの成長の軌跡をシリーズでお伝えします。どのような成功体験や失敗体験を経験し、どんな風に成長したのか？スキルやマインドの成長に大きく役立ったターニングポイントとは？について迫ります。 今回登場してくれたのは、2018年9月から1年7ヵ月のインターンを経て、2020年4月に新卒入社をした登内（とのうち）。機械学習エンジニアとして活躍する彼が、入社当初から取り組んでいる一大プロジェクトについて話を伺いました。 就活しなかったのは、MIXIの環境が魅力的だったから ──登内さんは、入社前の学生時代はどのような研究をしていたのですか？ 私は大学と大学院、どちらも情報系の学部に所属していました。大学の研究室ではセキュリティをメインに学んでいたのですが、4年目の終わり頃から機械学習が注目されるようになってきたんですよね。自分も機械学習に興味を持ち勉強を始め、大学院では機械学習を専攻
TOP | SIGNATE - Data Science Competition
SIGNATEのコンペティション一覧です。SIGNATEは、Data Science Competitionはもちろん、学習コンテンツや求人情報等、データサイエンティストの皆さんに役立つコンテンツを用意しています。
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
GitHub - diff-usion/Awesome-Diffusion-Models: A collection of resources and papers on Diffusion Models
A Survey on Video Diffusion Models Zhen Xing, Qijun Feng, Haoran Chen, Qi Dai, Han Hu, Hang Xu, Zuxuan Wu and Yu-Gang Jiang arXiv 2023. [Paper] 16 Oct 2023 State of the Art on Diffusion Models for Visual Computing Ryan Po, Wang Yifan, Vladislav Golyanik, Kfir Aberman, Jonathan T. Barron, Amit H. Bermano, Eric Ryan Chan, Tali Dekel, Aleksander Holynski, Angjoo Kanazawa, C. Karen Liu, Lingjie Liu, B
機械学習モデルのServingとONNX Runtime Serverについて - Qiita
機械学習を実際のプロダクションで使う時に大切な概念として serving というものがあります。以下、このservingの概要にさらっと触れ、つい最近しれっとリリースされたMS社製のOSS、ONNX Runtimeでのservingについてまとめたいと思います。 Servingとは？ 機械学習の実応用において、推論（inference）をコスパ良く行うことは、モデルの精度を高めることと同様に重要です。というのも、オフラインで実行するのならともかく、現在稼働しているWebサービスなどのシステム上でオンラインで実行する時は、モデルからのレスポンスの速さやその運用コストがサービスのボトルネックになることが多いからです。 学習済みのモデルをサービスとしてデプロイしてオンラインの推論APIを提供することを広くservingと呼びます。servingと対になるのはオフライン実行ですね。例えばデータの塊
ONNXを使って推論速度を高速にしてみる - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2019の15日目の記事です。 devblog.thebase.in DataStrategyの齋藤(@pigooosuke)が担当します。 ONNXの概要 Open Neural Network Exchange(ONNX)とは、機械学習モデルを表現するフォーマット形式のことです。ONNXを活用すると、PyTorch, Tensorflow, Scikit-learnなどの各種フレームワークで学習したモデルを別のフレームワークで読み込めるようになり、学習済みモデルの管理/運用が楽になります。今回の記事では、よく利用されているLightGBMモデルからONNXへの出力方法の確認と、ONNXの推論を行う実行エンジンであるONNX Runtime上での推論速度の改善がどれほどなのかを検証していきたいと思います。 https://onnx.ai
長文要約生成API：朝日新聞社メディア研究開発センター 人工知能研究の取り組み
概要 本APIは、入力された記事本文（最大2,000文字まで入力可能＝製品版）を機械学習を用いて要約するものです。過去30年分の記事データを、ディープラーニングの機構を用いて学習させています。長文を要約するときにお役立てください。 本APIの機能は、 指定した長さごとに生成型要約 すべての文の長さを揃える すべての文を圧縮する 重要な文を抽出する 重要な文を抽出後圧縮して、指定した長さにする の5つです。より詳細はこちらに解説記事を載せています。 九州電力玄海原発３、４号機（佐賀県玄海町）の運転差し止めを住民らが求めた仮処分申し立ての即時抗告審で、福岡高裁（山之内紀行裁判長）は１０日、住民側の抗告を棄却した。主な争点は、耐震設計の基になる基準地震動（想定される最大の揺れ）の合理性、原発周辺の火山の噴火リスク、配管の安全性の３点。 住民側は「基準地震動が過小評価されている」と主張。原子力規制
Illustration2VecをONNX経由で使う - kivantium活動日記
趣味プロジェクトでIllustration2Vecを使いたくなったのですが、これは2015年の論文なのでモデルをCaffeかChainerで使うことになっています。 github.com 残念ながらCaffeもChainerも既に開発が終了しているため、Illustration2VecのモデルをONNXという共通フォーマットに変換して今後も使えるようにしました。 利用方法だけ知りたい人は「モデルの変換」を飛ばして「使い方」を見てください。 モデルの変換 まずはオリジナルのIllustration2Vecのモデルをダウンロードします。以下を実行するとCaffeのモデルがダウンロードできます。 git clone https://github.com/rezoo/illustration2vec.git cd illustration2vec ./get_models.sh このスクリプトでは
IT初心者がAmazon Forecast を使ってシャンプーの売上傾向を予測【誰でも出来る】 - Qiita
はじめに 2020年！AIぽいことしたいなーということでAWSのMachineLearningらしいサービスを使ってみました。 初心者さん、機械学習に詳しくない方でも使えるので、その使い方を分かりやすくご紹介していきます！ Amazon Forecastとは？ 過去の何らかの時間単位で整列されたデータ(時系列データ)から価格、PR、経済的業績指標などを利用し、予測をすることができるサービスです。 完全マネージド型 オートML機能によって予測できる モデルを構築するための機械学習の専門知識いらず サーバーをたてたり、機械学習モデルの構築、トレーニング、デプロイも不要 実際に使用した分に対してのみ料金が発生 自動的にデータのロードと検査、適切なアルゴリズムの選択、モデルのトレーニング、正確なメトリクスの提供、予測の生成 予測をコンソールで可視化できる バッチでエクスポートしたり、API を使用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
僕たちがグラフニューラルネットワークを学ぶ理由
GitHub - elix-tech/kmol: kMoL is a machine learning library for drug discovery and life sciences, with federated learning capabilities.
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
bleeding edge
Streamlit • A faster way to build and share data apps
ディープラーニング チュートリアル（もしくは研究動向報告）