ビッグデータの時代は終わった
Google社のデータウェアハウス事業BigQueryのエンジニアで、唯一のエヴァンジェリスト役を任されていたJordan Tigani氏が、ひとつの計算機では格納し処理しきれないビッグデータの時代は終わった（Big Data is Dead）、データをひたすら蓄える方法ではなく、データを意思決定に活用する方法を考えましょうとブログのエントリー*1で主張している。 一部界隈で機械学習を用いたデータサイエンスへの批判のように捉えられていた気がするのだが、どちらかと言うとMapReduceやHadoopといった2000年代後半に流行ったデータウェアハウスのソリューションに関する話であった。むしろビッグデータをやめて、機械学習を自由に使えるようにしようと言うような話。もう少し詳しく内容を紹介（意訳でも妙訳でもない）すると、以下となる。 多くの企業はビッグデータを扱っていない。何十年か前は時間とと
What Is ChatGPT Doing … and Why Does It Work?
What Is ChatGPT Doing … and Why Does It Work? February 14, 2023 It’s Just Adding One Word at a Time That ChatGPT can automatically generate something that reads even superficially like human-written text is remarkable, and unexpected. But how does it do it? And why does it work? My purpose here is to give a rough outline of what’s going on inside ChatGPT—and then to explore why it is that it can d
人工知能（ChatGPT）と対話してレポートを書いてみた
Reading Monkey ChatGPTについてブログ記事を書こうと思います。アドバイスしてください。 ChatGPT ChatGPTは、自然言語処理タスクのためのトランスフォーマー・ベースのモデルで、大量のテキストデータを学習しています。 ブログ記事を書く際には、ChatGPTの特徴や使用方法について説明し、実際に使用した例や、改良の余地などについても触れることが有益でしょう。また、ChatGPTが扱えるタスクや利用可能な言語についても説明することで、記事の内容を充実させることができます。 Reading Monkey ChatGPTの特徴を５歳の子供にも分かるように説明してください ChatGPT ChatGPTは、大量の文章を読んで、人間のように文章を書くことができるコンピュータープログラムです。 例えば、あなたが「私は犬が好きだ」と言ったら、ChatGPTは「なぜ犬が好きなの？
Machine Learning - A First Course for Engineers and Scientists
Machine Learning - A First Course for Engineers and Scientists A new textbook on machine learning When we developed the course Statistical Machine Learning for engineering students at Uppsala University, we found no appropriate textbook, so we ended up writing our own. It was published by Cambridge University Press in 2022, and you can order printed books from them or through most bookstores. Andr
Hiroshi Takahashi
Skip to the content. 機械学習の研究者を目指す人へ 機械学習の研究を行うためには、プログラミングや数学などの前提知識から、サーベイの方法や資料・論文の作成方法まで、幅広い知識が必要になります。本レポジトリは、学生や新社会人を対象に、機械学習の研究を行うにあたって必要になる知識や、それらを学ぶための書籍やWebサイトをまとめたものです。 目次 プログラミングの準備 Pythonを勉強しよう 分かりやすいコードを書けるようになろう 数学の準備 最適化数学を学ぼう 基本的なアルゴリズムとその実践 機械学習の全体像を学ぼう 基本的なアルゴリズムを学ぼう 深層学習の基礎を学ぼう scikit-learnやPyTorchのチュートリアルをやってみよう サーベイの方法 国際会議論文を読もう Google Scholarを活用しよう arXivをチェックしよう スライドの作り方 論文の
[AAAI2021採択論文] 深層学習による株価予測 - Preferred Networks Research & Development
こんにちは。エンジニアのいもす (今城 健太郎) です。現在、投資ファンドを作るため金融時系列の予測モデルの研究開発を行っています。その予測モデルについて、PFN の今城健太郎・南賢太郎・伊藤克哉と野村アセットマネジメント株式会社の中川慧氏が共同で執筆した論文が、人工知能分野における世界トップクラスの国際会議である AAAI 2021 に採択されました。 今回採択された論文 Deep Portfolio Optimization via Distributional Prediction of Residual Factors では、深層学習を用いたポートフォリオ最適化を、様々な金融時系列の性質を帰納バイアスとして導入することで改善する手法を提案しました。本記事では、深層学習のモデル設計という観点でどのような面白さがあるかに触れつつ、採択論文について簡単に紹介します。 はじめに: 帰納バイ
![[AAAI2021採択論文] 深層学習による株価予測 - Preferred Networks Research & Development](https://cdn-ak-scissors.b.st-hatena.com/image/square/f5c641375ef30b37aca5e7d60b9ebd17be44d897/height=288;version=1;width=512/https%3A%2F%2Ftech.preferred.jp%2Fwp-content%2Fuploads%2F2020%2F12%2Fblog-fig3.png)
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning –
機械学習セキュリティのベストプラクティス – Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning – 論文紹介 概要 「Draft NISTIR 8269: A Taxonomy and Terminology of Adversarial Machine Learning」は、米国のNIST（National Institute of Standards and Technology）が策定を進めている機械学習セキュリティに関するベストプラクティスのドラフトであり、機械学習システムの安全確保を目的として、機械学習にまつわるセキュリティを「攻撃」「防御」「影響」の3つの視点で分類している。 NISTIR8269はブログ執筆時点（2020年7月9日）でドラフト版であるが、「NIST SP8
Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part1
Part1では、既存の「機械学習パイプライン」がどのような処理を行なっているのかをサーベイします。Part0で述べた通り、現在の機械学習パイプラインはエンジニア向けに作られていることが多いです。しかし、現在はエンジニア向けであるものが一般化する、と考えれば既存のパイプラインを調べることに価値はあるはずです。機械学習パイプラインは機械学習プラットフォームと同義/一部となる場合が多く、調査は双方を対象としています。 サーベイの結果、一般的な「機械学習パイプライン」は以下のような構成となるようです。 ポイントとしては、以下の点があります。 Dataにはバッチ(Offline)とリアルタイム(Online)の概念がある。バッチの場合HDFSに格納しSpark/Hiveで特徴量計算、リアルタイムの場合Kafkaで収集、Samazaで特徴量計算といった形態が取られることが多い。リアルタイムの計算結果は
Using Machine Learning to Improve Streaming Quality at Netflix
by Chaitanya Ekanadham One of the common questions we get asked is: “Why do we need machine learning to improve streaming quality?” This is a really important question, especially given the recent hype around machine learning and AI which can lead to instances where we have a “solution in search of a problem.” In this blog post, we describe some of the technical challenges we face for video stream
Comparing Machine Learning as a Service: Amazon, Microsoft Azure, Google Cloud AI - KDNuggets
Comparing Machine Learning as a Service: Amazon, Microsoft Azure, Google Cloud AI A complete and unbiased comparison of the three most common Cloud Technologies for Machine Learning as a Service. By Altexsoft. For most businesses, machine learning seems close to rocket science, appearing expensive and talent demanding. And, if you’re aiming at building another Netflix recommendation system, it rea
Detecting Malicious Requests with Keras & Tensorflow
Security is a concern for any public facing web application. Good development practices can assist with defending against attempts from users looking to expose data or bring down an app. However, sometimes not all attack vectors are handled and new exploits are bound to be discovered. This is where security software can assist with monitoring and preventing unforeseen attacks. So what if you could
メルカリの今年1年間の機械学習の取り組みとこれから
これはMercari Advent Calendar 2017 の2日目の記事です。 昨日は @stanaka の分散ファイルシステムはブロックチェーンの夢を見るか でした。 今回は@Hmj_kd が、メルカリの機械学習の取り組みや機械学習エンジニアの今年行ってきた活動のいくつかをご紹介したいと思います。 以下、一部にて機械学習をMLと略します。 この1年間で機械学習で取り組んだこと 私が入社したのは2017/01で、社内では二人目の機械学習エンジニアでした。 その当時は speakerdeck.com にあるように、プロダクトにMLに関するものはありませんでした。 現在は、チーム全体でマネージャも含めて約10人ほどの組織になり、活発に実験や開発が行われています。 いくつかを列挙しますと - 商品出品時の価格推定とサジェスト - 一部カテゴリについて商品タグの推定 - 商品出品時のカテゴリ
はじめてのAdversarial Example
今回はadversarial exampleについて解説していきます。Adversarial exampleというのは、下図のように摂動を与えることによりモデルに間違った答えを出力させてしまうもののことです。 この例では、もともとモデルがパンダと正しく分類することができていた画像に摂動を与えることで、テナガザルと誤分類させています。しかし、人間には元の画像との違いはほとんど分からず、パンダのままに見えます。 Adversarial exampleは機械学習モデルを実用化していく上で大きな問題となります。例えば、交通標識をadversarial exampleにしてしまえば、自動運転車をだませてしまう可能性があります。 注目を集めてきている研究分野ですが、まだちゃんと調べたことがないという人も多いかと思います。今回もなるべく丁寧に解説していきたいと思います。 目次 基礎 攻撃 防御 論文紹介
Spotify’s Discover Weekly: How machine learning finds your new music | HackerNoon
Too Long; Didn't ReadThis Monday — just like every Monday— over 100 million Spotify users found a fresh new playlist waiting for them. It’s a custom mixtape of 30 songs they’ve never listened to before but will probably love. It’s called Discover Weekly<em>, </em>and it’s pretty much magic. The science behind personalized music recommendations This Monday — just like every Monday— over 100 mi
ディープラーニングの応用のための具体的方針まとめ - HELLO CYBERNETICS
はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は
OSSベースの機械学習が強い理由
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AAAS: Machine learning 'causing science crisis'
ストーリー - Google
matsuolab
Machine Learning and Cyber Security Resources - KDNuggets