はてなブックマーク

上で引用した「儲かるAI」に関しては、単純平均とほぼ同じような結果になっていますが、件数が少ない書籍に関してはhdi_3%からhdi_97%の幅(統計学の「信頼区間」とほぼ同じ概念と考えてください)が非常に広くなっていることがわかります。 「不確実性」が具体的な数値の形で示されているのです。 では、どうするとこの結果が得られるのか。 考え方の概要を簡潔に説明すると以下のようになります。 スコア別のレビュー件数(ベイズ推論の用語で「観測値」)の背後に確率モデルが存在することを仮定 確率モデルと観測値から事後分布を導出 事後分布に基づいて「レビューの平均スコア」も確率変数として算出する 得られた「確率変数としてのレビュー平均スコア」を統計的に分析する この形で分析をすることにより最尤推定より現実に即した判断が可能 始めてこの話を聞く人は、何をいっているのか、まったくわからないと思います。しかし

はじめに 今や世の中にごまんとあるCHATGPTの活用事例、今更もう一つ増やしてもほとんど意味がないのですが、先ほどちょっとした調べ物をした際、たった10分ですべて解決してしまい感動したので、その記録を残しておくことします。 問題設定 英文テキストに対して、単語分割を行い、同時に単語の品詞と、活用形のある単語は原形も知りたいというのがやりたいことです。対象が日本語であればjanmeで一発OKであり、私自身qiitaにその記事を書いたことがあるくらい知っているのですが、対象が英語の場合は知識も経験もないので、その点を調べたいという話になります。 実は、過去にこの質問自体は　CHATGPTにしたことがあり、ライブラリとしてspacyを使うのが適切であるということまでは事前に知っていました。今日、試したのは、その先の、本当に動く実装コードを作ることになります。 環境 自分のPC内のminicon

はじめに コロナがはじまってかれこれ3年、その間に私は一回転職しているのですが、幸か不幸かどちらの会社もリモートワーク100%で仕事ができてしまう会社でして、結論としてこの3年間、まともに会社に行ったことがありません(お客様先は数回あります)。 ということで、リモート会議システムと、その会議の場でプレゼンのパワポというのは、ほぼ毎日、業務で利用しています。 実は、私は家からアクセスするときに、外部ディスプレイを使っていなかったりするのですが、そんな私に耳よりな話を最近知りました。 それが、この記事で紹介する「ダミーアダプタ」です。 後ほど写真で紹介するように、本当に小さな製品なのですが、これをPC(MAC)のUSBポートに指すと、PCはその先がディスプレイであると勘違いして、パワポ側で、外部ディプレイが繋がったときのみ使えるモードでプレゼンができるのです。 プレゼンをしている最中、相手に対

はじめに 「最短コースでわかる」シリーズ、「Pythonで儲かるAIを作る」著者の赤石です。 今、世界中に衝撃を与えているChatGPT。 その機能はあらゆる領域に及んでいますが、その中の一つにプログラミング機能があります。 マンデルブロウの図形を描画させるプログラムを実装したりして、十分びっくりしてはいるのですが、本当に自分で考えてコーディングしているのか。実は、有名なプログラムはテンプレートで覚えているだけなのではないか。 それを試す格好の題材を見つけました。 手前味噌ですが、私の最新刊である「最短コースでわかる Pythonプログラミングとデータ分析」では、各節ごとに、理解度を確認するための練習問題を付けています。そうです、この問題をChatGPTにやらせれば、本当に問題の意味を自然言語として理解し、それに対応したコーディングができているのか、わかるはずです。 ということで、早速試し

はじめに アクセンチュアの赤石です。必要があって、OCR機能をいろいろ調べています。 Google では、Google Vision APIとGoogle Driveの機能があります。 Google Vision APIの記事 Google Driveの記事 大量にOCRをしたい場合は、普通に考えるとAPIとして使えるGoogle Vision API一択なわけですが、どうも軽くテストした限り、Google Drive APIの方が認識精度が高いみたいなのです。そもそも、同じグーグルで同じ機能のエンジンが２つあることからして謎なのですが。。。 それで、普通であればUI経由で使うGoogle DriveのOCR機能をAPIで使いたいと思ってしまったわけです。 結論として、頑張ればGoogle DriveのOCR機能をAPIで使うことは可能でした。 当記事は、そのための手順を示すものとなります

はじめに 「XX分でできるBERT」シリーズ第二弾です。 (第一弾の記事はこちら　→　60分でできるBERT(英語テキストの感情分析)) 今回は、事前学習モデルを使って、そのまま予測するので、学習が不要、よって、本当に10分かからずにBERTの予測モデルを動かすことができます。 Question-Answering予測とは BERTが活用できるテキスト分析のパターンの一つです。入力として「ヒントとなる一連のテキスト」と「そのテキストを前提とした質問」の対になる文をモデルに入力します。すると、モデルはヒントとなるテキストの特定の範囲を FromとToのインデックスで示します。 この範囲の文章が、質問への回答となっている仕掛けです。 BERTでは、このような振る舞いをする事前学習済みモデルがすでにできあがっていて、モデルをロードするだけで、学習なしに予測ができるというのです。本当なのか、早速試

はじめに 「現場で使える! Python自然言語処理入門」と「最短コースでわかる PyTorch &深層学習プログラミング」の著者です。 「現場で使える! Python自然言語処理入門」では、本の一番最後にBERTの簡単な解説をしています。ただ、この執筆したときには、BERTは本当にまだできたてで、ライブラリなどもほとんどなかったため、残念ながら実習を入れることができませんでした。 このあたりの最新状況を調べ直したところ、今ではいろいろとライブラリができあがっていることがわかりました。自分の備忘録を兼ねて、最新状況を反映した実習プログラムを作ってみたので、その結果を連携します。 本当はWord2Vecのサンプル※のように「15分でできる」としたかったのですが、バリバリのディープラーニングのプログラムで全然無理そうだったのであきらめて「60分でできる」にしました。 ※「15分でできる日本語W

はじめに 書籍「Pythonで儲かるAIをつくる」の著者です。 関連リンク: Amazon サポートサイト 書籍の4.3節では、2値分類問題を対象に、決定木、サポートベクターマシン、ランダムフォレストなど機械学習の典型的なアルゴリズムをいくつか紹介しています。ここで各アルゴリズムの特徴を説明する手段との一つして、決定境界表示を用いています。 決定境界表示に関しては、現時点で（おそらく？）正式のライブラリがないため、簡易的に表示ができる関数を事前に定義し、書籍の中では、その関数を参照する形にしています。つまり、表示方法そのものに関する解説は一切ありません。この書籍は入門者向けなので、読者はこの実装ロジックを理解する必要はないという判断のもと、こういう方法を取りました。 一方で著者が非常によく聞かれるのが、この関数の中でどうやって決定境界を表示しているかという点です。当記事は、もともとはそのよ

はじめに 「Pythonで儲かるAIをつくる」の著者です。 Amazonリンク 書籍サポートサイトリンク 何を隠そう、私は昔からプログラミングおたく※なもので、書籍のサンプルコードには相当こだわりがあるのですが、「Pythonで儲かるAIをつくる」では、何カ所か悔いの残る実装がありました。 出版社の担当者とも相談し、ちゃんと動いているのだから正誤訂正ではないだろうといわれ、確かにその通りなので、こういう形で後悔を公開するに至った次第です。 ※　コーディング経験のあるプログラム言語は以下のような感じ。他にも多分いくつかあると思います。 BASIC, Assembler(86系),FORTRAN, LISP, Prolog, C(C++は本当にかすかに), Assembler(HOST), APL, APL2, COBOL, REXX, Pascal(Delphi), VB, Java, Pe

はじめに アクセンチュアの赤石です。 お客様からよくデータサイエンティスト向けの資格はないかという質問を受けます。その度に、「あまりいいものはないですね」と答えていたのですが、最近、改めて見直すと、結構いろいろなところから、データサイエンス系の資格が出ているので、自分の備忘録を兼ねて、ここに公開しておきます。 一覧表 資格名称 資格概要 認定機関 資格詳細（認定機関サイトへのリンク）

はじめに 「Pythonで儲かるAIをつくる」の著者です。社内で、この本を題材にした勉強会を主催しているのですが、5.3節の「時系列予測」用に作った、宿題の題材が結構面白いものだったので、qiitaでも共有することにします。 なお、ここで紹介するコードは、Githubにアップしてあります。 時系列予測とは そもそも、「時系列予測」とはなんでしょうか。冒頭で紹介した私の書籍の中では、「分類」「回帰」と並んで学習方式「教師あり学習」の1パターンであると定義しています。 予測目的が「数値」という点は「回帰」と同じなのですが、予測の入力となる説明変数が「日付データのみ」（厳密にいうと例外もある）というのが一番の違いです。曜日、年などの周期性を持った数値データを予測するのに向いているモデルです。 ただ、 scikit-learnにライブラリがないため、Pythonでモデルを作るのはかなりハードルが高

はじめに 最近ずっと悩んでいたのが、PyTorchで乱数の種を固定したつもりでも、結果が一定しない問題。環境はGoogle ColabのGPUです。 (2021-04-10) 対策もわかったので修正 (2021-07-06) 従来の方式でGoogle Colabでエラーになったので対策を追記 (2021-08-01) pytorchのバージョンアップに伴い、関数が変わったのでコード修正 どのような問題か 次のようなコードで定義したCNNモデルです。 CIFAR-10学習用に作ったモデルです。 class CNN_v2(nn.Module): def __init__(self, num_classes): super().__init__() self.conv1 = nn.Conv2d(3, 32, 3, padding=(1,1), padding_mode='replicate')

はじめに 書籍「Pythonで儲かるAIをつくる」の著者です。当記事でこの本の特徴をご紹介します。 Amazonリンク(単行本) https://www.amazon.co.jp/dp/4296106961 Amazonリンク(Kindle) https://www.amazon.co.jp/dp/B08F9P726T 本書サポートサイト (Github) https://github.com/makaishi2/profitable_ai_book_info/blob/master/README.md まずは、下記の目次をご覧下さい。 目次 タイトルで誤解を受けることが多いのですが、目次を見ていただければわかるとおりいたって真面目な書籍です。「AIを使ってFXや株で大儲けをしよう」という本ではありませんので、誤解なきようお願いします。 主な対象読者 本書は、主に次の2つの読者層を想定して

gensimのライブラリを使うと、Word2Vecを使うことは恐ろしく簡単です。 (パラメータのチューニングは別にしてとにかく使ってみるという目的であれば) しかし、日本語を対象にする場合、形態素解析をしないといけないというハードルがあり、それがWord2Vecを使いにくいものにしている気がしています。 以下で説明する手順は、このことを考慮して、「最短コースで日本語Word2Vecを使う」という目的に注力して作ってみました。 【変更履歴】 (2019-08-11) 前提の動作環境を修正。 ファイル読込みに関して!pipをやめて、全部python APIを使うように変更しました。 (2018-07-13) IBM DSX -> Watson Studioに変更になり、それに伴ってPythonがV3になったため、Python V3対応をしました。 (2018-02-12 追加) Jupyter

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Watson APIを使ったアプリケーションの作り方で一番簡単な方法はNode-REDを使う方法です。 そのようなNode-RED上の開発方法はマスターして、次の段階としてNode.jsなどを使って本格的に3階層のアプリケーションを開発したいが、どのようにスタートしたらいいかわからないとか、 Watson Developer Cloudからサンプルアプリのソースをダウンロードしてみたが、仕組みが複雑で自分のやりたいことを行うのに、どこをどう直したらいいかわからない、という人はいないでしょうか？ このガイドはそういう人を主な対象