はてなブックマーク

はじめに 書籍『Pythonでスラスラわかる ベイズ推論「超」入門』著者です。 読者からいただいた質問のうち、実装コード付きで示した方がいいものがあったので、この場で解説をしたいと思います。 なお、当記事は、書籍で説明している概念については、すべてわかっている前提で記載しています。わからない部分はすべて書籍内に説明がありますので、関心を持たれた読者は是非、本編の書籍もお買い求めいただけるとありがたいです。 書籍サポートサイトのリンクは下記になります。 https://bit.ly/3uV4i3R いただいた質問と直接の回答 いただいた質問は、5.4節　潜在変数モデルの実習コードに対するものです。 以下のコードはサポートサイト上にもアップしておきました。 https://bit.ly/3vjwY6M 潜在変数モデルでは、特別な工夫をしないと「ラベルスイッチ」と呼ばれる事象が発生します。 その

これは、私の著作の一つ『Pythonで儲かるAIをつくる』に対してAmazon上で読者からいただいたレビューを、スコア別に件数カウントしたものです(2024-01-07時点)。 ここで著者としては、「レビューの平均スコア」を知りたいです。 普通に考えると、次の計算でいいのではないかと考えがちです。 $$ \dfrac{126 \times 5 + 60 \times 4 + 48 \times 3 + 7 \times 2 + 10 \times 1}{251} = 4.135.. $$ このやりかたを数学的にまわりくどく説明すると「最尤推定」という方法に該当します。 ポイントは、計算結果が1点になっていることです。 例えば、レビュー件数が全部で9件しかないときの平均スコアが4.8であり、レビュー件数が97件のときの平均スコアが4.4だったとします。見た目の値は前者の方が高そうですが、それ

はじめに 今や世の中にごまんとあるCHATGPTの活用事例、今更もう一つ増やしてもほとんど意味がないのですが、先ほどちょっとした調べ物をした際、たった10分ですべて解決してしまい感動したので、その記録を残しておくことします。 問題設定 英文テキストに対して、単語分割を行い、同時に単語の品詞と、活用形のある単語は原形も知りたいというのがやりたいことです。対象が日本語であればjanmeで一発OKであり、私自身qiitaにその記事を書いたことがあるくらい知っているのですが、対象が英語の場合は知識も経験もないので、その点を調べたいという話になります。 実は、過去にこの質問自体は　CHATGPTにしたことがあり、ライブラリとしてspacyを使うのが適切であるということまでは事前に知っていました。今日、試したのは、その先の、本当に動く実装コードを作ることになります。 環境 自分のPC内のminicon

はじめに コロナがはじまってかれこれ3年、その間に私は一回転職しているのですが、幸か不幸かどちらの会社もリモートワーク100%で仕事ができてしまう会社でして、結論としてこの3年間、まともに会社に行ったことがありません(お客様先は数回あります)。 ということで、リモート会議システムと、その会議の場でプレゼンのパワポというのは、ほぼ毎日、業務で利用しています。 実は、私は家からアクセスするときに、外部ディスプレイを使っていなかったりするのですが、そんな私に耳よりな話を最近知りました。 それが、この記事で紹介する「ダミーアダプタ」です。 後ほど写真で紹介するように、本当に小さな製品なのですが、これをPC(MAC)のUSBポートに指すと、PCはその先がディスプレイであると勘違いして、パワポ側で、外部ディプレイが繋がったときのみ使えるモードでプレゼンができるのです。 プレゼンをしている最中、相手に対

はじめに 「最短コースでわかる」シリーズ、「Pythonで儲かるAIを作る」著者の赤石です。 今、世界中に衝撃を与えているChatGPT。 その機能はあらゆる領域に及んでいますが、その中の一つにプログラミング機能があります。 マンデルブロウの図形を描画させるプログラムを実装したりして、十分びっくりしてはいるのですが、本当に自分で考えてコーディングしているのか。実は、有名なプログラムはテンプレートで覚えているだけなのではないか。 それを試す格好の題材を見つけました。 手前味噌ですが、私の最新刊である「最短コースでわかる Pythonプログラミングとデータ分析」では、各節ごとに、理解度を確認するための練習問題を付けています。そうです、この問題をChatGPTにやらせれば、本当に問題の意味を自然言語として理解し、それに対応したコーディングができているのか、わかるはずです。 ということで、早速試し

はじめに MACを新しいマシンに切り替えました。そのときの手順をメモしておきます。 「MAC版outlookメールファイルの移行」がネット上に情報が全然なかったので、地味に他の方の参考になるかもです。 ネットワーク設定 自宅用Wifi、ディザリング Apple ID登録 gmail設定 ATOK導入 からログイン ATOKを導入したが、いきなりメニューにATOKがないという問題に遭遇し、ググって次の記事を見つける (やっとこれで普通にPCが使えるようになった。いかに自分の体がATOK漬けになってしまっているか、改めて実感。。。) ブラウザ導入 firefiox、chrome アプリ導入 zoom MAC版outlookメールファイルの移行 移行前にすごくはまった箇所 インポートとエクスポートというメニューはあるが、グレーアウトしていて使えないのです。 結論としてoutlookを一時的に古い

はじめに アクセンチュアの赤石です。必要があって、OCR機能をいろいろ調べています。 Google では、Google Vision APIとGoogle Driveの機能があります。 Google Vision APIの記事 Google Driveの記事 大量にOCRをしたい場合は、普通に考えるとAPIとして使えるGoogle Vision API一択なわけですが、どうも軽くテストした限り、Google Drive APIの方が認識精度が高いみたいなのです。そもそも、同じグーグルで同じ機能のエンジンが２つあることからして謎なのですが。。。 それで、普通であればUI経由で使うGoogle DriveのOCR機能をAPIで使いたいと思ってしまったわけです。 結論として、頑張ればGoogle DriveのOCR機能をAPIで使うことは可能でした。 当記事は、そのための手順を示すものとなります

{'source': 'wikipedia', 'id': '3zotghdk5ibi9cex97fepx7jetpso7', 'filename': 'Vatican_Library.txt', 'story': 'The Vatican Apostolic Library (), more commonly called the Vatican Library or simply the Vat, is the library of the Holy See, located in Vatican City. Formally established in 1475, although it is much older, it is one of the oldest libraries in the world and contains one of the most signifi

はじめに 「現場で使える! Python自然言語処理入門」と「最短コースでわかる PyTorch &深層学習プログラミング」の著者です。 「現場で使える! Python自然言語処理入門」では、本の一番最後にBERTの簡単な解説をしています。ただ、この執筆したときには、BERTは本当にまだできたてで、ライブラリなどもほとんどなかったため、残念ながら実習を入れることができませんでした。 このあたりの最新状況を調べ直したところ、今ではいろいろとライブラリができあがっていることがわかりました。自分の備忘録を兼ねて、最新状況を反映した実習プログラムを作ってみたので、その結果を連携します。 本当はWord2Vecのサンプル※のように「15分でできる」としたかったのですが、バリバリのディープラーニングのプログラムで全然無理そうだったのであきらめて「60分でできる」にしました。 ※「15分でできる日本語W

はじめに 書籍「Pythonで儲かるAIをつくる」の著者です。 関連リンク: Amazon サポートサイト 書籍の4.3節では、2値分類問題を対象に、決定木、サポートベクターマシン、ランダムフォレストなど機械学習の典型的なアルゴリズムをいくつか紹介しています。ここで各アルゴリズムの特徴を説明する手段との一つして、決定境界表示を用いています。 決定境界表示に関しては、現時点で（おそらく？）正式のライブラリがないため、簡易的に表示ができる関数を事前に定義し、書籍の中では、その関数を参照する形にしています。つまり、表示方法そのものに関する解説は一切ありません。この書籍は入門者向けなので、読者はこの実装ロジックを理解する必要はないという判断のもと、こういう方法を取りました。 一方で著者が非常によく聞かれるのが、この関数の中でどうやって決定境界を表示しているかという点です。当記事は、もともとはそのよ

はじめに 「Pythonで儲かるAIをつくる」の著者です。 Amazonリンク 書籍サポートサイトリンク 何を隠そう、私は昔からプログラミングおたく※なもので、書籍のサンプルコードには相当こだわりがあるのですが、「Pythonで儲かるAIをつくる」では、何カ所か悔いの残る実装がありました。 出版社の担当者とも相談し、ちゃんと動いているのだから正誤訂正ではないだろうといわれ、確かにその通りなので、こういう形で後悔を公開するに至った次第です。 ※　コーディング経験のあるプログラム言語は以下のような感じ。他にも多分いくつかあると思います。 BASIC, Assembler(86系),FORTRAN, LISP, Prolog, C(C++は本当にかすかに), Assembler(HOST), APL, APL2, COBOL, REXX, Pascal(Delphi), VB, Java, Pe

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 「Pythonで儲かるAIをつくる」の著者です。社内で、この本を題材にした勉強会を主催しているのですが、5.3節の「時系列予測」用に作った、宿題の題材が結構面白いものだったので、qiitaでも共有することにします。 なお、ここで紹介するコードは、Githubにアップしてあります。 時系列予測とは そもそも、「時系列予測」とはなんでしょうか。冒頭で紹介した私の書籍の中では、「分類」「回帰」と並んで学習方式「教師あり学習」の1パターンであると定義しています。 予測目的が「数値」という点は「回帰」と同じなのですが、予測の入力となる説明変数が「日付データのみ」（厳密にいうと例外もある）というのが一番の違いです。曜日、年などの周期性を持った数値データを予測するのに向いているモデルです。 ただ、 scikit-learnにライブラリがないため、Pythonでモデルを作るのはかなりハードルが高

はじめに 最近ずっと悩んでいたのが、PyTorchで乱数の種を固定したつもりでも、結果が一定しない問題。環境はGoogle ColabのGPUです。 (2021-04-10) 対策もわかったので修正 (2021-07-06) 従来の方式でGoogle Colabでエラーになったので対策を追記 (2021-08-01) pytorchのバージョンアップに伴い、関数が変わったのでコード修正 どのような問題か 次のようなコードで定義したCNNモデルです。 CIFAR-10学習用に作ったモデルです。 class CNN_v2(nn.Module): def __init__(self, num_classes): super().__init__() self.conv1 = nn.Conv2d(3, 32, 3, padding=(1,1), padding_mode='replicate')

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 書籍「Pythonで儲かるAIをつくる」の著者です。当記事でこの本の特徴をご紹介します。 Amazonリンク(単行本) https://www.amazon.co.jp/dp/4296106961 Amazonリンク(Kindle) https://www.amazon.co.jp/dp/B08F9P726T 本書サポートサイト (Github) https://github.com/makaishi2/profitable_ai_book_info/blob/master/README.md まずは、下記の目次をご覧下さい。

gensimのライブラリを使うと、Word2Vecを使うことは恐ろしく簡単です。 (パラメータのチューニングは別にしてとにかく使ってみるという目的であれば) しかし、日本語を対象にする場合、形態素解析をしないといけないというハードルがあり、それがWord2Vecを使いにくいものにしている気がしています。 以下で説明する手順は、このことを考慮して、「最短コースで日本語Word2Vecを使う」という目的に注力して作ってみました。 【変更履歴】 (2019-08-11) 前提の動作環境を修正。 ファイル読込みに関して!pipをやめて、全部python APIを使うように変更しました。 (2018-07-13) IBM DSX -> Watson Studioに変更になり、それに伴ってPythonがV3になったため、Python V3対応をしました。 (2018-02-12 追加) Jupyter

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Watson APIを使ったアプリケーションの作り方で一番簡単な方法はNode-REDを使う方法です。 そのようなNode-RED上の開発方法はマスターして、次の段階としてNode.jsなどを使って本格的に3階層のアプリケーションを開発したいが、どのようにスタートしたらいいかわからないとか、 Watson Developer Cloudからサンプルアプリのソースをダウンロードしてみたが、仕組みが複雑で自分のやりたいことを行うのに、どこをどう直したらいいかわからない、という人はいないでしょうか？ このガイドはそういう人を主な対象