連載目次 前回は、「ビジュアライズ（可視化、視覚化）」というテーマの前編として、関数をグラフ化することによりモデルを可視化する方法を見ました。今回は後編です。収集したデータや分析結果を可視化するために、棒グラフやヒストグラム、散布図、ヒートマップなどを作成します。 今回の練習問題としては、3D散布図と個別の2D散布図を並べて描く例、回帰分析を行って散布図に回帰直線を重ねて描く例を取り上げます。もちろん、全て中学／高校までの数学の知識があれば作成できるプログラムです。グラフ化するデータの準備についてはある程度Pythonの経験がないと難しい部分もありますが、分からない部分については「おまじない」だと思ってサンプルコードをそのまま入力してもらって構いません。 見出し／図／リスト／脚注などの番号は、前編である前回からの続き番号となっています。

「Python」が初の首位に、プログラミング言語の人気ランキング「TIOBEインデックス」：「C」「Java」は下降中 TIOBE Softwareが発表したプログラミング言語の人気ランキング「TIOBEインデックス」の2021年10月版では、20年間で初めて「Python」が初めて首位に立った。 ソフトウェア品質の評価と追跡を手掛けるTIOBE Softwareは、2021年10月版の「TIOBEプログラミングコミュニティーインデックス」（通称「TIOBEインデックス」）を発表した。 TIOBEインデックスは、プログラミング言語の人気を示すランキングで、同社が毎月更新している。今回は「Python」が11.27％のレーティングを獲得し、首位となった。Pythonが首位に立ったのは、2021年7月に20周年を迎えたTIOBEインデックスの歴史の中で初めて。これまでに首位になった言語は、「C

先日、ビジネスパーソン向けの Python 本を執筆したことを書きました。 t2y.hatenablog.jp 本稿では本書のことを「できるPy」と呼びます。 Amazon でいくつかカスタマーレビューもいただいて次のコメントをみつけました。 python3.7 対応ということで、pathlib を使ってる点が（古いpython は切り捨てる！的なところは）潔いと言えば潔いし、日本語のファイル名にも気を配っている記述はオライリーに期待するのは酷なところもある。でもこの本でもNFD問題は全くの記述無し。だめだろ、それじゃ。 Amazon CAPTCHA まさに仰る通りです。執筆時にそのことに気づかずご指摘いただいてありがとうございます。 ここでご指摘されている NFD 問題というのは、ファイル名のみに限った問題ではなく、Unicode の文字集合を扱ってエンコード／デコードするときに発生する

AI事業を手掛けるバズグラフ（福岡県福岡市）は10月7日、AIでニュースを任意の文字数に要約する「タンテキ」の新機能として、ニュースの文章を3行で要約する「三文タンテキ」を公開した。まずは独立したWebサービスとして無料で提供。今月中にタンテキ内でも使えるようにする。 三文タンテキは、ニュースの文章かURLを入力すると、自動で3行に要約するサービス。タンテキと同じく、ニュース記事のデータを約140万件学習させた自然言語処理AIを活用しており、入力できる文字数に制限はない。ただし日本語のニュースに特化しているため、それ以外の文章だと要約の精度が下がる可能性がある。 バズグラフによるとAIを使った文章の要約サービスでは、文章を、意味を持つ最小の語まで分解して分析する「形態素解析」を活用することが多いという。一方、タンテキは形態素解析に加え、語と語の関係性を基に文を分析する「機能素解析」や、学習

名古屋市は住民が主導する地域の防犯パトロールでAI（人工知能）を使った犯罪予測アプリを活用している。過去の犯罪データや人口密度から、犯罪の発生確率が高い場所を重点的にパトロールするルートが自動で提示される。政令指定都市の中で自転車の窃盗や車上狙いの件数がワースト2位の名古屋。AIの活用で汚名返上を狙う。4日夕、バンテリンドームナゴヤのある名古屋市東区。地元防犯団体の原田勝弘委員長（73）ら2人

どうもこんにちは、あんどう（@t_andou）です。 最近『何かを生成するAI』に興味があり、触ってみました。 しかし、ただ「試してみた」だけでは面白みが無いので、何か作品を作りたいと考え、絵本を描いてもらうことにしました。 まずは完成作品をご覧ください。 youtu.be 違和感がすごいですね。 お気づきになった方も多いかとは思いますが、実はこちらの作品 絵だけじゃなく、物語、読み上げ音声、BGM、全てがAIによる生成物です。 完成度はまだ低いものの、あと数年もすれば違和感の無い作品が作れるようになりそうな予感がしますね。 使用した技術 全てを把握しているわけではないため自分用のメモ程度になりますが、使った技術を記載しておきます。 絵 絵にはVQGANとCLIPという技術を使っています。 これは凄くて、描いて欲しいものを文章で伝えると描いてくれます。 しかも、どんな画風で描いて欲しいかま

2021/10/10：学習前モデルを可視化させていたので学習後に修正、ハイパーパラメータを一部変更、2値分類問題のYellowbrick可視化例（グラフのみ）追加 はじめに 機械学習は、いろんな切り口でパフォーマンスが見たくなります。 可視化を試行錯誤するも、納得いく姿にコードを組み立てるのは大変・・・と思っていた矢先、「Yellowbrick」という機械学習のパフォーマンスを可視化するライブラリがあることを知りました。 実行してみると、コードが少なくとても簡単で、可視化されるグラフも美しい。 これはとてもいいです。 この記事は、「Yellowbrick」の実行録となっています。ご興味を持たれた方はぜひどうぞ。 実行条件など ・Google colabで実行 ・ボストン住宅価格のデータセットで実行 ・機械学習手法は決定木。デシジョンツリーはdtreevizで、機械学習の各種パフォーマンスは

はじめに 昨今、様々な機械学習（深層学習を含む。以降、ML）の手法が提案されるとともに、社会実装や業務適用に向けたプロジェクトが開始されています。 しかし、現実問題をMLで解き、社会的・実務上の価値に繋げることは容易ではなく、多くのプロジェクトがPoC（Proof of Concept, 技術の概念検証）で止まっています。（PoC疲れ、PoC地獄、PoC貧乏といった単語すら登場しています...） ここ数年で多くのPoCが行われた結果、様々な反省点や改善手法が提案されてきており、本記事では、特に有意義だった下記の2論文+個人的な経験を踏まえて、社会実装・業務適用に向けた機械学習プロジェクトの進め方について、まとめてみたいと思います。 参考文献 Using AntiPatterns to avoid MLOps Mistakes How to avoid machine learning pi

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 独ブラウンシュヴァイク工科大学と独Max Planck Institute for Informaticsによる研究チームが開発した「High-Fidelity Neural Human Motion Transfer from Monocular Video」は、人物と服の細かな動きを別の人物に転写する深層学習フレームワークだ。動きに合わせて揺れる衣服のシワやひだなども忠実に再現し合成する。 今回のフレームワークは、ソース映像の人物の動きだけをターゲット映像の人物に転送し、それに伴う衣服の副次的動作も含めた写実的なアニメーション合成を目指す。 映像生成フレームワークは、4種類の深層学習ネ

パターン認識・メディア理解研究会（PRMU）2021年10月開催にて発表した資料です。 https://www.ieice.org/ken/program/index.php?tgs_regid=afad0a06f26b0ba058f7a46268673bddbbff4c3927f68a0206a4d5b8805f7ef0&tgid=IEICE-PRMU

Python as a language is comparatively simple. And I believe, that you can learn quite a lot about Python and its features, just by learning what all of its builtins are, and what they do. And to back up that claim, I'll be doing just that. Just to be clear, this is not going to be a tutorial post. Covering such a vast amount of material in a single blog post, while starting from the beginning is p

事業共創プログラム　OPEN HUB for Smart World 未来をひらく「コンセプトと社会実装」の実験場 OPEN HUB for Smart Worldは、社会課題を解決し、わたしたちが豊かで幸せになる未来を実現するための新たなコンセプトを創り、社会実装を目指す事業共創の場です

超低消費電力のエッジAI、ASICで100TOPS/Wの実現も：「画質改善＋物体検知」も可能に（1/3 ページ） エッジでのディープラーニング技術（エッジAI技術）を手掛けるLeapMindは2021年9月30日、超低消費電力のAI（人工知能）推論アクセラレーターIP（Intellectual Property）「Efficiera（エフィシエラ）バージョン2（Efficiera v2）」のβ版をリリースした。正式版は同年11月末に提供を開始する。 エッジでのディープラーニング技術（エッジAI技術）を手掛けるLeapMindは2021年9月30日、超低消費電力のAI（人工知能）推論アクセラレーターIP（Intellectual Property）「Efficiera（エフィシエラ）バージョン2（Efficiera v2）」のβ版をリリースした。正式版は同年11月末に提供を開始する。 Eff

飲食店向けの店舗管理サービスを手掛けるEBILAB（エビラボ、三重県伊勢市）は10月7日、カメラの映像を基にAIで伊勢エビの脱皮を検知する技術を開発し、1日から実証実験を始めていると発表した。脱皮周期が不規則で予測困難な一方、脱皮直後が最もおいしいとされる伊勢エビの監視にAIを活用し、これまで夜間に水槽を見張る必要があった職人の負担を減らすという。 伊勢エビは、脱皮直後であれば皮までおいしく調理できるのが利点という。ただし伊勢エビの脱皮周期には個体差があるため予測が難しく、これまでは職人が経験を基に大まかな時期を予測し、夜行性の伊勢エビに合わせて夜間に水槽を見張るといった手法を取っていた。 同社が開発したAIは伊勢エビの画像を1000枚程度学習しており、暗視カメラで撮影した映像を基に脱皮の瞬間を検知する。スマートフォンなどに通知できるため、職人の負担を削減できるという。開発には米Micro

こんにちは、TIG所属の玉木です。この記事はPython連載の7本目の記事になります。 2021年9月24日にscikit-learn 1.0がリリースされました。私が大学院生のころ、scikit-learnのサンプルを動かすところから機械学習を勉強したので、ついに1.0かとなんだか感慨深い気持ちがあります(この記事で紹介しているPython 機械学習プログラミングです)。本記事ではリリースから少し時間が経ってしまいましたが、リリースハイライト、チェンジログから、個人的に気になった以下の4つの内容を紹介しようと思います。 キーワード引数の強制 pandasのデータフレームからの特徴量名のサポート 新しいplot用のクラス追加 StratifiedGroupKFoldの追加 1. キーワード引数の強制scikit-learnの機械学習のモデルのクラス、メソッドは、多くの入力パラメータを持ちま