2023年1月 ・5日～8日　CES　＠アメリカ・ラスベガス／オンライン 多数の民生機器テクノロジー産業界の関係者が参加する世界最大規模のイベント。 ・10日～翌10日　EdgeTech+ 2022（2022だが2023年にも開催）　＠オンライン エッジコンピューティングを形成する全てのハードウェア・ソフトウェア・ツール類及びインテグレーションサービス等の展示。 ・18日～20日　医療/介護/薬局Week 大阪　＠インテックス大阪 病院EXPO、クリニックEXPO、介護＆看護EXPO、次世代薬局EXPO、感染対策EXPOの5つの展示会で構成され、病院・クリニック・薬局・介護に関わる製品・サービス・システムが展示。年2回開催（1月、10月） ・18日～20日　Japan IT Week 関西　＠インテックス大阪 クラウド業務改革EXPO、情報セキュリティEXPO、Web&デジタルマーケティン

はじめに 12月初旬に行われた「AWS re:Invent 2022」の基調講演では機械学習を中心にした講演が行われ、多くのアップデートが発表されました。 今年の発表では機械学習プラットフォームの Amazon SageMaker や DWH サービスの Amazon Redshift といった既存サービスに対する機能が中心でした。 MLOps 成熟度モデルなどに代表されるフレームワークを AWS エコシステムで体現に向けた発展体系になっているのが伝わります。 MLOps を構成する要素 MLOps とは？という説明は様々な記事でなされていますが今回は自分なりの整理ですが「MLモデリング」と「運用」の2軸で見たときに、以下を継続的に実現できることが MLOps として捉えられこれらを実現するための要素が機能として提供されいる印象です。 ML モデリング インフラの抽象化 疎結合のワークフロ

この記事はNuco Advent Calendar 2022の14日目の記事です。 VSCodeに必須の機能20個を紹介していきます。 インストール数と星の数は記事作成時点(2022年11月時点)のものです。 Japanese Language Pack for Visual Studio Code vscode-icons Code Spell Checker zenkaku Path Autocomplete Prettier - Code formatter indent-rainbow GitLens Git History HTML CSS Support Output Colorizer TODO Highlight vscode-random Atom One Dark Theme Trailing Spaces REST Client Live Server Jupyter

0. 本記事について免責と想定読者本投稿は、浅見個人の意見や信念を多く含む"ポエム"です。必ずしも所属組織を代表する意見ではありません。 また、本記事の想定読者は、データ分析（データ活用）を担当する課に配属された行政職員です。特に専門職採用というわけでもなく、データ分析・モデリングの特別な教育を受けていない読者を想定しています。 あくまで行政職員をイメージしているため、民間企業では適切ではない事例も多いかと思います。ご了承ください。 データ活用の主語についても、あくまで「行政職員」を想定しています。「国民」を主語にしたデータ活用の課題（例えば、神Excel問題や煩雑な紙申請問題など）は本記事ではスコープ外としています。 なお、本記事では「政策」「施策」「事業」について、特に区別を設けず「政策」という言葉で統一しています。 要約1. 最初の一歩 まずメトリクスを定義して、監視する習慣をつけま

本記事はABEJAアドベントカレンダー2022の16日目の記事です！ 本日の担当は、法務・AI倫理関係を担当している古川です。12年ほど弁護士をしていまして、途中で機械学習をやってみたくなり数学から統計から機械学習の勉強をして（PRMLとかカステラ本とか読みました！）、Pythonも勉強をして、ある会社で画像解析AIの実装をしていたのですが、現在は法律・倫理関係業務だけ扱っています。 AI倫理・ガバナンス関係の記事を毎年書いているので、今年もその路線で行きます。テーマは「行く年くる年」。このテーマなら毎年書けますしね。まあ、「くる年」の議論はしませんので、厳密には「行く年」だけで2022年の振り返りでしかないのですが・・・ では、ランキング形式で2022年のAI倫理関係のニュースを振り返ります。ランキング形式が人気らしいのでランキング形式なだけで、別に1位だとか2位という順位に大した意味は

この記事は アノテーション株式会社 AWS Technical Support Advent Calendar 2022 | Advent Calendar 2022 - Qiita 13日目の記事です。 はじめに アノテーション テクニカルサポートチームの 川崎 です。 現在私は、クラスメソッド グループ、アノテーション株式会社で AWS のテクニカルサポートに携わっています。 本記事では、私が所属するテクニカルサポートチームの、新規入社メンバー向けの育成施策についてご紹介します。 初心者向けハンズオンとは 2022年12月現在、22 個のハンズオンが存在します。アカウントの作り方から始まり、幅広い AWS サービスのハンズオンが用意されています。 初心者向け、と レベル設定 されており、1本1本は 理解しやすい内容になっていますが、22本も揃うと、内容の充実ぶりに圧倒されます。 AWS

皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL

今話題の ChatGPT を Python でいい感じに使ってみよう！ この記事は公式の OpenAI が API を公開する前の記事で、非公式のOSSを採用しています。 現状は、公式API が公開されているので 公式API を使用することをお勧めします。 (現状は、有料プランに入らないとAPI叩けないです) こんな感じで使えます import openai import os from datetime import datetime start_time = datetime.now() openai.api_key = os.getenv("OPENAI_API_KEY") model_name = "gpt-4" question = """ Q: What is the best way to learn ChatGPT using Python? """ response =

この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpandasライフを送っていただけると嬉しいです。 対象読者 Pythonを使ったデータ分析や機械学習に携わる方 この記事はpandasの基本的な使い方を解説するものではないので注意してください。 表形式ファイルを加工する必要がある方 pandasの強みはリレーショナルなデータ全般です。必ずしもデータ分析や機械学習だけが守備範囲ではありません。 pandasとは pandasの公式ドキュメントの概要には、以下のように記載してあります。 pandas is a

はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。

これは何？ 本記事は、XAI（説明可能なAI）について日本語で執筆されている書籍のまとめです。以下にまとめる書籍はXAIの概要や複数のXAIの手法について書かれています。これにより、俯瞰的に把握することで手法の選択に役立ちます。それぞれに対して、@daikikatsuragawaのコメントをつけています。 機械学習を解釈する技術〜予測力と説明力を両立する実践テクニック 実務を見据えたXAIの概要、実務において特に有用であろう手法について解説されています。線形回帰モデルの解釈性に加え、ブラックボックスなモデルに解釈性を与える手法であるPFI（Permutation Feature Importance）、PD（Partial Dependence）、ICE（Individual Conditional Expectation）、SHAP（SHapley Additive exPlanatio

分類と回帰、両方に使える評価手法 ホールドアウト検証 モデルの汎化性能を評価する方法 交差検証（Cross-validation） モデルの汎化性能を評価する手法 分類に使える評価手法 混同行列(Confusion matrix) 正解率(Accuracy) 適合率(Precision) 再現率(Recall) 特異度(Specificity) F値(F-measure) ホールドアウト検証 全てのデータセットを任意の割合で学習データ、検証データ、テストデータに分割して検証する方法。機械学習モデルの汎化性能評価に際して従来より使用されている一般的な検証方法です。 交差検証(クロスバリデーション) 交差検証（cross-validation）は、汎化性能を評価する統計的な手法で、分類でも回帰でも用いることができます。機械学習を行うとき、学習を行うための学習データと未知のデータに適用したときの

最終更新日： 2022年12月6日 DXとは企業がデジタル技術を活用により、組織や経営を改革し、市場で優位性を保つことを指します。 しかし「どうDXを進めればいいのか分からない」「参考になるような事例を知りたい」という方もいらっしゃると思います。 こちらの記事ではDX推進企業の取り組みやDXの概要、業界別の成功事例まで解説します。 【この記事で分かること】 DXとは 業界別DXに成功した企業一覧 DX推進のポイント DX推進に役立つツール・サービス DXとは 経済産業省は、DXを以下のように定義づけています。 “企業がビジネス環境の激しい変化に対応し、データとデジタル技術を活用して、顧客や社会のニーズを基に、製品やサービス、ビジネスモデルを変革するとともに、業務そのものや、組織、プロセス、企業文化・風土を変革し、競争上の優位性を確立すること“ 言い換えると、DXとは「環境変化に対応し、市場

1.基礎習得に必須！まずは数学や統計など前提知識を学ぼう ・機械学習のための数学を学べる講座2選 ・機械学習に必要な統計学を学べる講座2選 ・データ分析に必要なSQLを学べる講座 2.機械学習の概念や仕組みを学び、さまざまなアルゴリズムや手法を知ろう ・概念から実装まで学びたい方におすすめの講座4選 ・機械学習のライブラリやフレームワークを学びたい方におすすめ講座4選 ・機械学習のスキルアップにおすすめ講座4選 1. 基礎習得に必須！まずは数学や統計など前提知識を学ぼう 機械学習の基礎を習得するには数学や統計などの前提知識が重要になります。 以下の講座では、機械学習に必要な数学や統計、データ分析に必要なSQLの知識を学ぶことができます。 機械学習のための数学を学べる講座2選 本当にわかる、AI時代の数学【超初心者からの数学入門】 👍こんな人におすすめ ・AI時代の教養として、数学を学び直

こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． 少し時間が経ちましたが，機械学習超入門動画講座を公開したので内容などを記事にしたいと思います． 今回は前編と後編の2部作の全23時間の超大作となっております！→追記) 前後編の後続として，本番編を公開し3部作完結となりました！（全38時間） 【前編】米国データサイエンティストがやさしく教える機械学習超入門【Pythonで実践】(講座の受講は下の画像をクリック!!↓) 【後編】米国データサイエンティストがやさしく教える機械学習超入門【Pythonで実践】(講座の受講は下の画像をクリック!!↓) ☆4.8と☆4.9であらゆるUdemyの機械学習講座の中で最高評価!! 公開１ヶ月で累計4000人の受講生を記録!! と，かなりの反響をいただいております．(高評価を付けていただいた方，ありがとうございます) ゼロ

DX（デジタルトランスフォーメーション）事例をテクノロジー視点でご紹介する「週刊DXニュース」。今回は、「DX×AI」や「DX×メタバース」、「DX×NFT」をキーワードに、10/4～10/17に発表されたニュースをまとめてご紹介します。DX・テクノロジーのトレンドに関心がある方は、ぜひご一読ください。 2022年10月号No.2 目次 ・DX事例｜AI －　高速道路上の落下物や道路状況などの「先読み情報」を自動運転車両に配信 ・DX事例｜メタバース －　全国の和牛農家が競い合う「鹿児島全共」をメタバース空間内で体験 －　企業向けメタバース空間内で利用可能なウォレット型のマルチペイメントサービスを構築 －　10分程度で簡単にメタバースでのイベントや個展を主催可能なサービスが提供開始 ・DX事例｜NFT －　JR東日本が品川駅など5種類の記念駅名標のNFTを販売開始 DX事例｜AI DX×A

この記事は？ IT企業の業務形態には大きく分けて自社開発、受託企業、SES(ITエージェント)の三形態があり、それぞれが利益を上げるために日々企業として活動を行なっています。 自社開発: 自社プロダクトのグロースによって利益を上げていく企業。 受託企業: ITプロダクトの開発を請け負いそれによって利益を上げる企業。SESとの違いは請負契約が主体で、契約内容の完了によって利益を上げる仕組みになっている。 SES/ ITエージェント: 主に業務委託形式で各現場にエンジニアの労働力を提供し、そこから得られるマージンによって利益を上げていく企業。 本記事では、これらの企業が儲ける仕組みについてそれぞれ概観をしていきます。 著者は？ クライアントワークを中心とするソフトウェアエンジニアとして働き、エンジニアの採用活動に関わった経験と、正社員およびフリーランスエンジニアとしての経験がある。 対象読者

OpenAIの音声認識モデルWhiper、いやー、まじですごすぎて感動しました。 配信中のpodcast番組 白金鉱業.FMを頑張って文字起こしするために、この記事とか、この記事とかでかなり真面目に既存文字起こしAPIの精度などを比較していましたが、もう今回は比べるまでもなく本当に雲泥の差です。ほぼ一言一句正確に文字起こしできます。GCP, AWS, Azureの文字起こしAPIは文字起こし精度が体感30~60%くらいでしたが、whisperは90%超えている印象です。もう笑うしかないです。 最初に結論 インストール 実行方法 結果 tinyモデルの結果 baseモデルの結果 smallモデルの結果 mediumモデルの結果 largeモデルの結果 まとめ 追記 カタカナ英語 完全制覇 whisperくん せんでんせんでん 最初に結論 whisperは異なるモデルサイズが5種が利用可能であ