ChatGPT活用を激震させる新機能｢Code Interpreter｣にNetflixをデータ解析させたらスゴかった
コード・インタープリターはChatGPTの有料版｢ChatGPT Plus｣で、GPT-4の付加機能として呼び出せる。 画像：筆者によるスクリーンショット ChatGPTの有料版である｢ChatGPT Plus｣（月額20ドル）には、7月初めから｢Code Interpreter（コード・インタープリター）｣という機能が追加された。 この機能が画期的だとして、一時ネットでは大いに話題になった。これまでは面倒だった｢データ集計｣などを、チャットの命令だけで実行できるからだ。 データ集計は、Excelなどの表計算ソフトやPythonなどのデータ処理に強いプログラミング言語で処理することが多い。 しかしコード・インタープリターでは、それらを使う必要はほとんどなく、データさえ用意できればいい。さまざまな手間がほぼゼロになり、ChatGPT任せにできる。 そうはいってもピンと来ない人も多いはず。そこ
QGISとは？ QGISは、地理情報システム（GIS）のためのオープンソースソフトウェアで、地理データの閲覧、編集、分析を行うことができます。QGISは多くのプラットフォーム（Windows、MacOS、Linux）に対応しており、商用GISソフトウェアと比較しても多機能でありながら無料で利用することができます。 主な特徴としては以下があげられます。 多機能かつ柔軟性が高い: QGISは、地理データのインポート・エクスポート、地図作成、空間解析など、多くのGISタスクを実行することができます。 オープンソース: ソースコードが公開されているため、コミュニティの支援を受けつつ進化しています。また、カスタマイズや拡張が容易です。 豊富なプラグイン: サードパーティによって開発されたプラグインが多数あり、特定の機能を追加することができます。 GEEプラグインについて 今回紹介するGEEプラグイン
土地被覆分類とは？ 衛星画像や航空写真などのリモートセンシングデータを分析し、地表のさまざまなカバータイプ（例えば、森林、農地、水域、都市地域など）を識別するプロセスです。土地被覆分類は地球環境のモニタリング、土地利用計画、生態系の管理、気候変動の研究など、多くの応用分野で利用されます。 以前の記事で利用した環境省生物多様性センターの植生図をはじめ、国土地理院の地理院地図、産総研のシームレス地質図などが作成され公開されています。 GEEには土地被覆分類を行うためのオブジェクトとしてee.Classifierというものが用意されています。これを利用することで機械学習を利用した土地被覆分類を行うことができます。 ee.Classifierが対応している主要な機械学習モデルは以下の通りです。 決定木(Decision Tree)：条件分岐によってグループに分けられる木の構造をしたものです。回帰に
随分と長い間，主にプロセス産業の製造現場のデータを対象として，様々な解析を行ってきた．今でも，いくつかの企業と一緒にデータ解析をしている．特に最近は，製造DX実現を掲げての依頼が多い．これまで，多くの成果をあげてきたし，それ以上に多くの失敗もしてきた．その経験を踏まえて，製造プロセスのデータ解析をしようという技術者に「これだけは伝えておきたい」ということがある．それを「３つの心得」としてまとめておくことにした．もっと詳しく知りたいという人がいれば，私の講演を聞いて下さい． 製造プロセスのデータ解析そもそも，製造現場で制御したいのは製品品質（製品の重要特性）であるが，その計測値・分析値がリアルタイムに得られることは珍しい．多くの場合，抜き取り検査をして，高価な分析装置を使って，長い時間をかけて，分析値を得る．この分析値が出てくるのを待っている間にも生産は継続しており，「あっ，不良品だ！」と気
NECは2023年10月19日、Pythonによるデータ解析処理を高速化するソフトウェア「FireDucks」を無償提供すると発表した。これは新エネルギー・産業技術総合開発機構（NEDO）の支援を受けて開発したもので、NECは「データサイエンティストの業務時間を短縮するだけでなく、省電力化やCO2削減など、環境課題解決にも貢献する」としている。 import文を1行書き換えるだけで利用可能 FireDucksは、テーブルデータの分析で標準的なライブラリ「pandas」を使って作成されたプログラムを高速化する。高速化の度合いについてNECは「平均で約5倍、最大16倍高速化する」としている。高速化実現のポイントは「全コアの並列活用」と「処理の最小化」だ。 関連記事 無料で「実践的なデータサイエンス」を学べるオンライン演習を開講 総務省 総務省は、データサイエンスのオンライン講座「社会人のための
データ解析用ライブラリ - Qiita
はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか？ 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームとシリーズという2つの主要なデータ構造が提供されており、データの読み込みやフィルタリングなど、様々なデータ解析/処理に適しています。 中小規模のデータセットに適しており、大規模なデータの処理はメモリ不足や処理速度の問題からあまり向いていません。 Numpy こちらも言わずと知れたライブラリです。 高速な多次元配列の処理とベクトル化演算のためのライブラリであり、配列の生成やブロードキャスティングなどの多彩な操作を提供しています。 線形代数や乱数生成、フーリエ変換などの科学技術計算
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 スモールデータ、すなわちサンプル数が小さいデータセットにおいては、データ解析・機械学習を慎重に行う必要があります。スモールデータにおける問題の詳細は、こちらに書いた通りです。 小さなデータセットが抱える大きな問題サンプル数が小さいデータセットには、データ解析で回帰分析やクラス分類をするとき、とてつもなく大きな問題があります。回帰分析やクラス分類における問題というと、精度の高いモデルが構築できないことを想像するかもしれません。
28日も各地で猛暑日を観測しています。そうしたなか、熱中症にかかったことがある人は、将来、白内障を発症する確率が4倍ほど高まることが分かりました。 金沢医科大学の佐々木洋主任教授らは、およそ260万人分の医療機関の診察データから、熱中症にかかった後に白内障を発症した人の割合を調べました。 その結果、熱中症にかかったことがない人と比べて、5年後に白内障を発症する確率が4倍ほど高まることが分かりました。 金沢医科大 眼科学講座 佐々木洋主任教授：「体内の温度も上がることで目の中の温度そのものが上がって、温度そのものの影響として白内障のリスクが上がっている。“核白内障”というすごい多いタイプだが、水晶体が濁るので（最終的に）目の奥に光が入らなくなるので、ほとんど見えなくなってしまう」 年齢別でみると、20代からリスクが上昇し始め、60代では5倍近くになっていました。 金沢医科大 眼科学講座 佐々
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 データ解析・機械学習でモデルを構築し始める際のサンプル数の目安について、もちろんモデルを構築する時には、可能な限り多くのサンプルを用いることが望ましいです。多くのサンプルを用いることで、サンプルの変化に強い (例えばサンプルが一つ追加されたり一つ削除されたりしても結果の変わりにくい) 頑健なモデルを構築できる可能性が高まります。頑健なモデルにより、より妥当な x の設計やモデルの解釈が可能になります。 ただし、サンプルを集め
新型コロナが5類に移行してはじめて迎えたことしのお盆。どれくらいの人が移動したのかを携帯電話のビッグデータで解析すると、感染が拡大する前の2019年を初めて上回ったことが分かりました。 ことしは阿波おどりが制限の無い形で開催されている徳島県をはじめ、東北や四国など地方への移動が大きく増加しています。 ことしはどれだけ移動した？ NHKは、NTTドコモが携帯電話の基地局からプライバシーを保護した形で集めたデータを使い、下りのピークの11日を中心とした10日から12日の3日間について都道府県をまたいで移動した人の数を分析しました。 （データの詳細は記事の最後に） 感染拡大前の2019年を100％として毎年のお盆の期間の結果を比較した図がこちらです。
土地被覆分類とは？ 衛星画像や航空写真などのリモートセンシングデータを分析し、地表のさまざまなカバータイプ（例えば、森林、農地、水域、都市地域など）を識別するプロセスです。土地被覆分類は地球環境のモニタリング、土地利用計画、生態系の管理、気候変動の研究など、多くの応用分野で利用されます。 以前の記事で利用した環境省生物多様性センターの植生図をはじめ、国土地理院の地理院地図、産総研のシームレス地質図などが作成され公開されています。 GEEには土地被覆分類を行うためのオブジェクトとして**ee.Classifier**というものが用意されています。これを利用することで機械学習を利用した土地被覆分類を行うことができます。 今回は、CARTを利用して、ローカルな土地被覆分類を行ってみます。 CARTとは？ CART（Classification And Regression Trees）は、教師あ
【読売新聞】 北朝鮮が昨年１１月に打ち上げた軍事偵察衛星が高度上昇を繰り返し、地球を安定的に周回していることがわかった。読売新聞社が米軍の公開データを専門家に依頼して解析した。日本政府もこの動きを把握しており、衛星に地上からの指示に
Googleがコーディング補助やデータ解析が可能なAIサービス群「Duet AI」のプレビュー版をGoogle Cloudに導入
Googleが作業補助AIサービス群「Duet AI」のプレビュー版をGoogle Cloudに導入したことを発表しました。Duet AIにはコーディングやデータ解析などに役立つAIが含まれており、記事作成時点では無料でテスト可能です。 Duet AI | Google Cloud https://cloud.google.com/duet-ai Duet AI in Google Cloud Preview | Google Cloud Blog https://cloud.google.com/blog/products/ai-machine-learning/duet-ai-in-google-cloud-preview Googleは「Googleドキュメントでテキストを補完できるAI」や「Googleスプレッドシートでデータを分析するAI」などの作業補助系AIをまとめて「Du
COVID-19後遺症について１２万症例を超す日本初の大規模データ解析を実施～電子カルテ情報を用いた日本国内におけるCOVID-19後遺症の年齢やワクチン接種率による発症傾向を解明～
ホーム > 医薬基盤研究所(NIBIO)のお知らせ > COVID-19後遺症について１２万症例を超す日本初の大規模データ解析を実施～電子カルテ情報を用いた日本国内におけるCOVID-19後遺症の年齢やワクチン接種率による発症傾向を解明～ 医薬基盤研究所(NIBIO)のお知らせ COVID-19後遺症について１２万症例を超す日本初の大規模データ解析を実施～電子カルテ情報を用いた日本国内におけるCOVID-19後遺症の年齢やワクチン接種率による発症傾向を解明～ 2023年7月18日 全国にまたがる徳州会メディカルデータベースの電子カルテ情報を活用し、新型コロナウイルス感染症（COVID-19）の後遺症について、0～85歳を対象とし、12万症例という規模では国内初となる大規模調査が実現しました。 頭痛、倦怠感、味覚・嗅覚障害といった後遺症は急性期からみられ、その約１割が長期化する一方、うつや廃
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 モデルに関して、予測精度の高いモデルを構築することも重要ですし、構築したモデルを解釈することでデータセットが取得された実験系やシミュレーション系に新たな知見をフィードバックすることも大事です。モデルの予測精度の向上や解釈性の向上のため、x を検討することが行われます。特徴量エンジニアリングと呼ばれることもあります。 特徴量・記述子を検討・設計するときの心構え分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・
Bayesian Data Analysis 3 (BDA3)の翻訳本『ベイズデータ解析 第3版』はいいぞ
ついにBDA3の翻訳が森北出版から出版されました！ ヨドバシカメラ Amazon そもそもBDA3って何？ Bayesian Data Analysis 3rd editionの略です。Andrew Gelman先生、John B. Carlin先生、David B. Dunson先生、Donald B. Rubin先生ら超一流の著者陣によるベイズの教科書の第3版です。 原著は2013年に出版された本だぞ、古いのでは？ 全く古くありません。線形代数は古いから使わない、線形回帰は古いから使わない、そんなことないですよね？ベイズ統計をベースにした考え方はfundamentalな技術であり、モデルが線形回帰だろうと深層学習だろうと拡張できますし、欠測補完や因果推論といった問題設定とも相性が良いです。超一流の著者陣による色褪せない理論の説明とデータ解析例を味わいましょう。 とはいえコードとかは古く
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【QGIS】GISソフトでGoogle Earth Engineを操作する【衛星データ解析】 - LabCode
【GEE】ランダムフォレストで土地被覆分類を行う【衛星データ解析】 - LabCode
データ解析者の心得： 製造DXの初歩の初歩｜Dr. Kano
「Pythonのデータ解析処理を最大16倍高速化するソフトウェア」をNECが無償で提供
スモールデータを用いたデータ解析・機械学習のアプローチのまとめ
【独自】熱中症で白内障の発症率4倍に 260万人分の診察データ解析
データ解析・機械学習を始める際のサンプル数の目安(あくまで目安！)
5類移行で初のお盆 人の移動はどうなった？ ビッグデータ解析 | NHK
【GEE】CARTで土地被覆分類を行う【衛星データ解析】 - LabCode
北朝鮮の偵察衛星に制御能力、日韓上空を安定周回…軌道データ解析
理論が先か、データ解析・機械学習が先か、特徴量エンジニアリングの方針と注意点