Timee × Commune データチーム勉強会より
第3回ではブラケット「[]」やiloc属性/loc属性を用いて行や列、特定要素を選択する方法を紹介しました。が、pandasのDataFrameオブジェクトではその他にもさまざまな方法で行や列(Seriesオブジェクト)、DataFrameオブジェクトを構成する一部のDataFrameオブジェクト、特定の要素などを選択できます。今回はそれらの方法を紹介していきます。 at属性/iat属性による特定要素の選択 前述の通り、第3回ではブラケットやiloc属性/loc属性を使ってDataFrameオブジェクトの特定の行や列、要素を選択する方法を紹介しました。繰り返しになりますが、以下にその例を示しておきましょう。 なお、ここでは以下のようなDataFrameオブジェクトを定義して例として使うことにします。 df = pd.DataFrame([['kawasaki', 99, 175, 80],
はじめに 東北大学/株式会社Nospareの石原です.本記事では,機械学習を用いた平均処置効果 (average treatment effect; ATE) の推定方法を紹介します.以前の記事で紹介したように,条件付き独立の仮定の下では条件付き期待値関数と傾向スコアを推定することができれば ATE を推定することができます.Chernozhukov et al. (2017) は,条件付き期待値関数と傾向スコアを機械学習手法で推定することで ATE を推定するという方法を提案しています.彼らの提案した方法は "Double/Debiased Machine Learning" と呼ばれています.本記事では,通常のノンパラメトリック推定方法を用いた場合の既存の理論結果を紹介し,機械学習手法を用いる場合の理論的な問題点を解説します.そして,次回の記事で,Chernozhukov et al.
「LLMの評価」というフレーズを見て、どんなことを思い浮かべるでしょうか? おそらく大半はLLMモデル自体の評価のことを思い浮かべると思います。新しいモデルが出てきた時に𝕏で見かける「GPT-4o のMMLUベンチマークは89%!」みたいなアレ。 ですが、プロダクト開発にLLMを使っている人の間では、プロンプト等が十分な品質を出しているかの確認などにも評価という言葉を使っていることは多いのではないかと思います。 うまい具合に後者を区別するためにいい感じの呼び名を付与したい気持ちがあるのですが、英語圏での例を見てみるとシンプルに"Evals"と呼んでることもあれば Evaluating LLM System Evaluating LLM-based Applications などなど表現の仕方は様々になっています。 そしてそのプロダクト開発文脈での評価も、実態としてはオフライン評価やオンラ
Raspberry Pi 5でAI推論を実行可能にするキット。拡張基板の「Raspberry Pi M.2 HAT+」と「Hailo 8L AIアクセラレーター」がセットになっており、最大13TOPSの推論性能を利用することができる。 関連記事 Raspberry Pi 5用のM.2変換基板が発売 国内提供は近日開始の見込み Raspberry Piは、Raspberry Pi 5にM.2デバイスを接続可能な拡張基板「Raspberry Pi M.2 HAT+」の販売を開始した。 「Raspberry Pi 5」発表 CPU性能は2倍以上に向上、PCI Express 2.0にも対応 前世代機に比べてプロセッサの処理性能が2倍以上に高速化したという。 Raspberry Pi 4用の公式ケースに装着できる純正ファンが発売 KSYは、Raspberry Pi 4公式ケース用冷却ファンの取り扱
DuckDBチームは2024年6月3日(オランダ時間)、オープンソースの分析データベースシステム「DuckDB」の正式バージョン1.0.0を公開した。 DuckDBは、2018年にプロジェクトの最初のソースコードが作成された。現在のC++エンジンのコードは30万行を超える。速度、信頼性、ポータビリティ、使いやすさに重点を置いて設計されており、豊富なSQLの方言をサポートしている。サードパーティーによる拡張機能も複数構築、配布されている。 スタンドアロンのCLI(コマンドラインインタフェース)アプリケーションとして利用可能で、Python、R、Java、Wasmといったクライアントがあり、pandasやdplyrなどのパッケージと深く統合されている。 DuckDB 1.0.0の重点ポイント 関連記事 PostgreSQLの主要コントリビューター「EDB」が語る、クラウドネイティブデータベース
快進撃を続ける米NVIDIA(エヌビディア)。AI(人工知能)半導体であるGPU(画像処理半導体)の行方を占う連載の3回目は、「ポストGPU」と呼ばれる新型のAI向け半導体を取り上げる。この領域はスタートアップを中心に様々な技術が登場している。GPUのボトルネックを狙う最終兵器とは。 ポストGPUの特徴に、今後のニーズを見据えてAIの学習ではなく推論を専用とするスタートアップが多いことが挙げられる。例えば米d-Matrix(dマトリックス)は異なるチップを組み合わせる「チップレット」技術を採用し、最先端GPUの40倍のメモリー帯域幅を実現した。 米ハーバード大学を中退した21歳のコンビが起業した米Etched.ai(エッチドAI)や、米Google(グーグル)で機械学習向けチップ「TPU(Tensor Processing Unit)」を担当していたエンジニアが創業した米Groq(グロック
Adobe(アドビ)の「アドビ基本利用条件」(以下、基本利用条件)において、同社のサービス・ソフトウェアで用いたさまざまなコンテンツ・データが、アクセス・表示・監視の対象になりうることが記載されていた点が物議を醸している。コンテンツが機械学習データとして分析されうる点も、そうした懸念を高めているようだ。 Adobeは米国に拠点を置くソフトウェア企業だ。画像編集ソフト「Photoshop」や動画編集ソフト「Premiere Pro」といった、主にクリエイティブな目的に用いられるソフトウェアを手がけている。 ほぼすべてのデータがアクセス・表示・監視されうるとの規定 今回、Adobeのさまざまな製品やサービスに関して規定する基本利用条件について注目が集まっている。基本利用条件は今年2月17日に更新・発効されており、この際に変更が加わった規定が今になり多くのユーザーから問題視されている。 注目を集
Gemini 1.5 Proのマルチモーダル機能により、ソース内の画像やチャートに関する質問にも応える。 ソースを選択すると、データに基づく要約を表示し、その下のプロンプト枠で質問できるようになる。回答の文末には数字のついたラベルが表示され、ラベルにカーソルを合わせるとその文の根拠となるソースの部分が表示される。 また、ソースに基づいて、FAQ、ブリーフィング資料、学習ガイドなどの形式に変換する機能も追加された。 上の画像は、本稿筆者がNotebookLMに関するGoogleの2件の公式ブログのテキストと、アイティメディアのGoogle I/Oの記事のURLをソースとして指定したものだ。日本語設定のGoogleアカウントでは回答が日本語で表示されるが、日本語の記事へのURLの内容は元記事がシフトJIS形式の日本語テキストをUTF-8エンコーディングとして解釈されてしまったために文字化けして
画像生成AI「Stable Diffusion」の開発元として知られるStability AIが、オープンソースの音楽生成AI「Stable Audio Open」を公開しました。Stable Audio Openは、文章で指示するだけで最長47秒の音楽を生成できます。 Stable Audio Open — Stability AI https://stability.ai/news/introducing-stable-audio-open We’re excited to announce Stable Audio Open, an open source model optimised for generating short audio samples, sound effects and production elements using text prompts. This
下がるCPUアーキテクチャへの依存度Copilot+ PC最初の製品である新型Surfaceに着目すると、クァルコムの最新チップであるSnapDragon Xシリーズを搭載していることに目が行きがちだ。アップルが真っ先にMacをArmに移行させたように、Armアーキテクチャがカバーする応用領域は着実に広がってきた。 それが、x86アーキテクチャを基本としてきたWindowsを開発するマイクロソフトが作る、新しいトレンドとコンセプトを示す主力デバイスにまで広がってきたということは、今後インテルやAMDへは厳しい道のりが…といった文脈を想像しがちだ。 アップルが高性能なSoC*1をMacで展開していることを考えれば、今後、これが世の中のトレンドになるという想像をするかもしれない。 *1:一枚のチップ上に、様々なシステム機能を集合させた半導体製品 しかしインテルやAMDが競っている領域と、Arm
GPT-4などの大規模言語モデルは非常に高い性能を有していますが、各モデルがどのような思考を経て応答を出力しているのかは開発者ですら把握できていません。新たに、OpenAIが大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈可能なパターンに分解できたことを発表しました。 Extracting Concepts from GPT-4 | OpenAI https://openai.com/index/extracting-concepts-from-gpt-4/ Scaling and evaluating sparse autoencoders https://cdn.openai.com/papers/sparse-autoencoders.pdf 一般的なソフトウェアは人間の設計に基づいて開発されているため、各機能の仕組みを理解した上で機能を修正したり安
AIの発達により、かつてはスーパーコンピューターを長時間稼働させて行ってきた天気予報が、短時間かつ高精度で行えるようになりつつあります。そんな中、Microsoftが天気予報と同時に大気汚染を瞬時に予測できるAIモデル「Aurora」を発表しました。 Introducing Aurora: The first large-scale foundation model of the atmosphere - Microsoft Research https://www.microsoft.com/en-us/research/blog/introducing-aurora-the-first-large-scale-foundation-model-of-the-atmosphere/ Superfast Microsoft AI is first to predict air pollut
KPMGインターナショナルは2024年5月31日、「AIを用いたこれからの財務報告と監査」を発表した。これは世界10カ国(オーストラリア、カナダ、フランス、ドイツ、日本、アイルランド、オランダ、英国、米国、スペイン)の800社を対象に、AI(人工知能)と監査について調査した結果をまとめたもの。 それによると、4分の3(72%)の企業が財務報告プロセスにおいてAIを試験的に導入または使用しており、KPMGインターナショナルは「この割合は3年後には全世界レベル(99%)に拡大する」と予測している。 企業はAI活用に監査人に「保証」と「証明」を求めている 財務報告にAIを導入する利点について聞くと、「トレンドと影響の予測能力が手に入る」「リアルタイムにリスク洞察ができるようになる」「データに基づく意思決定を改善できる」「データの正確性を向上させられる」が上位を占めた。また約40%の企業が「(AI
米司法省(DoJ)と米連邦取引委員会(FTC)は、Microsoft、OpenAI、NVIDIAに対する独占禁止法調査を開始 米司法省(DoJ)と米連邦取引委員会(FTC)は、Microsoft、OpenAI、NVIDIAに対する独占禁止法調査を開始し、これらの大企業がAI業界に与える影響を調査する予定であると、米The New York Timesが6月5日(現地時間)、この件に詳しい匿名の関係者の話として報じた。 この3社は、AIブームの最大の勝者として注目されており、その優位性に疑問が生じているとNew York Timesは指摘する。 NVIDIAはMicrosoftやOpenAI、Amazon、xAI、SoftbankなどにAIチップを提供しており、同社の直近の業績発表によると、売上高は262%増の260億ドル超だった。同社の時価総額は5日、米Appleを抜いて世界第2位になった
パーソルホールディングスは6月5日、生成AI活用に関するグループ社員のアップスキリングに取り組んだことにより、アップスキリング後は平均3.3時間の業務時間が削減し、アップスキリング前に比べて43.5%増加したことを明らかにした。また、生成AI活用に関するアップスキリングをきっかけに、新たな学びの機会や習慣が創出されことや、社内コミュニティでの情報交換や相互コミュニケーションが、学習のモチベーション向上に好影響を与えたという。 これは、生成AI(パーソル社内専用GPT)活用に関するアップスキリングが、社員の業務効率化と学習の習慣化に対してどのような影響を与えたかを把握することを目的として、会社支援のもと生成AI資格試験を受験したパーソルグループ社員196名を対象に、2024年2月に行ったアンケートによるもの。 それによれば、パーソル社内専用GPT活用による業務時間の削減について、アップスキリ
6月6日、プライバシー保護団体NOYBは、米メタ・プラットフォームズが自社の人工知能(AI)モデルを訓練するため、ユーザーの同意を得ずに個人情報を利用できる規則変更を提案したとして、欧州11カ国のデータ保護当局に差し止めを求めた。写真はEUの旗とメタのロゴ。昨年5月撮影(2024年 ロイター/Dado Ruvic) [ブリュッセル 6日 ロイター] - プライバシー保護団体NOYBは6日 米メタ・プラットフォームズ(META.O), opens new tabが自社の人工知能(AI)モデルを訓練するため、ユーザーの同意を得ずに個人情報を利用できる規則変更を提案したとして、欧州11カ国のデータ保護当局に差し止めを求めた。
","naka5":"<!-- BFF501 PC記事下(中⑤企画)パーツ=1541 -->","naka6":"<!-- BFF486 PC記事下(中⑥デジ編)パーツ=8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下(中⑥デジ編)パーツ=8826 -->","adcreative72":"<!-- BFF920 広告枠)ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag PC誘導枠5行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
アーティストの作品を企業の生成AIトレーニングや盗作に利用されないように守ると謳うSNS「Cara」のユーザーが急増している。米TechCrunchの6月6日付の記事によると、ユーザー数は過去1週間で4万人から65万人に増えたという。創業者のジンナ・チャン氏はこの記事の公開後、70万人を突破したとXにポストした。 画像生成AIモデルの多くは、著作権で保護された作品や個人データを含むネット上の膨大な量の画像をスクレイピングしてトレーニングされている。例えば米Metaは、ユーザーがFacebook、Instagram、Threadsに投稿したデータを自社の生成AIモデルのトレーニングに利用していることを明らかにしている。米Xもだ。 Caraは、こうした状況を受けて、シンガポール出身のアーティストであるチャン氏が2023年1月に立ち上げた。同氏は自らの作品もスクレイピングされたとして複数のAI大
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く