皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み&集約 5. 不要なものを読み込まない 6. 不要なカラム/DataFrameを消す 番外編:そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON(JSONL
AI研究団体・OpenAIが発表して話題を呼んだ対話型AI「ChatGPT」は、テキスト自動生成AI・GPT-3の派生形である「GPT-3.5」をファインチューニングした自然言語処理モデルです。チューリッヒ工科大学で機械学習とロボティクスの博士号課程に進んでいるダニエル・デュガス氏が、GPT-3が行っている数学的処理工程について解説しています。 The GPT-3 Architecture, on a Napkin https://dugas.ch/artificial_curiosity/GPT_architecture.html ◆入力/出力 まずGPTの「入力」とは一連のN個の単語のことで、「(入力)トークン」とも呼ばれます。そして、GPTの「出力」とは、入力トークンの最後に配置される可能性が最も高いと推測される単語です。例えば「not all heroes wear(すべてのヒーロ
AI 2041 人工知能が変える20年後の未来 (文春e-book) 作者:カイフー・リー(李開復),チェン・チウファン(陳楸帆)文藝春秋Amazonこの『AI 2041』は、人工知能学者の李開復(元Google中国の社長)が2041年における未来予測と解説を担当し、『荒潮』などの著作のあるSF作家陳楸帆が未来に生き生きとしたストーリー的肉付けを与え短篇に仕立て上げる形で合作されたノンフィクション✗SFな一冊である。「AIが当たり前のように生活を支配している」未来社会を、実感を持って描き出すために物語(短篇)をつかっていく構成になる。 一般的にいって、そうした具体的な情報を伝えるための意図を持った物語(小説でも漫画でも)は教科書的になって物語としてのおもしろさは犠牲になることが多いのだが、本作の凄いところは一つひとつの短篇が陳楸帆の作品としておもしろく読めるところにある。本書の短篇部分だけ
Google検索やチャットAI「ChatGPT」などでは、人間が書いた文章を機械的に処理するために自然言語処理アルゴリズムが用いられています。そんな自然言語処理アルゴリズムが、創薬分野でも活躍しつつある現状が報告されています。 How AI That Powers Chatbots and Search Queries Could Discover New Drugs - WSJ https://www.wsj.com/articles/how-ai-that-powers-chatbots-and-search-queries-could-discover-new-drugs-11670428795 解熱剤や頭痛薬などの薬品には各種症状に影響を与えるタンパク質が含まれており、新たな薬品を開発するためには目的の症状に有効なタンパク質の構造を導き出す必要があるのですが、既存の方法ではタンパク
AI=人工知能を活用して乗り合いの自動車を運行する試験的なサービスが、公立はこだて未来大学で12日から始まりました。 このサービスははこだて未来大学が大学周辺の交通の利便性を向上しようと始めました。 大学のベンチャー企業が開発したAIの配車システムが活用され、利用者が乗車場所や時間、目的地などを決めるとAIが他の人の利用状況に応じて乗り合いのための最適なルートを判断する仕組みで、デマンド型交通と呼ばれています。 きょうは、学生が専用のウェブサイトから予約を行うと、指定した場所まで車が迎えに来て、他の人と乗り合いで大学まで移動していました。 利用した大学院2年の西川和真さんは「予約のしかたも簡単で自分の好きな時間や場所で利用できて便利なので、通学やスーパーに寄るときに使いたいです」と話していました。 AI配車システムを開発した未来シェアの松舘渉社長は「デマンド型交通は好きなときに出かけられ外
Dramatron is a script writing tool that leverages large language models. You can read about Dramatron here. Thanks to everyone who attended the NeurIPS Workshop on Machine Learning for Creativity and Design, and we hope you enjoyed the Dramatron demo. For more information about this project, please see our arXiv paper.
囲碁や将棋でプロ棋士を打ち負かす腕前を持つAI「AlphaZero」やタンパク質の立体構造解析を行うAI「AlphaFold」を開発するGoogleの姉妹企業・DeepMindが、映画や演劇の脚本を「共同執筆」するためのAIツール「Dramatron」を発表しました。 Dramatron https://deepmind.github.io/dramatron/ GitHub - deepmind/dramatron: Dramatron uses large language models to generate coherent scripts and screenplays. https://github.com/deepmind/dramatron [2209.14958] Co-Writing Screenplays and Theatre Scripts with Langua
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く