「Python」と「Google Colaboratory」で株価データ分析に挑戦:「Python」×「株価データ」で学ぶデータ分析のいろは(1) 日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。第1回はPythonを実行する環境とデータの前準備について。 はじめに 連載第1回は「Google Colaboratory」でサンプルプログラムを実行するための環境を用意する方法や利用するPythonのライブラリを説明します。「Google Chrome」と「Googleアカウント」を用意して読み進めてください。 なお、連載の趣旨がデータ分析であるため、Pythonの言語仕様や文法の詳細を割愛する場合があることをご了承ください。 Google Colaboratoryの準備 Google Colaboratoryとは、Googleが提供するブラウザ上でPy
【保存版】環境構築不要!Google Colaboratoryで始める「ゼロから作るDeepLearning」Python機械学習MachineLearningDeepLearning 「ゼロから作るDeepLearning」とは? DeepLearningの理論非常に丁寧に説明している良書です。ライブラリに頼らず理論を理解してゼロから実装するので、「DeepLearningの理論をしっかりと理解したい!」という人におすすめです。ですが、Pythonの文法の説明は少ないので、ある程度入門書などでPythonの基礎を習得していないと理論は理解できてもプログラムを理解するのは難しいかと思います。 以下から購入できます。 https://www.amazon.co.jp/dp/4873117585/ref=cm_sw_em_r_mt_dp_U_dEFvEb1FVX4AK プログラムをGoogle
Google、Python環境の「Colaboratory」にAIによる開発支援機能を搭載へ。自然言語からのコード生成、チャットボットによる質疑応答など Googleは今月(2023年5月)に開催したGoogle I/O 2023で、同社として最新の大規模AIモデル「PaLM 2」を発表しており、今回Colaboratoryに搭載されるのも、このPaLM 2に基づいてコードの生成用に作られたモデル「Codey」です。 このCodeyを用いて、Colaboratoryには数カ月以内にコード補完、自然言語によるコード生成、コード支援チャットボットなどの機能が搭載される予定です。 下記は「import data.csv as a dataframe」という自然言語での入力からコードが生成されたところ。
「ゼロから作るDeep Learningシリーズ」が最高 ゼロから作るDeep Learningは、TensorFlow、Keras、PyTorchといったディープラーニングのフレームワークを一切使わず、基本PythonとNumpyのみでディープラーニングのアルゴリズムを作って理解していくというハードコアな内容です。 シリーズは3冊出ていて、1が画像認識、2が自然言語、3がフレームワークに重点を置いた内容です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅発売日: 2016/09/24メディア: 単行本(ソフトカバー) ゼロから作るDeep Learning ❸ ―フレームワーク編 作者:斎藤 康毅発売日: 2020/04/20メディア: 単行本(ソフトカバー) ゼロから作るDeep Learning ❷ ―自然言語処理編 作
Google Colaboratoryで試せる面白い機械学習プロジェクト6選投稿者: tsukurel 投稿日: 2020年6月10日2020年6月10日 Google Colaboratory(略称Colab)はご存じでしょうか。名前の通りGoogleによって提供されているサービスで、PythonをWebブラウザ上で実行できるJupyter Notebookを提供しています。さらにGPUが無料で実行できるとあって、機械学習系のプロジェクトでも利用されています(実用というより実験などで用いられています)。 今回はそんなGoogle Colaboratoryで実行できる面白いプロジェクトを幾つか紹介します。Open in Colabの画像をクリックすれば、それぞれのプロジェクトをすぐに試せます。 動画中の車認識 Google公式に提供されているプロジェクトです。道路を走っている車を認識し、車
Stable Diffusionの衝撃 つい先週「Midjourney」というAIによる画像生成AIを紹介しましたが、Stable Diffusionという超新星が登場いたしました。 何が凄いかというと、オープンにモデルが公開されているので、誰でもこのモデルを改変したり、モデルを使用したアプリが作れるのです。詳しくは、以下の深津さんのnote記事を参照ください。 さすらいAIプログラマーのshi3zさんは、既に日本語で誰でも無料で手軽に使えるWebアプリを公開されています。 サーバー代めちゃくちゃかかっているけど、自腹でやり続けるそうです。凄すぎです。上記記事のshi3zさんのYouTube動画から、shi3zさんの熱狂が伝わってきます。 Stable DiffusionをWebアプリ的に手軽に使えるツールを作成しました。 思えば、私もディープラーニングおじさんも、AIにハマった大きなきっ
2020.10.05 KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~ こんにちは。次世代システム研究室のY. O.です。 筆者はデータ分析のスキルアップのためにkaggleというデータ分析プラットフォームを活用しています。kaggleを始めてから約2年間を経て、スキルアップの枠を超え、趣味・生活の一部・etc.になってきてしまっているのも認めざるを得ません。。。 今回は、先日kaggleの自然言語処理コンペ(Tweet Sentiment Extraction)で2位になった結果を題材に、振り返りの意味を込めて”こうしておけば良かった”という点をMLOpsの観点でまとめていきたいと思います。 ここで、kaggleを取り巻くMLOpsの構成をKaggleOpsと勝手に呼ぶこととし、少なくとも筆者は今後のコンペでも以下にまとめ
こんにちは! テリーです。先日NVIDIA GTCというイベントがありました。GPUテクノロジーカンファレンスの略です。NVIDIAが進めている最新の技術と商品を紹介しているため、AI、動画、音声、その他あらゆる高速コンピューティングのトレンドを理解することができます。年々紹介する分量が増えてきていましたが、今年は特に量が多かった印象です。 さて、機械学習エンジニアやストリーミングエンジニアの諸氏におかれましては、開発環境の維持コストに頭を悩ませている方も多いことでしょう。なぜなら、あまりにも技術の進歩が激しく、去年50万円も出して購入したGPUパソコンでさえ、今年の新商品に搭載されている機能が使えないということが毎年のように繰り返されているからです。最新のGPUとパソコンを渋々買い替えている人が多いと思いますが、セットアップも中古売却もめんどくさいです。なんとかならないでしょうか? 今回
3月2日に開催された、分析コンペ 勉強会で、「Colaboratoryで分析コンペをする時のテクニック集」として発表をしました。 speakerdeck.com この記事では、その内容を書きたいと思います。 Colaboratoryテクニック9つ 1. テーマの設定(darkモード等)、エディタの設定(インデント幅等) 2. ColaboratoryかKaggleNotebookか判別 3. Notebook名を取得 4.Google Driveのファイルへのアクセスを許可 5.学習する際は、MyDriveはなるべく使わない 6.a Kaggle Apiを使用する 6.b データのKaggleDatasetsへのアップロード 7 Mydriveからのweightのロードが遅い場合 8 Githubのrepositoryをclone public repositoryをcloneする場合 p
モチベーション NodeJS である npm パッケージを試したいとなった場合 RunKit is Node prototyping がとても便利です。任意の npm パッケージをインストールができ、なおかつ他人のその結果を共有できます。例えば、これは誰かと一緒にある npm パッケージの使い方の相談をするときによく使います(e.g. lodash の groupby の使い方を示したり)。 Perl でも同様に任意の CPAN モジュールをインストールして、他人に結果を共有できるサービスがあると便利なのですが、一般公開されているものを見つけることはできませんでした。 そんな気持ちを持ちつつ、ある日突然 Google Colaboratory を使えば目的を達成できるのではと気付いたので、これを紹介します。 やり方 perl.ipynb · GitHub にアクセスします。 画像の Ope
Google Colaboratoryの有料プランが、これまでの定額使い放題から、クレジット制に移行となりました。 変更点を確認したいと思います。 料金 GPU コンピューティングユニットの消費 1ヶ月あたりどれぐらい使えるか 感想 料金 これまでと変わらずに、Colab Proは月あたり1,072円、Colab Pro+は5,243円となっています。(https://colab.research.google.com/signup?utm_source=faq&utm_medium=link&utm_campaign=seems_too_good) それにより、Colab Proは100コンピューティングユニット、Colab Pro+は500コンピューティングユニットというGPUを使用できるクレジットがもらえます。 GPU GPUのクラスで、標準を選ぶとT4 プレミアムを選ぶと、V100
チャットAIのChatGPTや音声認識AIのWhisperを開発するOpenAIが2023年5月に3Dモデル作成AI「Shap-E」を発表しました。Shap-Eはオープンソースで開発されており、誰でも利用可能とのことなので実際にGoogle Colaboratory上で使ってみました。 shap-e/sample_text_to_3d.ipynb at main · openai/shap-e · GitHub https://github.com/openai/shap-e/blob/main/shap_e/examples/sample_text_to_3d.ipynb Shap-Eでどんなことができるのかについては下記の記事が詳しいです。 テキストや画像から3Dモデルを生成するオープンソースのAI「Shap-E」をOpenAIが発表 - GIGAZINE まずはGoogleドライブに
プログラミングを始めたばかりの人にとって、学習環境の構築は難しいものですよね。 しかしGoogle Colaboratory(グーグルコラボレイトリー)というサービスを使えば、プログラミングに必要な環境が簡単に整います。 実際にソースコードを書く前の段階でつまずいていては、学習意欲が下がってしまうおそれがあります。プログラミング学習へのモチベーションを維持するためにも、環境構築が素早く完結するGoogle Colaboratoryを使用してみましょう。 しかしプログラミングの経験がなかったり、Webサービスを使い慣れたりしていないと、Google Colaboratoryの使い方も難しく感じるかもしれません。 そこで今回は、Google Colaboratoryの使い方や、使いこなすためのポイントなどについてお伝えしましょう。Google Colaboratoryを使ってみたい、という人は
この記事ははてなエンジニアのカレンダー | Advent Calendar 2021 - Qiita 2日目の記事です。 最近、データパイプラインの整備や営業チームの人力混じりの運用フローを機械化するなどの業務改善に取り組んでいます。 その過程で、運用ドキュメントを読んだりヒアリングして図を描くことがよくあります。 描いた図をもとに「この流れであってますか?」と確認したり「ここ手間結構かかってそうですが困ってませんか?」とコミュニケーションをします。暗黙的な業務の流れが明確になるだけでなく、改善点の発見にも繋がります。 ひととおり改善タスクが終わった後にも図を最新にします。ドキュメントと併せて成果物とします。 どんなデータがあってどのようにビジネスに使われているか、データがどのように取得&保存されているかを残しておくのは今後のデータ活用や改善のためにも必要です。 俺はそんな個々の業務のデー
XMLをパースする方法に関して追記しました 何故か以前の方法でうまくいかなくなってしまったので、別の方法に切り替えました。うまくいかない人は、以下記事参考にしてみてください。 Kindleの蔵書リストを手に入れたのでデータ分析してみたくなった Kindleの蔵書リストの入手の仕方という面白い記事をみつけました。 早速Kindleのリストをcsvで入手できました。ただ、入手しただけでは面白くもないので、これを題材にデータ分析してみることにしました。分析はGoogle Colaboratoryで行いました。Google Colabに関して詳しく知りたい方は以下の記事参照ください。 Kindleの蔵書リストをデータ分析した結果 蔵書数 613でした。思ったより少なかったです(1000は超えていると思ってました)。感覚は当てにならないですね。 蔵書リストの入手の仕方の記事書いている人、1万冊超えて
1-0. Colaboratory (Colab) の使い方¶ Colaboratory(通称 Colab)によるノートブックの操作方法について説明します。 Colaboratoryの立ち上げ¶ ブラウザにGoogleアカウント(個人でもECCSでもどちらでもよい)でログインした後に、以下のURLを開いてください。 https://colab.research.google.com/ 教材のオープン¶ HTML版の教材の「Open in Colab」をクリックしたり、 Google Drive上の教材を直接Colabratoryでオープンした場合、 指定したノートブックがオープンされますが、ノートブックを操作した結果は Google Drive上に保存されません。 ノートブックの上方にある「ドライブにコピー」のボタンを押せば、 自分のGoogle Drive上にノートブックのコピーが作られ
Google ColaboratoryというGPUを無料で使えるサービスを使って画像認識させてみたいなと思ったので実際にやってみました。 日本語の情報はまだ少ないようなので少し苦労しましたがなんとかできました。 Colab上で画像認識させてみた結果がこちら。 人もコップも椅子も時計も全て認識してくれています。うん、いい感じです。 Google Colaboratory上の環境はこちらのページの通りに実施したらできました。ありがたやありがたや。今回は「darknet」というフレームワークを使用していますが、「Keras」を使用して動かす方法もあるようです。 ※以下のリンクではCUDA8.0をインストールするとなっていますが、この部分についてはインストールせずに既にインストールされている最新のCUDAをそのまま使用したほうがよさそうです。(2020/1/20追記) GitHub – ivang
「GPU・Linuxがなくても、Google Colaboratoryで『Yukarinライブラリ』を使いたい」Python音声合成GoogleColaboratory 概要 「Google Colaboratory」で、『Yukarinライブラリ』become-yukarin, yukarin コマンド解説を実行する方法を紹介します。 音声の収録以外であれば、ほぼ全て Google Colaboratoryで実行できます。 一般に、機械学習には GPU付きのLinux マシンを用意する必要があり、環境設定だけでも一苦労します。しかし、Google Colaboratoryを利用すれば、ブラウザだけで『Yukarinライブラリ』を使用できます。 このアイデアは @BURI55 様がくださいました。 本記事は『GPUがなくても、Google Colaboratory で Yukarinライブ
Google Colaboratory(Google Colab)は、Googleが機械学習の教育や研究用に提供しているサービスで、ローカルにインストールすることなくPythonや機械学習の環境を構築できます。このGoogle Colabの有料版であるGoogle Colab Pro/Pro+におけるGPUの使用量がクレジット制に移行するというメールが運営から送られてきたと、ソーシャルニュースサイトのHacker Newsに投稿されて話題となっています。 Google Colab Pro is switching to compute credits | Hacker News https://news.ycombinator.com/item?id=32656200 機械学習や深層学習の演算にはGPUが使われますが、Google Colabでは基本無料でGPUを使った計算が可能です。ただ
この記事は GMOアドマーケティングAdvent Calendar 2020 23日目の記事です。 みなさんこんにちは、GMOアドマーケティングのM.H.と申します。 突然ですがみなさんは機械学習する時にどのような環境で実行していますか?Google Colaboratoryでは、制限はありますが無料でTPUを使用し、高いパフォーマンスで学習を進めることができます。 今回はこのTPUを使って、モデル内のハイパーパラメータを自動で探索してくれるKeras Tunerを使っていく方法と注意点についてお話しします。 そもそも、TPUとは TPU(Tensor Processing Unit)とは、Googleが開発した機械学習特化型のプロセッサのことで、基本的にGPUよりも高速で学習を進めることができます。計算量が多く、バッチサイズが大きい場合に特にその効果を発揮します。 私たちがこのパワ
AI 業界の進化が著しい昨今、AI の研究開発企業として名高い OpenAI から Whisper というとんでもない自動音声認識モデルの発表がありました。(2022/09/22)Whisper は 68 万時間かけてトレーニングされた自動音声認識モデルでなんとオープンソース化されています。 公開されているサンプルでは早口や K-POP、フランス語、アクセントのある会話などを問題なく処理できることが示されています。また日本語に関しても高い精度を保持していることがグラフから見て取れます。 Whisper の GitHub リポジトリより引用 この記事で行うこと この記事では Whisper を Google が提供する Colaboratory で利用し、文字起こしツールを作成していきたいと思います。 今回やりたいことは以下の 3 つになります。 音声データから文字起こしができる 文字起こし
GMOアドマーケティングのT.Oです。 SQL式を共有したいと思ったことはありませんか? 今回はGoogle Colaboratoryを使用して、BigQueryのSQL式を共有するための手順をご紹介します。 0.Google Colaboratoryとは? Google Colaboratory(略称:Google Colab)とは、ブラウザ上でプログラム(主にPython)を記述、実行できるクラウド上のサービスです。機械学習やデータ分析の分野で利用されているJupyter Notebookというツールをベースにしていて以下のような特徴があります。 環境構築が不要(ローカル環境へのインストールは不要です) GPUへの無料アクセス(計算を高速に行いたい場合にGPUを利用します) 簡単に共有(プログラムや説明の文章、実行結果をノートブックと呼ばれるファイルにまとめて管理、共有できます) 今回
Python(pandasやNumPy)でデータサイエンスをしたい場合、描画ライブラリとしてはmatplotlibを使うのが現在のデファクトスタンダードで、地理空間データや地図の描画にはcartopyを使うのがよいです。そのcartopyですが、Googleクラウド上のJupyter notebookであるGoogle Colaboratoryで使おうとすると、2020-04現在は、公式の方法ではバグで悩まされ、実質的に使えません。回避策とその説明をこちらにまとめてみました。 結論 以下のどちらかでインストールしましょう。 パターン1 !grep '^deb ' /etc/apt/sources.list | \ sed 's/^deb /deb-src /g' | \ tee /etc/apt/sources.list.d/deb-src.list !apt-get -qq update
1.3B と言う軽さで、画像認識も画像生成も出来るJanusを味見しています。 ただ、研究として異議はあるかもですが、運用として認識も生成もしたい状況ってないんですよねー。この構造のおかげで1.3Bと言う軽さに寄与している👀? 性能は中々だと思います。 ただ、Flash Attention2必須なので、ColaboratoryだとL4以上のGPUが必要です。 うーん、1.3Bでこの性能はなかなか、、、🤔 と言うか、最近のVLMさん、MITSUKOSHIくらいなら余裕で読み取るな👀 pic.twitter.com/nZznwZ3I5H — 高橋 かずひと@闇のパワポLT職人 (@KzhtTkhs) 2024年10月18日 公式のサンプルを少し整理して動かしただけですが、ノートブックは以下にコミットしています。 github.com
第1回 Google Colaboratoryで始める機械学習のための特徴量エンジニアリング - カウントデータの二値化と離散化 PythonGoogle機械学習MachineLearningcolaboratory はじめに 本記事ではカウントデータに対しての前処理として使用される二値化と離散化について解説しています。本記事は主に「機械学習のための特徴量エンジニアリング」を参考とさせて頂いておりますので、気になる方は是非チェックしてみてください。 また本記事の内容をより詳しくYouTubeで解説しているのでこちらも気になる方はチェックしてみてください。 ※本記事で解説するプログラムは全てこちらにあります。 二値化とは 名前の通りターゲットの値を二値にする処理のことです。例えば以下の様な例を考えます。 そこでとあるユーザーのデータを取り出したところ、以下の様なデータであったと仮定します。1
2.1 Google Colaboratory について Google Colaboratory(以下Colabと略称)は Google が提供している、ブラウザ上で機械学習などのプログラミング(言語は Python)が行える環境です。numpy や Tensorflow など機械学習でよく使うライブラリがインストール済みであり、環境構築がほぼ不要で機械学習プログラミングが始められます。GPU を使うことも可能で、非力なパソコンでもディープラーニングができるので学習用の環境として非常に便利です。 Colab は基本的に Python 言語の環境ですが、R 言語を使うことも可能です。R 本体や RStudio などをインストールしなくても R のプログラミングが始められるので、Colab は R の学習環境としても魅力的であると言えます。このページでは Colab で R を使う方法について
Google ColaboratoryでR言語を使うためには、追加インストールやセッション強制終了などが必要で、毎回数分間かかるという状況でしたが、2月頃にRのカーネルがこっそりと追加されたようで、面倒なハックは不要になりました。その方法についてのメモ。 カーネルを確認まず、Google Colaboratoryにデフォルトでインストールされているカーネルを確認するため、以下を実行します。 !jupyter-kernelspec listkernels/irが表示されれば、Rのカーネルが入っているということ。 2019年4月3日時点で、Swiftも入っているようです。 Rのカーネルに切り替えるカーネルは入っているのにGoogle Colaboratoryのランタイム変更画面に「R」がまだ表示されず、選択できないので、Notebook(.ipynb)ファイルをダウンロードし、テキストエディタ
「Pythonで学ぶネットワーク分析 ColaboratoryとNetworkXを使った実践入門」 このサイトには「Pythonで学ぶネットワーク分析 ColaboratoryとNetworkXを使った実践入門」に関する追加情報を掲載します。 2024年3月に第6刷が出ることになりました。読んでくださった皆さまに感謝致します。第6刷では、以下の2024年1月24日の修正が反映されているはずです。 書誌情報 Pythonで学ぶネットワーク分析 ColaboratoryとNetworkXを使った実践入門 村田 剛志 著 本体2,800円+税 A5判/208頁 ISBN:978-4-274-22425-6 発売日:2019/09/15 発行元:オーム社 プログラムコード 第1章 分析できる環境を用意する-ツールや言語の把握 第2章 ネットワーク分析の流れを知る-小説の人間関係を紐解く [.ipy
こんにちは!株式会社キカガクの神部です。普段はマーケティングや機械学習・ディープラーニングの講師等をしています。 本記事では、Google Colaboratory(略称: Google Colab)の無料版と有料版の比較を、なるべくわかりやすい言葉でまとめています。有料版にしようか悩んでいる方のご参考になれば幸いです!
3.何がいいってGPUがタダで使える Colab上では学習をする際、GPU付きVMに繋げる事が可能です。繋がる先のGPUは選べないのですが、最低の場合でTesla K80なので、自分が使う範囲では全く問題ないです。もっといい性能が欲しい場合の人は、Pro版に課金しましょう。 4.pipも問題なく使える 大体のパッケージやモジュールは入っているので、基本numpyやpandasは最初のセルでインポートしてあげればオーケーです。それでも足りないパッケージがある場合は、!pip install hogehogeと書いたセルを実行してインストールしてあげましょう。最初のコードセルで打ってあげれば大丈夫です。 ただ、このやり方だとブラウザで立ち上げ直すごとにインストールしなおしになります。 一回一回やるのは手間だなという人は、以下の記事を参考にしてみてください。 https://ggcs.io/20
概要 「Qiita夏祭り」、「機械学習を使って、データから予測モデルを作って使おう!」の記事です。 👇コチラも読んでください! DataRobotによるAutoML超入門 本記事は機械学習超入門として、PyCaretとGoogle Colaboratoryを使って、比較的少ない準備、コード量で機械学習を試す方法について紹介します。 今日、自動機械学習(AutoML)が開発されています。これにより、機械学習はコーディングや機械学習のスキルはなくても様々な人が今よりも低いハードルで利用できる技術になりつつあるかと思います。それゆえ、機械学習とはどんなものなのか、まずは簡単に触ってみたいという人も増えるかと思い、本記事を執筆しました。 ※本記事を読みながら試してくださった方々へ。本記事はローコンテクストであるほど良いと思っています。わかりにくい表記や追記すべき内容などありましたら気兼ねなく編集
BERTとは 最近少し自然言語処理を勉強しています(仕事とかは、全く関係なくて個人的興味です)。本としては、以下の本がとても良かったです。 「Python自然言語処理入門」が自然言語処理の基礎にとても良かった 本の最後の方に、最新のディープラーニングを使った手法である「BERT」の解説があります。なので、BERTのモデル詳細に関しては本や他のネット記事など参照ください。 本では、理論面に関しては詳しく解説あるのですが、残念ながらBERTの発表が発刊直前だったとのことで、サンプルまでは本に盛り込まれていませんでした。というわけで、この記事ではBERTを使って簡単な自然言語処理を実践してみたいと思います。 BERTをGoogle Colaboratoryで手軽に試す 手っ取り早く試すために、この記事ではGoogle Colaboratory(Google Colab)を活用します。Google
本記事では、Google Colaboratoryで日本語版のBERTを使用する方法について解説します。 BERTそのものについては、昨年執筆した書籍 「つくりながら学ぶ!PyTorchによる発展ディープラーニング」 で詳細に解説しています。 BERTの仕組みを知りたい方は上記の書籍をご覧ください。 書籍では英語版しか扱っていなかったので、本投稿では日本語版でのBERTの使用方法の解説を行います。 (この記事のあと、2つほど書きたいと思っています。) なお本投稿内容の実装コードは以下のGitHubリポジトリに置いています。 GitHub:日本語版BERTのGoogle Colaboratoryでの使用方法:実装コード の、1_Japanese_BERT_on_Google_Colaboratory.ipynbです。 連載一覧 [1] ※本記事【実装解説】日本語版BERTをGoogle Co
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く