グーグルの大規模言語モデルPaLMのGoogle Colabにおける使い方｜Masayuki Abe
グーグルのPaLM APIのウェイトリストに登録しており、使えるようになりました。今回は、Google ColabでもPaLMを使うことができるので紹介していきます。Colab MagicというPaLMに対するコマンドが用意されております。 最初に、Google Colabで実行するコードです。AIxxxxxxxxxxxxxxは、PaLM API Keyを取得して記載してください。 %pip install -q google-generativeai %load_ext google.generativeai.notebook %env GOOGLE_API_KEY=AIxxxxxxxxxxxxxxx 上記コードは、Google Colabで使用するときのおまじないと考えてください。 PaLM API Keyの取得方法については、以前書いた記事が参考になります。 これで、Google C
Google・Microsoft・AWS・IBMが提供するJupyter Notebook サービスのまとめ
はじめに データ分析及び機械学習ですっかりおなじみになったJupyter Notebook(以下、Jupyter)ですが、昨年(2016年)あたりからGCP(Google)・AWS・Microsoft Azure・Bluemix(IBM)といった主要なクラウドベンダーからJupyterのホストサービスが登場するようになってきました。その中には無料で使えるサービスもあるため、ローカルの環境構築を意識しないでPythonやデータ解析・機械学習等のコードを動かしたり共有できるようになり、勉強会やハンズオンの敷居も低くなっているように感じられます。 今回は勉強会で環境構築に困った際にこういう選択肢もあるよという意味で、各ベンダーが提供するJupyter環境をまとめてみました。 サービス一覧 Google / GCP Colaboratory Cloud Datalab Microsoft Azur
BigqueryとColaboratoryで売上を統計分析する基盤を試作した話 - Qiita
Excelの限界 弊社の某プロダクトでは個々の契約の利用料金は自動的に算出しているのですが、 それ以上の粒度、例えば四半期や通期の売上総額や、各メニュー毎の売上等の集計には（多くの企業でそうであるように）Excelが用いられています。 Excelは誰でも直感的な操作が可能な素晴らしいものですが、その反面いろいろな制約があります。 扱えるデータが小さい データの再利用性が低い 10万行くらいで操作性的にかなりしんどく、100万行を超えると物理的に扱うことができません。また、データの参照と加工が一体化しており直感的な反面、長期的な再利用が難しく、長期間にわたる集計を行うのは重労働になりがちです。いきおい長期的なデータを様々な角度から自由に分析する、というのはなかなか難しくなります。 今回は、私が担当している某プロダクトの売上等のデータを長期的に集積し、統計処理や可視化を行うための基盤を試作して
Colaboratoryについて（まとめ）
Google Colaboratoryについて（まとめ） Colaboratory – Google – Research at Google 基本的なFAQ Colaboratory – Frequently Asked Questions – Google 以下，手探り（随時追記） 情報が全然ないので，手探りで纏めていく（徐々に追記していく予定）． 以下は基本的に一般論ではなく経験論だと思うべき． 取り敢えず，誰かと「共有」するという目的を達するに当たって， 最低限，必要だと思われる形式知を纏められればなあ． 2019/08/20 追記 ・有償版計画がある？（high-RAM runtimeモードはそのお試し？） 2019/07/28 追記 ・いつの間にかhigh-RAM runtimeが用意されている – 通常，約13 [GB]程度しかメモリがないが，high-RAMモードは約25.
Google Colaboratoryが便利・高速で凄過ぎる - Itsukaraの日記
Googleが研究の一環で提供しているColaboratoryを試してみました。 Jupyterと同じようなGUIでPythonのプログラムを実行可能で、GPUも使えます。 Jupyterと同様に、先頭に「!」を書くことで、Linuxのコマンドを実行可能であり、「!pip」「!conda」「!apt-get」などで機能を追加できます。 実行結果をファイルシステム上に保管でき、共有リンクを使って取り出せます。 ただし、12時間経過すると強制終了されて、ファイルは失われます。 しかし、Notebookが動いている仮想マシンにGoogleドライブをマウント可能であり、これにより、実行結果をGoogleドライブ上のファイルとして保管できます。 Deep Learningでは、途中の状態をファイルに保管して、そこからResumeできるようにプログラムを書くことが多いので、12時間で一度強制終了しても
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログイン - はてな
