google colab でログ出力無しで進捗を表示する - Qiita
1.はじめに google colab でライブラリのインストールなどを行うとき、場合によっては長々とログを出力することがあります。これはスマートでないですが、ログを出力させないと今度は進捗が全く分からない。では、どうすれば良いか。 2.対策 tqdm.notebook と io.capture_output() を下記のように組み合わせます。処理ブロックがA〜Dの４つだとしたら、各ブロックの終わりに pbar.update(*) で進捗率を記載し、合計100になるようにしておけばOKです。 各ブロックが終わると pbar.update(*) で設定した分プログレスバーが増えますので、大体の進捗が１行で分ります。 from IPython.utils import io import os import subprocess import tqdm.notebook TQDM_BAR_F
Google ColabにMeCabとipadic-NEologdをインストールする - Qiita
1.はじめに Google Colab に MeCab と ipadic-NEologd をインストールしようと思ったら意外に手間取ったので備忘録として残します。 2.コード 色々なWeb情報を漁った結果、インストールには下記のコードがベストではないかと思います。 # 形態素分析ライブラリーMeCab と 辞書(mecab-ipadic-NEologd)のインストール !apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null !git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null !echo yes | mecab-ipadic-
ChatGPTで独自データを学習させて回答してもらう方法 - Qiita
ChatGPT,使っていますか？ ChatGPTは文章を要約したり、プログラム作ってくれたり、一緒にブレストしてくれたりして本当に便利なのですが、社内情報などの独自データに関する情報については回答してくれません。 プロンプトに情報を記述して、そこに書かれている情報から回答してもらう方法もありますが、最大トークン4000の壁がありますので、限界があるかと思います。 この課題についてなんとかならないかと考えて色々と調べて見たところ、解決する方法が見つかり、いろいろと検証をして見ましたのでその結果をシェアしたいと思います。 サンプルコード（GoogleColab） 百聞は一見にしかずということで、実際に試したサンプルは以下にありますので、まずは動かしてみることをお勧めします。 このコードを上から順番に動かすと、実際にインターネット上から取得したPDFファイルに関する内容をChatGPTが回答して
Google Colaboratoryでのファイル読み込み方法 | うしじのブログ
こんにちは！うしじです。 無料でGPUを利用できるというGoogle Colaboratoryを使ってみました。今回は、そのファイル読み込み方法についてまとめています。 ファイルの読み込みは、下記の3つの手順で行います。Deep Learningでは、画像ファイルや音声ファイル等のサイズの大きなファイルを扱いますが、Google Colabでは、これらのファイルをGoogle Driveに置いて扱います。 Google Colabで、Google Driveをマウント Google Driveに、対象のファイルをアップロード Google Colabで、対象のファイルを読み込んで利用 Google Colabのはじめ方から順に説明していきたいと思います。 Google Colabのはじめ方 Google Colabは、無料で利用可能です。下記のリンクにアクセスすれば、使うことができます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to count tokens before sending an API request to ChatGPT
GitHub - openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI's models.
