【実験】Google Colabでよくある「切断された😢」を少しでも減らすために - uepon日々の備忘録
GoogleColab（以下Colab）を無料枠で使っていると、セッションが切断されてしまうことがあります。稼働残り時間には余裕があることで、セッションの切断に気が付かずに、長時間実行する機械学習のトレーニングや、大量データの処理が切断されると、非常に困りますよね。 特にショックが大きいのはColabで時間制限が厳しいGPUリソースを使用している場合でしょうか。自分はWhisperを多用しているので、音声認識ではGPUリソースを使用するのですが、長時間の音声ファイルの音声認識にはかなり時間がかかり、print()処理までに時間がかかることもあり、たまに認識中にセッションが切断して😢😢😢という状況多々発生します。 そこでColabのセッションを維持するための方法について、いくつかの実用的な実験してみました。これはあまりおすすめ出来ない手法もありますが、背に腹は代えられないこともあります
以前の G Suite エディション - Google Workspace 管理者 ヘルプ
G Suite Basic、G Suite Business、以前の無償版 G Suite のいずれにも新規登録することはできなくなりました。G Suite エディションをご利用の場合は、サブスクリプションと関連するすべてのサービスを継続してご利用いただけます。ただし、別の G Suite エディションに切り替えることはできません。 Google Workspace へのアップグレード Workspace にアップグレードすると、年中無休 24 時間体制のサポートや、コラボレーションとセキュリティに役立つプレミアム機能をご利用いただけるようになります（利用できる機能は、選択したエディションに応じて異なります）。次のいずれかの Business エディションにアップグレードできます。 Business Starter - ユーザーあたり 30 GB のストレージ プールを備えたビジネス向け生
【メモ】Google Colabのシェルコマンド(!cd)とマジックコマンド(%cd)の違い - uepon日々の備忘録
基本的にはローカルで動くコードを書くほうが好きなのですが、動作環境を渡すことやGPUのVRAMが8GB以上必要なプログラムの場合にGoogle Colabを使っています。あんまり慣れていないので結構な頻度でハマります。 今回ハマったこと コードによって生成したファイルをzip圧縮してダウンロードしたかったのですが、以下のように実行するとエラーが発生します。 処理としては/content/drive/MyDrive/witty/resultsに格納されているcsvファイルをzipファイルに固めて/content/data.zipに保存するといったものです。圧縮時にディレクトリ構造は不要だったので-jオプションをつけています。 !cd /content/drive/MyDrive/witty/results && zip -j -u /content/data.zip *.csv どうやっても
Googleドライブのデータを他のアカウントに移動する方法
Googleドライブに様々なデータを保存している人も多いと思います。これらのデータを他のGoogleアカウントへ移動するのにコピペでは出来ないので、その方法を紹介します。 Googleドライブにあるデータ 多くの人がGoogleドライブにデータを保存していると思います。 各種ファイルはもちろんのこと、Googleフォームやスプレッドシートを使ったり、GAS(Google Apps Script)でWebアプリを作成したときもGoogleドライブにデータが保存されます。 これらのデータを他のGoogleアカウントへ移動させたい場合、普通にコピー＆ペーストのような操作では移動出来ません。 移動元のアカウントでローカルにデータを同期してから、同期設定を移動先のアカウントに切り替えてもデータ同期は出来ません。 Googleドライブのデータの移動方法 移動する方法は、超簡単に言ってしまうと「移動元デ
APIキーを安全に扱う！Google Colabでアクセスキーをセキュアに使用する方法 - uepon日々の備忘録
Google Colaboratory（以下Colab）でAPIにアクセスするコードを書こうかなと思ってみたのですが、一般的なコード例では環境変数にAPIキーを設定して、環境変数の読み出しによって取得するような書き方をしますが、Colabの場合だとソース（ノートブック）にあらわれてくるのでどうすればいいのかなと悩んだので、ちょっと調べてみました。 Colabでも環境変数は使用できる…けど…。 Colabの環境でも環境変数を使用することは可能です。 import os # 環境変数の設定 os.environ['MY_VARIABLE'] = 'my_value' # 環境変数の取得 my_var = os.environ.get('MY_VARIABLE') print(my_var) # 出力: my_value os.environを使用すれば確かに使うことができます。ただ、これでは値
【Flutter】Google Maps上に線を引く為にPolylineを試してみる
概要 Google Maps上にPolylineで線を描画する際に、Flutterでどのように実装するかを試してみたいと思います。 方法 どうやら調べた所以下の2つのPubがひっかかったので、それぞれを試して比較してみたいと思います。 google_maps_flutter で polyline を指定する方法 flutter_polyline_points パッケージを使う方法 google_maps_flutter で polyline を試す 早速 google_maps_flutter の poyline を試してみたいと思います。 パッケージインストール import 'dart:async'; import 'package:flutter/material.dart'; import 'package:google_maps_flutter/google_maps_flutt
設定ミスの社外秘情報はググれます――サイバー攻撃者はどうやってクラウドを墜とすのか？
クラウドに関するインシデントの多くは、設定ミスによって公開してはならない情報が、インターネットから見えてしまう事故に起因している。これはパブリッククラウド特有の問題だが、西尾氏は「よく『特殊な方法やツールで調べているんでしょう？』と誤解される。まずはここから紹介したい」と述べ、「Google Dorks」という手法を紹介する。 Google Dorksは特別なツールではなく、多くの人が利用する検索エンジンとしての「Google」に、検索演算子を追加して検索結果を絞り込む手法だ。例えば特定のドメインを指定する「site:」に加え、拡張子を指定する「ext:」を組み合わせることで、日本政府を表す「*.go.jp」で公開されている、「PDFファイル」を検索することが可能だ。これを活用することで、日本の企業が公開サーバ上で公開している、データベースをダンプしたものとおぼしき「sqlファイル」の一覧
自分のメールアドレスを使ってスパムかどうか判定するSPF・DKIM・DMARCの仕組みをアニメーションで理解できる「Learn and Test DMARC」レビュー
電子メールが送受信される際には、ドメインやIPアドレス、電子署名を認証することで、なりすましやスパムメールを防いでいます。そのようなメール認証の仕組みについて、メールを受信してからどのような認証が行われているのか視覚化したウェブサイトが「Learn and Test DMARC」です。 Learn and Test DMARC https://www.dmarctester.com/ Learn and Test DMARCにアクセスすると表示されるメールアドレス宛にメールを送信することで、DMARCテスターを起動することができます。このメールアドレスはサイトにアクセスする度に変更されます。なお、受信したデータはDMARCのテストのみに使用され、保存されることはありません。 Gmailからメールを送信してみます。メールアドレスを入力したら「送信」をクリック。件名、本文は必要ありません。 メ
天気予報や祝日情報を追加、定番「Googleカレンダー」をもっと使いこなす
今回は、定番のカレンダーサービスである「Googleカレンダー」の活用方法を4つ紹介する。大事な予定をよりすばやく簡単に入力できるので、参考にしてほしい。 僕は、GoogleカレンダーをPCからはブラウザーで利用している。スマホではGoogleカレンダーアプリをメインにしつつ、他のアプリからも利用している。Googleのアカウントでログインすれば、デバイスを問わずカレンダーを確認できるのは非常に便利だと感じている。 ここで紹介するのは、いずれもPCからの活用方法だ。掲載している画面は、WindowsのGoogle Chromeで利用しているときのものである。 この先は日経クロステック Active会員の登録が必要です 日経クロステック Activeは、IT／製造／建設各分野にかかわる企業向け製品・サービスについて、選択や導入を支援する情報サイトです。製品・サービス情報、導入事例などのコンテ
【初学者必読】Google Colaboratory とは？使い方・便利な設定などをわかりやすく解説！ - AI Academy Media
はじめに 本記事は「Google Colab入門（Google Colaboratory）」に移行いたしました。移行先のテキストには、本記事で解説していない内容もわかりやすく詳細していますので、「Google Colaboratory」についてしっかり学びたい方はぜひ一読いただけますと幸いです。 Google Colaboratoryとは Google Colaboratory（グーグル・コラボレイトリーもしくはコラボラトリー）とは、Googleが機械学習の教育及び研究用に提供しているインストール不要かつ、すぐにPythonや機械学習・深層学習の環境を整えることが出来る無料のサービスです。Colab（コラボ）とも呼ばれます。無料で利用する事が出来ますが、Googleアカウントが必要になります。またCPU及びGPU(1回12時間)の環境が利用可能です。 Google Colabを使ってみよう
Gmailの新スパム規制対応全部書く
[2024年1月10日、19日追記] GmailとYahoo!側のアップデートに合わせていくつか細かい説明を追加しています（大筋は変わっていません）。変更点だけ知りたい方は「追記」でページ内検索してください。 2023年10月3日、Googleはスパム対策強化のため、Gmailへ送るメールが満たすべき条件を2024年2月から厳しくすると発表しました。また米国Yahoo!も、2024年2月 第一四半期[1] から同様の対策を行うと発表しています。端的に言えば、この条件を満たさないと宛先にメールが届かなくなるという影響の大きな変更です。 この記事では、Gmailや米国Yahoo!の規制強化への対応方法を解説します。ただし米国Yahoo!にメールを送る人は多くないと思うので、フォーカスはGmail寄りです。また、メール配信サービス（海外だとSendGridやAmazon SES、国産だとblas
全部知ってる？ Google マップをもっと使いこなせる便利機能8選 - ITをもっと身近に。ソフトバンクニュース
目的地までのルートを調べたり、お店のレビューを調べたりする時に使える地図アプリ「Google マップ」。数多くの機能がありますが、その機能を知らずに使っているという方は多いはず。そこで、Google マップ の便利機能を8つ厳選して紹介します。 ※ 本記事はiPhoneの「Google マップ」アプリを使った場合の手順をベースに紹介しています。 目次 Google マップ はいつでも、どこでも利用ができる 目的地検索など予定をたてる時に使えるテクニック ① 行きたいスポットを調べる ② 調べたお店やスポットのリストを共有する ③ 経路・移動手段を確認する ④ タイムラインを使って今まで利用したルート・スポットを振り返る 目的地に向かう時に活用できるテクニック ① 現在地を確認する方法 ② 現在地を共有する ③ ストリートビューで現地の様子を確認する ④ ドライブでカーナビがわりとして使う
Google Analytics 4移行対策、Publickeyの場合。Simple AnalyticsとRanklet4を導入し、GA4も使うことに
Google Analytics 4移行対策、Publickeyの場合。Simple AnalyticsとRanklet4を導入し、GA4も使うことに Google AnalyticsはPublickeyのようなブログに限らず、個人や組織の公式サイトやECサイト、そしてWebアプリケーションなど、さまざまなWebサイトで使われているアクセス分析ツールのデファクトスタンダードといえます。 そのGoogle Analyticsが今月（2023年7月）から、大幅に機能変更が行われた新バージョン「Google Analytics 4」（以下、GA4）に移行し、これまでのGoogle Analytics（通称UA：Universal Analytics）は廃止されました。 UAも、新しくなったGA4も、無料で利用できる大変ありがたいツールであり、こうした有用なツールを無料提供しているGoogleには
まずは体験！ “パスキー”がパスワードのない世界を（今度こそ）実現する
とうとう、「パスキー」の利用が本格化しそうです。国内ではこれまで、ヤフーやNTTドコモ（dアカウント）、au（au ID）などがパスキー対応をアナウンスしていましたが、今回ついにGoogleがこれに対応しました。個人的には非常に大きな出来事で、これをきっかけに「パスワードのない世界」が実現するのではないかと期待しています。筆者はこの報を聞いてすぐにパスキーに移行しました。 これまで私たちがインターネット上で「自分自身が間違いなく自分である」と証明するためには、自分しか知らない情報を基にするしかありませんでした。その代表例が「パスワード」です。サービス側にパスワードをあらかじめ登録しておき、自分の記憶とサービス側に登録した情報が一致したら、あなた本人であるという証明になっていました。 しかしサイバー攻撃が高度化する昨今、サービス側に登録されたパスワードにつながる情報（あるいはパスワードそのも
紙の連絡をGoogleカレンダーに取り込むサービスを公開しました - カワリモノ息子とその母の技術メモ的な〜
紙の連絡をGoogleカレンダーに取り込みたい！ 学校の授業参観などのおたより、マンションの設備点検のおしらせ等々、まだまだ世の中は紙の連絡がたくさんあります。 これをGoogleカレンダーに登録する時、入力が面倒ですよね？ 今回はそのツールを息子さんが作ってくれました。 あれ、この話聞いたことがある方もいらっしゃるかも？ デジャブではありません。それは去年私が途中まで作っていたのです。▼ その時のブログ blog.memetan.dev 今回はこれを息子さんが作って誰でも使えるように公開までやってくれました。 私の作ったプログラムは全部破棄されw、イチから作ってくれました。 みなさん使ってみてください！ 今すぐクリック！こちらのサイトで動かすことができます！ https://cam2calendar.memetan.dev cam2calendar.memetan.dev PC・タブレッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Googleドライブ】複数のアカウントを同期させる方法！
GitHub 上の Jupyter Notebook 形式のファイルを Google Colaboratory で開くリンクを作成 - Qiita
Google検索に生成AI、日本でもテストサービス開始
Google Cloud でクラウド二刀流エンジニアを目指すための「早わかり集中技術講座」
StudyCo_DocumentAI による OCR と LLM で紙文書をデータ化する(試み)