連載目次 本稿ではGoogle Colaboratory（以下、Colab）に搭載されている機能の中で、あまり知られていないと思われるものを厳選して、スクリーンキャプチャ中心で紹介する。以前に「Google ColabユーザーのためのTipsトップ10」という記事を公開しているが、本稿はその第2弾という位置付けになる。 ※本稿を執筆するに当たって、公式YouTube動画「Google Colab features you may have missed（見逃しがちなGoogle Colabの機能）」と公式Twitterアカウント「@GoogleColab」の内容を参考にした。 1. インタラクティブ・テーブル（Interactive Table）による表データ探索 Pythonデータ分析ライブラリー「pandas」のデータフレーム（DataFrame）を使って表データを扱う場合、Colab
Register now for a full day of community, learning, and all things Visual Studio Code April 2022 (version 1.67) Update 1.67.1: The update addresses this security issue. Update 1.67.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the April 2022 release of Visual Studio Code. There are many updates in thi
Python in Visual Studio Code – May 2022 Release - Python
We’re excited to announce that the May 2022 release of the Python and Jupyter Extensions for Visual Studio Code are now available! With this release we’re introducing three new extensions: Black, isort, and Jupyter Powertoys. If you’re interested, you can check the full list of improvements in our changelogs for the Python, Jupyter and Pylance extensions. Black extension As mentioned before, our t
Google Colabを用いたNDLOCRアプリの実行（Google Driveを用いた画像の入力と結果の保存） - デジタルアーカイブシステムの技術ブログ
概要 ノートブック 実行方法 入力フォルダの準備 ノートブックの実行：1.初期セットアップ ノートブックの実行：2.設定 ノートブックの実行：3.実行 まとめ 追記 2022.05.02 2022.04.30 概要 前回、Google Cloud PlatformのCompute Engineを用いたNDLOCRアプリの実行方法を共有しました。 nakamura196.hatenablog.com ただし、上記の方法は手続きが一部面倒で、かつ費用がかかる方法です。本番環境で使用するには適した方法ですが、小規模に、または試験的に使用するにはハードルが高い方法でした。 この課題に対して、 @blue0620 さんがGoogle Colabを用いたNDLOCRアプリの実行方法を作成されました。 https://twitter.com/blue0620/status/151929433215901
Photo by Cafer Mert Ceyhan on UnsplashI’m one of those guys who like writing Python code in a robust IDE like Pycharm and once the job is done copy/paste the code to Jupyter Notebook to continue with my data science project.
Jupyter NotebookおよびJupyterLabをターゲットとしたランサムウェア見つかる | スラド セキュリティ
研究者によると、Jupyter NotebookおよびJupyterLabをターゲットにしたランサムウェアが登場したそうだ。このランサムウェアはPythonベースで作られたものであるという。多くのランサムウェアではGo、DLang、Nim、Rustなどの言語で作られる傾向がある。SecurityWeekによると、これは最初のPythonランサムウェアというわけではなく、2021年10月に発見されたVMwareESXiサーバーを狙ったものがPythonベースで作成されたものが存在しているとのこと（Aqua Blog、SecurityWeek.Com、The Hacker News）。 新しいランサムウェアのサンプルは、AquaSecurityの研究者によって発見された。データ専門家が使用することの多いオープンソースのWebアプリであるJupyter Notebookに特化したものとされ、サー
GitHub - vizzuhq/ipyvizzu: Build animated charts in Jupyter Notebook and similar environments with a simple Python syntax.
ipyvizzu is an animated charting tool for Jupyter, Google Colab, Databricks, Kaggle and Deepnote notebooks among other platforms. ipyvizzu enables data scientists and analysts to utilize animation for storytelling with data using Python. It's built on the open-source JavaScript/C++ charting library Vizzu. There is a new extension of ipyvizzu, ipyvizzu-story with which the animated charts can be pr
これはどんな記事? 本記事は、私がヒューリスティック関連の知識をまとめることになった際に作成したJupyter Notebookを、Qiitaの記事へと改変したものです。 前提としてこれは梅谷俊治先生の「しっかり学ぶ数理最適化 モデルからアルゴリズムまで」という本(以下、教科書と表記)の内容に準拠しています。 そしてその内容の多くは、ありがたいことにネット上の様々な形で公開されており、梅谷先生によるスライド1やスライド2、日本オペレーションズ・リサーチ学会(以下、ORと表記)での記事1や記事2、そしてORの他の方の記事1や記事2などでも類似した内容を見ることが可能です。 (そしてそれ故に、本記事を公開させて頂いています。流石に本家の方がネット上で公開されていない内容を書くのは、例え権利的に問題がないとしても気が引けるので……) また、この記事は、それらの内容を踏まえた上で、私がネット上の様
http://nbviewer.jupyter.org/github/alamgirh/alamgirh.github.io/blob/master/jupyter/Quadratic%20Equations.ipynb
GitHub - DonJayamanne/typescript-notebook: Run JavaScript and TypeScript in node.js within VS Code notebooks with excellent support for debugging, tensorflowjs visulizations, plotly, danfojs, etc
Enhanced REPL experience for Node.js in Notebooks (with top level awaits) Run & debug JavaScript, TypeScript code in node.js Built in support for typescript (ships with TypeScript & ts-node). Built in support for plotly (plotly.js is shipped with the extension) Rich (inline visualizations) using @tensorflow/tfjs-vis & Tensorboards Excellent support for danfo.js (rich HTML output and plots) Excelle
GitHub - InfuseAI/colab-xterm: Open a terminal in colab, including the free tier.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - nlp-with-transformers/notebooks: Jupyter notebooks for the Natural Language Processing with Transformers book
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - Bycelium/PyFlow: An open-source tool for visual and modular block programming in python
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Glue Docker Imageを利用したGlue Jobローカル開発をためしてみた | DevelopersIO
Dockerコンテナを取得 Windowsコンテナを利用している場合は、Linuxコンテナにスイッチします。Dockerのアイコンを右クリックすると「Switch to Linux containers...」が表示されている場合はクリックする。「Switch to Windows containers...」と表示されている場合は、何もしなくてよいです。 DockerHubから、AWS Web Service提供イメージ「amazon/aws-glue-libs」を取得します。イメージは数GBの容量が必要なので、ローカルPCの容量と相談してください。 > docker pull amazon/aws-glue-libs:glue_libs_3.0.0_image_01 ❯ docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE amazo
GitHub - mljar/mercury: Convert Jupyter Notebooks to Web Apps
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
カスタマイズ可能で最新バージョンのJupyterを使うには？ この記事の目的 無料で利用可能なJupyterアプリケーションといえばGoogle ColaboratoryやWatson Studioといったものがメジャーでよく知られていると思います。 初めから一通りのミドルウェアなどがセットアップされており、サインアップするだけで特に何の準備も必要なく、手間もかからずすぐに始めることができる優れたサービスだと思います。 その代わり、新たに使いたいライブラリを追加したり、作成したデータをファイルとしてクラウドに保存しても、基本的には永続化することはできず、サインアウトすると消滅してしまうという不便もあります。 また、ベースはJupyter Notebookであり、より進化したJupyter Labは使えませんし、Python以外のプログラム言語のカーネルも利用できません。 このようなジレンマ
はじめに 年末年始に少し時間があったので，趣味で書いているコードを動かすGPUのインスタンスについて調べていました．以前はちゃんとGPU持っていたのですが，あまり使っていなかったので全部売っていました．買い直しも検討しましたが，未だにGPUは高いですし，我が家の冬は暖房等の使いすぎでブレーカーがよく落ちるので，何か適当なクラウドサービスを使おうかなと思っていました． AWSの安いGPUインスタンスであれば1時間100円ぐらいなので悪くはなさそうでしたが，時間課金はソワソワしちゃうので辞めました．そこで日本でも使えるようになった月額1000円程度のColab Proを使い始めました． この記事ではMacbook Pro (M1 Pro)とColab Proを使ったディープラーニングの開発に関して，そのワークフロー，ベンチマーク，Tipsを簡単にまとめたので共有します． Colabはこれまで簡
nbdime : 簡単に Jupyter Notebook の diff を取る - kakakakakku blog
Jupyter Notebook を使っていると「バージョン管理がしにくい」と感じることがある．当然ながら Jupyter Notebook (.ipynb) は JSON なので diff を取ることはできるけど，Notebook 自体のメタデータも含まれてしまって見にくすぎる．今回はそんな課題を解消できる nbdime (Jupyter Notebook Diff and Merge tools) を紹介する． github.com 導入する 詳細な手順はドキュメントに載っている．今回は以下のコマンドを使った．環境によっては依存する JupyterLab も必要になるかも． $ pip install nbdime $ pip install jupyterlab $ nbdime extensions --enable nbdime.readthedocs.io 導入後に Jupyt
Jupyter Notebook で画像をダウンロードすることなく、URLから参照してPandas DataFrame内部に表示させる
Jupyter Notebook で画像をダウンロードすることなく、URLから参照してPandas DataFrame内部に表示させる 2021-12-28 データ分析などをしていると、画像はダウンロードせずに特定の CDN (GCP なら GCS, AWS なら S3 など)で提供されている画像を参照して、 Jupyter Notebook 上で良い感じに表示させたいときがありませんか? 例えば、画像と説明文がペアになっているデータを画像自体はダウンロードせずに Jupyter 上で画像と説明文を DataFrame として表示させたいときが多々ある。 元の画像自体は CDN に格納されていて、画像をダウンロードする必要はなく参照するだけのときにはすごく便利。 毎度画像を CDN からダウンロードするのも無駄なので、画像を加工せずに Jupyter 上で表示するだけなら、この方法がベスト
東京工業大学の岡崎直観教授が、大学の講義で使う資料「機械学習帳」をGitHubのホスティングサービス上で公開している。Webサイト上でPythonを実行できる開発環境「Jupyter Book」で作られており、利用者はPythonのコードとその実行結果を見ながら学べる。 同大学が2021年度4Q（12～2月）に開講する「機械学習」の講義ノート。学習できる内容は、単回帰、重回帰、ロジスティック回帰、ニューラルネットワーク、サポートベクトルマシン、クラスタリング、主成分分析、確率的勾配降下法、正則化といった機械学習の重要項目。初学者向けに原理なども丁寧に説明したとしている。 Pythonによって書かれたグラフは、学習回数や変数などで変動するものや3次元の場合はアニメーションとして視覚化されている。
無料でPython／機械学習できるAmazon SageMaker Studio Labとは？ Colabと比較
連載目次 Python／Rコードの実行や機械学習／データサイエンスの実装を無料でオンライン実行できる環境といえば、Google Colaboratory（略してColab）が特に有名である。2021年12月1日、そのColabに強力なライバルが現れた。「Amazon SageMaker Studio Lab」（アマゾン・セージメーカー・スタジオ・ラボ）だ*1。 *1 日本語では「ラボ」だが、英語では「ラブ（Lab）」と発音するのが普通。「スタジオ」は英語では「ステューディオ（Studio）」。「セージ（Sage）」とは、ハーブや花の名前ではなく「学び経験を積んだ賢者（Wise old man、例えばハリー・ポッターのダンブルドア校長は魔法の賢者）」のことで、賢者は「機械学習モデル」を暗喩すると思われるが、一説にはマーケティング目的で独自用語にするためにランダムな単語生成で命名されたという噂
プレビュー開始 – 機械学習を学び、実験できる無料のサービス、Amazon SageMaker Studio Lab | Amazon Web Services
Amazon Web Services ブログ プレビュー開始 – 機械学習を学び、実験できる無料のサービス、Amazon SageMaker Studio Lab AWS の使命は、機械学習 (ML) をより利用しやすくすることです。ここ数年の会話を通して、私は機械学習の初心者の多くが直面している障壁について学びました。既存の機械学習環境は、初心者には複雑すぎるか、最新の機械学習実験をサポートするには制限が強すぎることがよくあります。初心者は、予算超過を避けるために、インフラストラクチャのスピンアップ、サービスの設定、請求アラームの実装について心配することなく、すぐに学習を開始したいと考えています。これは、多くの人のもう一つの障壁を強調しています。サインアップ時に請求情報とクレジットカード情報を提供する必要があるということです。 誤って大きな請求を出すことがない Jupyter ノートブ
Amazon Sagemaker Studio Lab で無料で機械学習を学んでみよう！ #reinvent | DevelopersIO
こんにちは！森田です。 先日のSivasubramanian KeynoteでAmazon SageMaker Studio Labが発表されました。 この記事では、Sagemaker Studio Labに登録して、機械学習を無料で学ぶ方法をご紹介します。 Amazon SageMaker Studio Labとは Amazon SageMaker Studio Labとは、AWSが提供する無料の機械学習実行環境となっております。 （AWSが提供していますが、AWSアカウントは必要ではありません。） もちろん無料ですので多少の実行制限はありますが、機械学習を学び、実験する程度では問題ない環境が整っております。 初めて機械学習を学ぶ際には、実行環境構築の敷居が高くなってしまいがちですが、このSageMaker Studio Labであればそんな問題も解決され、誰でも簡単に機械学習を始めれそ
機械学習を学び、実験できる無料サービス「Amazon SageMaker Studio Lab」プレビュー版が発表
機械学習を学び、実験できる無料サービス「Amazon SageMaker Studio Lab」プレビュー版が発表：「JupyterLab」ベースのノートブック開発環境でAWSリソースを利用 AWSはJupyterノートブックを使用して機械学習を学び、実験できる無料サービス「Amazon SageMaker Studio Lab」のプレビュー版を発表した。クレジットカード番号は不要であり、AWSアカウントすら必要ない。
翻訳について これは Roger R. Labbe 著 Kalman and Bayesian Filters in Python の翻訳です。英語版は CC BY 4.0 ライセンスで公開されています。 この翻訳は CC BY 4.0 ライセンスの許諾に基づいて公開されます。 PDF 版と Jupyter Notebook 版について この翻訳の PDF 版と Jupyter Notebook 版を BOOTH で販売しています。 謝辞 英語版の著者 Roger R. Labbe 氏に感謝します。 誤植を指摘して頂いた小山浩之氏 (https://twitter.com/0yama) に感謝します。
この記事は新野淳一氏のブログ「Publickey」に掲載された「［速報］AWS、JupyterLab IDEベースの新サービス「SageMaker Studio Lab」無料提供を発表、ブラウザで機械学習を学び試せる。AWS re:Invent 2021」（2021年12月2日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、機械学習の実行環境を提供する新サービス「SageMaker Studio Lab」を無料で提供すると、開催中のイベント「AWS re:Invent 2021」で発表しました。 SageMaker Studio Labは、機械学習の実行環境として広く使われているオープンソースの「JupyterLab IDE」をベースにした新サービスです。PythonやR言語などに対応しており、ターミナル機能や
［速報］AWS、JupyterLab IDEベースの新サービス「SageMaker Studio Lab」無料提供を発表、ブラウザで機械学習を学び試せる。AWS re:Invent 2021
Amazon Web Services（AWS）は、機械学習の実行環境を提供する新サービス「SageMaker Studio Lab」を無料で提供すると、開催中のイベント「AWS re:Invent 2021」で発表しました。 SageMaker Studio Labは、機械学習の実行環境として広く使われているオープンソースのJupyterLab IDEをベースにした新サービスです。PythonやR言語などに対応しており、ターミナル機能やGitとの連携機能などを備えています。 AWSには、すでに「SageMaker Studio」がサービスとして存在していますが、今回発表された「SageMaker Studio Lab」は機械学習の教育を目的とし、機能の一部をサブセットとして取り出したものといえます。 インストールやセットアップなどは不要で、Webブラウザからすぐに利用可能な環境が立ち上が
はじめに — Python早見帳
Python早見帳は、プログラムと実行例をカタログ的に提示しながら、Pythonの言語仕様やライブラリを紹介しています。Pythonの基礎を素早く習得したり、ライブラリやオブジェクトの使い方を確認することができます。
Quarto
Welcome to Quarto® An open-source scientific and technical publishing system Author using Jupyter notebooks or with plain text markdown in your favorite editor. Create dynamic content with Python, R, Julia, and Observable. Publish reproducible, production quality articles, presentations, dashboards, websites, blogs, and books in HTML, PDF, MS Word, ePub, and more. Share knowledge and insights orga
nbviewer
A simple way to share Jupyter Notebooks Enter the location of a Jupyter Notebook to have it rendered here:
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
エンジニアからデータサイエンティストへのキャリアチェンジのお供に「Pythonではじめる数理最適化」は良い教科書になるかもしれない - Lean Baseball
良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書
colabでkaggleのdatasetをマウントする
1. kaggleのdatasetのgcsのリンクを取得する kaggleのnotebookで以下を実行する from kaggle_datasets import KaggleDatasets GCS_PATH = KaggleDatasets().get_gcs_path() print(GCS_PATH) notebookの作成は,マウントしたいデータセットのNew Notebookから作成する (これはtimmの例) 開催中のコンペのdatasetをマウントしたい場合は，コンペのページからNew Notebookする 2. colabでマウントする 2.1. gcpの認証をする
Quarto が完成すると Jupyter でも R Markdown のように簡単にスライドや文書を作れるかもしれない - ill-identified diary
概要 Quarto という R Markdown のような動的ドキュメント生成プログラムが開発中 まだ開発版だが野心的な機能をめざしているらしい 単なる R Markdown の再設計ではなく, Jupyter Notebook の変換にも対応している R や Python だけでなく Jupyter カーネルで使える任意の言語でも R Markdown のように扱えるかもしれない 使い方の参考になるようにこの投稿も Quarto を利用して書いている ただしはてなブログは独特の仕様なので一部手動で修正している 先行して Rpubs にアップロードしたものは出力されたHTMLをそのまま使っている. はっきりいってこちらの方が見栄えが良い. 付録としてプレゼンテーション資料への変換, Jupyter Notebook の変換例も用意した github.com 注意 Quarto は最近公開さ
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。久保田氏はデバッガの必要性と、jupyter notebookでのdebug方法について発表しました。 debug力があれば軽減されるノートブック入門のあるある 久保田史洋氏（以下、久保田）：今日は5分のLT（ライトニングトーク）なので、5分で終われるかがちょっと不安ですが、急ぎ足で「jupyter notebookでのdebug入門」というタイトルで発表します。よろしくお願いします。 自己紹介も短めです。「Twitter」「Kaggle」を「fkubota」という名前でやっています。バンドルカードの株式会社カンムで、機械学習エンジニアをやっているKaggle Expertです。 コンテンツは、主にビギナーに向けて話します。2本立てで、「debugについて」「jup
「JupyterLab」のデスクトップアプリ「JupyterLab App」がリリース。Pythonなどに対応した統合開発環境
「JupyterLab」のデスクトップアプリ「JupyterLab App」がリリース。Pythonなどに対応した統合開発環境 Pythonなどに対応した統合開発環境としてWebブラウザから利用する「JupyterLab」のデスクトップアプリケーション版となる「JupyterLab App」がリリースされました。 Electronベースのマルチプラットフォーム対応となっており、Mac、Linux、Windowsに対応します。 基になったWebアプリケーションのJupyterLabは、PythonやScala、Rなどのコードを打ち込んですぐに実行できるインタラクティブなデータ解析環境であった「Jupyter Notebook」をベースとし、そこにターミナル画面の機能、ファイルブラウザ、テキストエディタなどの機能を統合。 さらにブレークポイントの設定や変数の確認などの機能を備えたビジュアルデバ
We are pleased to announce the release of desktop application for JupyterLab! Standalone and self-containedJupyterLab App is the cross-platform standalone application distribution of JupyterLab. It is a self-contained desktop application which bundles a Python environment with several popular Python libraries ready to use in scientific computing and data science workflows. JupyterLab App running o
GitHub - jupyterlab/jupyterlab-desktop: JupyterLab desktop application, based on Electron.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
JupyterLabのおすすめ拡張機能9選
はじめに Jupyter notebookの進化形、Jupyter Lab。見た目が綺麗で使いやすいです。 今回は2020年10月現在で使用できる便利な拡張機能をご紹介します。 (余談:半年ほどこれらの拡張機能を使ってみましたが、個人的に得に便利だと思ったのは ・3.コード自動整形 ・4.Vim風キーバインド ・5.TensorBoard管理 の3つでした。時間がなければこの3つだけでも十分かも知れません。) ※JupyterLab,Node.jsが既にインストールされていることが前提です。私は以下のバージョンを使っていますが、拡張機能によっては最新版のjupyterlabに対応していないものもあり、きちんと動作するかは自環境で試してみてください。 JupyterLab : v2.2.8 Node.js : v13.12.0 これからJupyterLab,Node.jsを導入する人は以下を
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Colabで知られていないが有用な機能7選
Visual Studio Code April 2022
Bye-bye Jupyter Notebook. Hello DataSpell!
しっかり学ぶ数理最適化 ヒューリスティック編 - Qiita
How to Create Presentation Slides in Jupyter
無料クラウドサービスでJupyter Labを使ってみる ～最小構成導入編～ - Qiita
MacBook Pro（M1 Pro）とColab Proでディープラーニング - The jonki
動く「機械学習帳」、東工大教授が講義資料を無償公開 回帰や分類のグラフをアニメーションに
Python で学ぶベイズフィルタとカルマンフィルタ (翻訳) - inzkyk.xyz
AWS、ブラウザで機械学習を学び試せる「SageMaker Studio Lab」を無料で提供
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
プログラミング言語のコードを逐次実行できるノートブック環境「JupyterLab」がスタンドアロンアプリに／Windows、Mac、Linux（Debian/Fedora）で利用可能
人のコードを読むのしんどい、自分の環境だと動かない…… 「debug力」で解決するデータ分析のぴえんをこえてぱおん状態
JupyterLab Desktop App now available!