データサイエンティストの飛び道具としてのStreamlit - プロトタイピングをいい感じにする技術 - JX通信社エンジニアブログ
（ちょっと遅れましたが）新年あけましておめでとうございます🪁 JX通信社シニア・エンジニアで, データサイエンスからプロダクト開発までなんでもやるマンの@shinyorke（しんよーく）と申します. Stay Homeな最近は大河ドラマを観るのにハマってます&推しの作品は「太平記」です*1. データ分析やデータサイエンティスト的な仕事をしていると, 「いい感じのアウトプットがでた！やったぜ！！なおプレゼン🤔」 みたいなシチュエーションが割とあると思います. さあプレゼンだ！となったときにやることと言えば, ドキュメントとしてまとめる. 社内Wikiやブログ, ちょっとしたスライドなど. 分析・実験で使ったモノをそのまま見せる. より具体的に言うとJupyterのnotebookそのもの. 社内のいろいろな方に伝わるよう, ちょっとしたデモ（Webアプリ）を作る. だいたいこの3つのどれ
Flask’s Latest Rival in Data Science | by S Ahmad | Towards Data Science
Streamlit Is The Game Changing Python Library That We’ve Been Waiting For Developing a user-interface is not easy. I’ve always been a mathematician and for me, coding was a functional tool to solve an equation and to create a model, rather than providing the user with an experience. I’m not artsy and nor am I actually that bothered by it. As a result of this, my projects always remained, well, pro
[k8s]JupyterHubを使ったマルチユーザー環境をHelmを使って簡単にデプロイする | DevelopersIO
コンニチハ、千葉です。 マルチユーザーで利用するための、Jupyter環境を検証しています。今回は、Kubernetes上にJupyterHub環境をデプロイしてみます。 JupyterHubとは、認証機能、Jupyter環境をユーザーごとに立ち上げしプロキシしてくれるような素敵な機能です。 参考：https://zero-to-jupyterhub.readthedocs.io/en/latest/architecture.html JupyterHubは、Kubernetes上に簡単にデプロイできる仕組みが用意されています。ハードルは全然高くないです。 デプロイ方法としては、Kubernetesでのパッケージ管理Helm(yum的存在)を使ってJupyterHubチャート(チャートはrpm的存在)をデプロイします。 やってみた Jupyter Hubのセットアップ Helmの設定 He
![[k8s]JupyterHubを使ったマルチユーザー環境をHelmを使って簡単にデプロイする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/846134b75d31fe1195ccc7a602d8838193dfb2de/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F04%2Fjupyter-sq-text.jpg)
GitHub - jupyterlab/jupyterlab-desktop: JupyterLab desktop application, based on Electron.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
The 3.0 release of JupyterLab brings many new features to users and substantial improvements to the extension system. InstallationTo install JupyterLab with pip: pip install jupyterlab==3With mamba: mamba install -c conda-forge jupyterlab=3With conda: conda install -c conda-forge jupyterlab=3(Note that many third-party extensions are still in the process of updating to be compatible with JupyterLa
Jupyter AI# Welcome to Jupyter AI, which brings generative AI to Jupyter. Jupyter AI provides a user-friendly and powerful way to explore generative AI models in notebooks and improve your productivity in JupyterLab and the Jupyter Notebook. More specifically, Jupyter AI offers: An %%ai magic that turns the Jupyter notebook into a reproducible generative AI playground. This works anywhere the IPyt
GitHub - DonJayamanne/typescript-notebook: Run JavaScript and TypeScript in node.js within VS Code notebooks with excellent support for debugging, tensorflowjs visulizations, plotly, danfojs, etc
Enhanced REPL experience for Node.js in Notebooks (with top level awaits) Run & debug JavaScript, TypeScript code in node.js Built in support for typescript (ships with TypeScript & ts-node). Built in support for plotly (plotly.js is shipped with the extension) Rich (inline visualizations) using @tensorflow/tfjs-vis & Tensorboards Excellent support for danfo.js (rich HTML output and plots) Excelle
Open-sourcing Polynote: an IDE-inspired polyglot notebook
We are pleased to announce the open-source launch of Polynote: a new, polyglot notebook with first-class Scala support, Apache Spark integration, multi-language interoperability including Scala, Python, and SQL, as-you-type autocomplete, and more. Polynote provides data scientists and machine learning researchers with a notebook environment that allows them the freedom to seamlessly integrate our
Visualizing Data via Deno, TypeScript, and VegaLite in JupyterLab Deno brings TypeScript, JavaScript, npm, and ES Modules to Jupyter with an easy to install kernel. The Deno Kernel is the first language runtime with a builtin jupyter kernel. There’s no better time to get started with Deno than now. Once deno is installed, run the deno jupyter kernel installation: deno jupyter --unstable --install
無料枠のGoogle ColabでWebUIの使用が制限される このたびGoogle Colabの無料枠でWebUIの使用が制限されるようになりました。 今まではGoogle Colab上でStableDiffusion WebUIを問題なく動かせていましたが、4/21を境に「今後のColabの利用を制限させていただく場合があります。」と警告が表示されるようになりました。 元々Google Colabはは機械学習の教育や研究用に無料で扱えるサービスとしてリリースされたものです。しかし、生成AIブームがおきGoogle Colab上でWebUIを実行する人たちが急増しました。Google内部関係者によるツイートによると、GoogleのGPUリソースが圧迫され、Googleチームの予算では対応できない規模になってしまったとのこと。 Google Colab利用規約の変更 Is Colab go
Best Python Spreadsheet Automation & Code Generation | Mito
Edit a spreadsheet. Generate Python.Every edit you make to the Mito spreadsheet automatically generates Python code. Stop sitting through Python trainings or waiting for IT support. Take automation into your own hands using the tools you already know. Every edit you make to the Mito spreadsheet automatically generates Python code. Stop sitting through Python trainings or waiting for IT support. Ta
Google Colab
ログイン
Google Colaboratory Pro／Pro＋が2022年9月29日からクレジット制に移行、計算量上限が透明化＆追加購入が可能に
Google Colaboratory(Google Colab)は、Googleが機械学習の教育や研究用に提供しているサービスで、ローカルにインストールすることなくPythonや機械学習の環境を構築できます。このGoogle Colabの有料版であるGoogle Colab Pro／Pro＋におけるGPUの使用量がクレジット制に移行するというメールが運営から送られてきたと、ソーシャルニュースサイトのHacker Newsに投稿されて話題となっています。 Google Colab Pro is switching to compute credits | Hacker News https://news.ycombinator.com/item?id=32656200 機械学習や深層学習の演算にはGPUが使われますが、Google Colabでは基本無料でGPUを使った計算が可能です。ただ
これは何 Jupyterをいれたまえという天の声を受けて入れたらStable Diffusionの実行とかみ合わせがとても良いので布教するための記事 この記事で説明すること StableDiffusionをAnaconda + VSCode + Jupyter Notebook構成で動かす方法 前段の環境構築は引用記事だけご紹介 後半のVSCode登場してからがこの記事における説明内容 この構成を推す理由 Stable Diffusionではpromptを書き換えて何度も実行することになる jupyterを導入すると、それがとてもやりやすい Anacondaは環境が混ざるのを防止のため npm使ってる人向けに軽い説明をすると、pythonはnpm -gするのがデフォみたいな感じなので、それを分離できるようにするのがAnaconda。Anacondaはpythonのバージョンも指定できるので
Amazon Sagemaker Studio Lab で無料で機械学習を学んでみよう！ #reinvent | DevelopersIO
こんにちは！森田です。 先日のSivasubramanian KeynoteでAmazon SageMaker Studio Labが発表されました。 この記事では、Sagemaker Studio Labに登録して、機械学習を無料で学ぶ方法をご紹介します。 Amazon SageMaker Studio Labとは Amazon SageMaker Studio Labとは、AWSが提供する無料の機械学習実行環境となっております。 （AWSが提供していますが、AWSアカウントは必要ではありません。） もちろん無料ですので多少の実行制限はありますが、機械学習を学び、実験する程度では問題ない環境が整っております。 初めて機械学習を学ぶ際には、実行環境構築の敷居が高くなってしまいがちですが、このSageMaker Studio Labであればそんな問題も解決され、誰でも簡単に機械学習を始めれそ
Version 1.78 is now available! Read about the new features and fixes from April. April 2023 (version 1.78) Update 1.78.1: The update addresses this security issue. Downloads: Windows: User System Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the April 2023 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some of the
VS Codeのタスクを使ってGoogle ColabへのSSH接続の構成を自動化しよう：Visual Studio Codeで快適Pythonライフ（1/2 ページ） 連載目次 前回と前々回はVisual Studio Code（以下、VS Code）とGoogle Colabを連携させる話を見てきました。今回は、VS Code本体に話を戻して、VS Code内で外部のツールやコマンドを実行することで、さまざまな作業を自動化する「タスク」の基本について見ていきましょう。 タスクとは VS Codeのタスクは、プログラムコードの記述以外のさまざまなタスク（例えばプロジェクトのテストやビルド、デバッグなど）を自動化するためのものです。ツールやコマンドを、適切な引数とともに起動したり、コマンドプロンプトやシェルのスクリプト（バッチファイル）を記述しておいて、それらを実行したりすることで、VS
Introducing the new JupyterLab Desktop!We are pleased to announce a major update to JupyterLab Desktop which adds many new features with main focus on the user experience. JupyterLab Desktop is the cross-platform desktop application for JupyterLab and it is the quickest and easiest way to get started with Jupyter notebooks on your personal computer. JupyterLab DesktopWelcome PageUsers are now pres
Project Jupyterは、「Jupyter Notebooks」の環境をデスクトップ・アプリケーションの形で再現したソフトウェア「JupyterLab Desktop」の新版を2月9日（現地時間）に公開した。JupyterLab Desktopは、修正BSDライセンスで公開しているオープンソース・ソフトウェア。 Jupyter NotebooksはWebサービスとして利用するのが普通で、ユーザーのローカル環境にインストールして動作させることもできるが、ローカルのWebサーバーにWebブラウザでアクセスして使用する形を採るため、ネットワークなどの設定が必要だ。JupyterLab Desktopは、デスクトップ・アプリケーションとして作られているため、ローカルで使用するにはインストーラーからインストールするだけで済む。 今回の新バージョンでは、「セッション」と「プロジェクト」という考
Microsoftは現地時間2022年8月4日、Visual Studio Code用拡張機能「Python」の2022年8月版をリリースした旨を公式ブログで報告した。本バージョンでは、Webアプリケーションの自動デバッグ構成機能の追加やチュートリアルの改善が加わっている。また、拡張機能「Pylance」で未使用のimportを削除する機能を、拡張機能「Jupyter」でJupyter Notebookの出力セルの画像をクリップボードへコピーする機能を追加した。 Webアプリケーションの自動デバッグ構成機能(公式ブログより) Webアプリケーションの自動デバッグ構成は、URLルーティングと基本的なページレンダリング機能を提供するPythonフレームワークの「Flask」や、高機能フレームワークの「Django」、高速Webフレームワークの「FastAPI」を利用する際の設定工程を簡素化する
Python 2020/12/24 【初心者向け】Jupyter Notebookの使い方！インストール方法から解説 「Jupyter Notebook」は、Webブラウザ上でソフトウェアを開発できる環境です。この記事では、Jupyter Notebookのインストールや基本的な使い方について、初心者にもわかりやすく解説します。 Jupyter Notebookとは何か？ 「Jupyter Notebook」は、PythonなどをWebブラウザ上で記述・実行できる統合開発環境です。「ジュピターノートブック」、「ジュパイターノートブック」と読みます。 以前は「IPython Notebook」という名前のPython専用環境でしたが、現在は開発が進み、PythonだけでなくRubyやR、Goなど40以上の言語がサポートされています。とはいえ、一般的にはPythonで使用されることが多いといえ
コンニチハ、千葉です。 JupyterHubを利用すると、JupyterNotebook環境にログイン機能が追加され、マルチユーザーで利用できるようになります。 今回はJupyterHubの oauthenticator を使ってSSOを実装してみます。oauthenticatorを利用することでGitHub、Google、GitLabなどと連携できるようになります。 ということで、検証してみました。 構成イメージ 今回試してみたのはこんな構成です。JupyterHubへログインすると、AWS上のGitLabにリダイレクトしSSO連携します。 ローカル環境 Docker for Mac(kubernetes) Helmを使いJupyterHubをインストール AWS環境 ACMを使いELBのリスナーをHTTPSで設定 EC2上にDockerをインストールし、GitLabを立ち上げる はじめ
Version 1.88 is now available! Read about the new features and fixes from March. August 2023 (version 1.82) Update 1.82.1: The update addresses this security issue. Update 1.82.2: The update addresses these issues. Update 1.82.3: The update addresses this security issue. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the August 2023 releas
ブログ Google Colaboratory（Colab）ならPythonですぐに学べる 2019/4/25 2022/10/5 | Google Colab Jupyter Python 機械学習 機械学習やデータ分析を学ぶには、まずは参考書から始めるのが一般的です。そして、学習を始めるために、自分のパソコンに環境を構築します。そこで、多くの書籍ではAnacondaのインストールを薦めています。確かに必要なライブラリがすぐに使える状態になるので便利です。 しかし、Google Colaboratory（略称：Colab）を利用すれば、学習のための環境構築の手間はゼロになります。自分のパソコンに何もインストールする必要はありません。いきなり本題の学習に入れます。 Google Colaboratoryは、グーグルが「機械学習の教育、研究を目的として開発したツール」です。Googleアカウ
Built with Jupyter Book
Build beautiful, publication-quality books and documents from computational content. Get started
JetBrains DataSpell はノートブックと SQL セル、対話型テーブル、SQL データベースのサポート、およびローコード可視化機能を備えたデータ解析用のツールです。
JupyterLab 4.0 is Here
The Jupyter contributor community is proud to announce JupyterLab 4.0, the next major release of our full-featured development environment. The package is now available on PyPI and conda-forge. You can upgrade by running pip install --upgrade jupyterlab or conda install -c conda-forge jupyterlab. We have updated our JupyterLab Documentation for this new version. Here are some of the major new feat
Introducing notebooks: The most powerful AI data workspacePowered by GPT-4 with the context from your data workspaceTurn notebooks into powerful data apps and dashboardsCombine Python, SQL, R or don’t write code at allQuery Snowflake, BigQuery, CSV, and 50 more data sources
概要 google colabはびっくりする位便利ですが、google driveから直接データを読み込むと異様に遅いという問題が存在します。(私の場合画像データ) というわけで、.p ファイルやら .h5 ファイルやらを使って読み込みを高速化(普通にデバイスから読むのと同じくらいの速度にする)をしようと思います。 *各バイナリファイルがどのようなものかは特に説明しないので、知りたい方は他のページを参照してください。 全体の流れ 人によってやり方は変わると思いますが、私の場合 1. データのパスをまとめた .txtファイルをtraining,validation,test用にそれぞれ作成する 2. 1.で作成した.txtファイルを .pファイルに入れる(たぶんここはそんなに早くならない) 3. 先ほど作成した.pファイルを用いて名前とデータ(今回は.png)を対応させた.h5ファイルを作成
26日（日本だと27日）に「MSのクラウドのデータベースに脆弱性 数千社に通知」みたいなタイトルのニュース記事がロイターからありました。情報不足で正確性にかけるタイトルですが。 より細かい詳細はそのうちでるかも知れませんが現状はこちらを参照。 Update on the vulnerability in the Azure Cosmos DB Jupyter Notebook Feature – Microsoft Security Response Center（MicrosoftのSecurity Response Centerの記事） ChaosDB: How we hacked thousands of Azure customers’ databases | Wiz Blog （脆弱性発見者の記事） 脆弱性の概要 Cosmos DB組み込みのJupyter Notebook機能を
本稿は2021年5月31日最新状況に合わせて改訂しました。2020年3月17日に公開した初稿では、Colab Proも紹介していましたが、カットしました。後日、Colab Proの解説記事を公開する予定です。 本稿ではGoogle Colab（以下、Colab）を使う際に役立つTipsをスクリーンキャプチャ中心で紹介する。このTipsは、「Making the most of Colab (TF Dev Summit '20)」（図1、「Colabを最大限に活用する」）というセッション動画の前半に含まれている内容そのままである。スクリーンキャプチャーは全てこのセッション動画から引用したものである。
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
Jupyter Lab（ジュピター・ラボ）とはJupyter Lab（ジュピター・ラボ）とはJupyter Notebook（ジュピター・ノートブック）の進化版で、次世代のブラウザ上で動作するプログラムの対話型実行環境です。データ分析には欠かせないツールの１つです。 ノートブックと呼ばれるファイルにpythonなどのプログラムを記述し、実行結果を逐次確認しながら、データ分析を進めることができます。 Jupyter Lab上では、様々なライブラリを使うことができ、TensorFlow（テンソルフロー）などの機械学習やディープラーニング用のライブラリも動作させることができます。 またJupyter Labでは、入力したプログラムの実行結果が、プログラムの直後に表示されるので、結果が分かりやすく、すぐに確認することができます。 このような3Dのグラフも表示することができ、複雑なデータ分析の結果も
JupyterHubを活用した、いまどきの情報科学の教育環境簡単クラウド構築 (前編) | さくらのナレッジ
AIや情報工学やバイオインフォマティクスなどの「いまどきの情報教育環境」を、JupyterHubを使って簡単構築する方法をご紹介します 4月にもなると新入学生も入り、はじめての情報科学の演習授業を開始する学校もあるかと思います。ここ数年のコロナ禍の影響もあり、演習環境の提供を、学内の演習室利用だけでなく、在宅での参加なども新しく考慮しなければならない今の実情も踏まえ、セキュリティ上の制約やトラフィックの抑制など、学内のサーバからではなく、学外のクラウド環境において実施したいとの要望を相談される機会も増えてきました。 そのような演習環境の構築に簡単に安心して利用出来る仕組みを提供するのが、今回紹介するJupyterHubです。すでに国内外の多くの著名な大学で実践的に導入されていていますし、インタラクティブな教育環境を提供するオープンソースのプラットフォームとしては最適な方法だと思います。 既
GitHub - joouha/euporie: Jupyter notebooks in the terminal
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【Python/機械学習/Kaggle】ローカルで編集・パソコン間で共有可能な環境をColabとGoogleドライブで簡単構築 - Qiita
【Python/機械学習/Kaggle】ローカルで編集・パソコン間で共有可能な環境をColabとGoogleドライブで簡単構築Python環境構築機械学習Kagglecolaboratory はじめに 「Colaboratory を使えばGPU付きの環境を無料で使えるけど、git使おうとしたりファイル編集したりする時面倒...」 と思っていた時期がありました。 パソコン版 Google ドライブ を使うと、ローカルにドライブをマウントできるので、ローカルで編集してGPUが必要なときはColabで実行というのが簡単にできます。ターミナルからコマンドで操作できるので、クラウドのストレージとしても使いやすいです。 また、最近 Colab Pro が日本にやってきました。月額1000円で Kaggle などでも十分戦える環境が手に入ります。もともと無料枠でもかなり使えましたが、課金すると優先的に良
SymPy による数式処理とグラフ作成 葛西 真寿 弘前大学大学院理工学研究科 この Notebook では，「wxMaxima による数式処理とグラフ作成」のテキストの内容を，Jupyter Notebook 上で Python の SymPy ライブラリを使って説明しています。 セクションの構成は，wxMaxima 版のテキストに準じています。 ですからこの Notebook は，一から SymPy を始めようとしている人だけでなく，Maxima は知っているが同じことを SymPy ではどのように計算するかということに興味を持っている人にも参考になるのではないかと思います。
.NET Interactive is here! | .NET Notebooks Preview 2 - .NET Blog
.NET Interactive is here! | .NET Notebooks Preview 2 In November 2019, we announced .NET support for Jupyter notebooks with both C# and F# support. Today we are excited to announce Preview 2 of the .NET Notebook experience. What’s new New Name – Meet .NET interactive As our scenarios grew in Try .NET, we wanted a new name that encompassed all our new experiences from the runnable snippets on the w
「AnimeGAN」とは TachibanaYoshinoさんが作成した、GANで画像をアニメ風に変換するソフトウェアです。詳細は以下リポジトリを参照ください。 TachibanaYoshino/AnimeGAN CartoonGAN-TensorflowやAnime-Sketch-Coloring-with-Swish-Gated-Residual-UNetがベースになっているようです。 学習済みモデルもあって簡単に動かせます。試してみたので動作メモと、結果の紹介です。 「AnimeGAN」動かし方 READMEに書いてある通りで動くのですが、手っ取り早く動かしたい人のために少しだけ詳しく書きます。 最初にPython環境、必要なライブラリをセットアップしましょう。初心者だとここが一番難しいかもしれませんね。以下ブログ記事をみて適当に（雑な説明）。 Pythonで機械学習をするための環境
Docker内Pythonで、JupyterやFlaskを使う開発環境の構築(VSCode/code-server両対応) - Qiita
Docker内Pythonで、JupyterやFlaskを使う開発環境の構築(VSCode/code-server両対応)PythonDockerVSCodeVisualStudioCodecode-server Pythonを少し使ってみようと思ったのですが、環境構築するために色々インストールするのは嫌でした。なのでDockerを使って環境を構築してみました。 インタラクティブな環境およびWebの両方を利用できて、VSCode(またはcode-server)で開発できる環境を目指します。特にVSCodeのPython拡張機能からDocker内Pythonで動作するJupyterへの接続にはハマる所がありましたので、環境構築手順を本稿にメモとして残します。 要件 CLIでPythonプログラムが実行できる Jupyterを利用して、インタラクティブにPythonが実行できる Flaskを利
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JupyterLab 3.0 is released!
Jupyter AI — Jupyter AI documentation
Bringing Modern JavaScript to the Jupyter Notebook
【警告表示】無料枠のGoogle Colab規約変更？！WebUIの使用が制限されるようになった
Stable DiffusionをVSCode + Jupyter Notebookで動かす
Visual Studio Code April 2023
VS Codeのタスクを使ってGoogle ColabへのSSH接続の構成を自動化しよう
Introducing the new JupyterLab Desktop!
デスクトップ・アプリケーションとして動作するJupyter環境「JupyterLab Desktop」の新版が公開
Webアプリケーション自動デバッグ構成機能搭載のVS Code用「Python」2022年8月版
【初心者向け】Jupyter Notebookの使い方！インストール方法から解説｜Udemy メディア
JupyterHubにSSOを導入してみた | DevelopersIO
Visual Studio Code August 2023
Google Colaboratory（Colab）ならPythonですぐに学べる - ガンマソフト
DataSpell: データアナリスト向け JetBrains ツール
Deepnote: Analytics and data science notebook for teams.
google colabでの学習について - Qiita
Azure Cosmos DB の組み込みJupyter Notebook機能に関する脆弱性について
Google ColabユーザーのためのTipsトップ10
Kubeflow 1.0: Cloud Native ML for Everyone
図解！Jupyter Labを徹底解説！(インストール・使い方・拡張機能) - ビジPy
SymPy による数式処理とグラフ作成 - 弘前大学 Home Sweet Home
「AnimeGAN」を試してみる - Qiita