jupyter notebookよりもMarimoが便利そう - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? データ分析・機械学習においてjupyter notebookは広く利用されています。EDAやモデルの学習、教育など多くのユースケース利用されてきましたが、notebookは以下のようなデメリットがあります。 Jupyter Notebookのつらみ 再現性の担保が難しい 共有されたnotebookを実行してもエラーが出て上手くいかない https://marimo.io/blog/introducing-marimo JetBrainsがGithub上の1千万のnotebookを分析したところ、36%のnotebookに再現性がなかった
ExcelがPython実行機能を標準搭載、データ分析に威力を発揮
表計算ソフトの「Microsoft Excel」上でプログラミング言語「Python」のコーディングができる新機能が登場した。米Microsoft（マイクロソフト）が2024年9月に正式提供を開始した「Python in Excel」だ。これにより、Pythonのライブラリーを用いた数値計算や統計分析、データの可視化などがExcel上で可能になった。 Python in Excelは、「Microsoft 365 Business」と「Microsoft 365 Enterprise」のユーザーが利用できる。現時点ではWindows版Excelのみの機能で、Mac版やiPhone／iPad版、Android版、Web版のExcelでは利用できない。なお、Pythonのコードはクラウドで実行されるため、インターネットへの接続が必要だ。 同機能はPythonの開発環境「Anaconda」を利用
ChatGPT、データ分析もできちゃうのか 新機能「Code interpreter」でデータ読み込み、Python実行が可能に アイデア続々
米OpenAIがAIチャットサービス「ChatGPT」に「Code interpreter」という機能のβ版を追加した。これによりファイルをアップロードできるようになった他、ChatGPT上でのPythonプログラムの実行にも対応。Twitter上ではさまざまな利用方法が考え出されている。 Code interpreterは有料プラン「ChatGPT Plus」で提供している機能。アカウントの設定画面から有効化すると使える。これまではユーザーが文字で入力し、ChatGPTが結果を文字で出力していた。しかし同機能を使えばCSV形式のデータやPDFファイル、画像などをアップロードして分析させられる。結果は文章だけでなく画像でも出力できる。 利用例 Twitterの上手な運用方法を聞いてみる 例として、筆者の個人Twitterアカウントのリツイート数やフォロワー数などをまとめたデータをアップロー
Google、Python環境の「Colaboratory」にAIによる開発支援機能を搭載へ。自然言語からのコード生成、チャットボットによる質疑応答など
Google、Python環境の「Colaboratory」にAIによる開発支援機能を搭載へ。自然言語からのコード生成、チャットボットによる質疑応答など Googleは今月（2023年5月）に開催したGoogle I/O 2023で、同社として最新の大規模AIモデル「PaLM 2」を発表しており、今回Colaboratoryに搭載されるのも、このPaLM 2に基づいてコードの生成用に作られたモデル「Codey」です。 このCodeyを用いて、Colaboratoryには数カ月以内にコード補完、自然言語によるコード生成、コード支援チャットボットなどの機能が搭載される予定です。 下記は「import data.csv as a dataframe」という自然言語での入力からコードが生成されたところ。
ChatGPT API の使い方｜npaka
「OpenAI」の 記事「Chat completions」が面白かったので、軽くまとめました。 1. ChatGPT API「ChatGPT」は、OpenAIの最も先進的な言語モデルである「gpt-3.5-turbo」を搭載しています。「OpenAI API」から「gpt-3.5-turbo」を使用して独自アプリケーションを作成できます。 ・メールや文章のドラフト ・Pythonコードの生成 ・一連の文書に関する質問応答 ・会話型エージェントの作成 ・ソフトウェアへの自然言語インターフェースの追加 ・さまざまな科目の家庭教師 ・言語の翻訳 ・ビデオゲームのキャラクターのシミュレート 2. 使用料金使用料金は、以下で確認できます。 3. Colab での実行「gpt-3.5-turbo」は、マルチターンの会話を簡単にするように設計されていますが、会話のないシングルターンタスクでも役立ちます
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
Pythonだけでクロスプラットフォームなアプリを作れるFletについて - Qiita
はじめに Python だけでクロスプラットフォームなアプリを作ることが出来る、Flet というフレームワークについての記事です。 Pythonだけで次のようなWeb・デスクトップに両対応したアプリを作ることが出来ます。 Flet の概要 Flet は Flutter をベースにしています。主に以下のような特徴があります。 From idea to app in minutes 「素早くGUIアプリを作成出来る」ことが、Fletの主なセールスポイントのようです。 Simple Architecture JSフロントエンドやRestAPIを書くこと無く、PythonだけでSPAを作る事が出来ます。 Batteries included Batteries Included は、Pythonの設計思想のようです。電池が付属している、つまりそのままでもすぐに動かせることを指します。 Powere
「JupyterLab」のデスクトップアプリ「JupyterLab App」がリリース。Pythonなどに対応した統合開発環境
「JupyterLab」のデスクトップアプリ「JupyterLab App」がリリース。Pythonなどに対応した統合開発環境 Pythonなどに対応した統合開発環境としてWebブラウザから利用する「JupyterLab」のデスクトップアプリケーション版となる「JupyterLab App」がリリースされました。 Electronベースのマルチプラットフォーム対応となっており、Mac、Linux、Windowsに対応します。 基になったWebアプリケーションのJupyterLabは、PythonやScala、Rなどのコードを打ち込んですぐに実行できるインタラクティブなデータ解析環境であった「Jupyter Notebook」をベースとし、そこにターミナル画面の機能、ファイルブラウザ、テキストエディタなどの機能を統合。 さらにブレークポイントの設定や変数の確認などの機能を備えたビジュアルデバ
Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary
概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えた linetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo
仕事する前に知っておくと幸せかもしれないpandasのきほん - read関数にはとりあえずURL渡しておけ - Lean Baseball
お仕事や, （個人的には）趣味のデータ分析・開発などでpandasをよく使う人です. pandasはPythonでデータサイエンスやデータ分析（解析）をやってると必ずと言っていいほどよく使うライブラリだと思います. お仕事で同僚やインターンが書いたnotebookをよく読む（レビューする）のですが, 煩雑なことやってるけどこれ一行で書けるやで 最初からデータを整理するとそんな面倒くさいことしなくても大丈夫やで ...といったコメントを返す機会が増えてきました. これらは当人たちにフィードバックしているのですが, このフィードバックの内容が案外重要な気がしてきたのでブログに書いてみることにしました. 読んだ方の理解・生産性の向上および, 「つまらない仕事が334倍楽になる」ような感じにつながると嬉しいです🙏 TL;DR pandasのread関数にはとりあえずURLを渡しておけ &使うカラ
Python言語による実務で使える100+の最適化問題 | opt100
指針 厳密解法に対しては、解ける問題例の規模の指針を与える。数理最適化ソルバーを使う場合には、Gurobi かmypulpを用い、それぞれの限界を調べる。動的最適化の場合には、メモリの限界について調べる。 近似解法に対しては、近似誤差の指針を与える。 複数の定式化を示し、どの定式化が実務的に良いかの指針を示す。 出来るだけベンチマーク問題例を用いる。OR-Libraryなどから問題例をダウンロードし、ディレクトリごとに保管しておく。 解説ビデオもYoutubeで公開する． 主要な問題に対してはアプリを作ってデモをする． 以下，デモビデオ： 注意 基本的には，コードも公開するが， github自体はプライベート そのうち本にするかもしれない（予約はしているが， 保証はない）． プロジェクトに参加したい人は，以下の技量が必要（github, nbdev, poetry, gurobi); ペー
PythonやR対応の統合開発環境「JupyterLab 3.0」正式リリース。ビジュアルデバッガー搭載、レスポンシブ対応でモバイルデバイスの狭い画面でも使いやすく
PythonやR対応の統合開発環境「JupyterLab 3.0」正式リリース。ビジュアルデバッガー搭載、レスポンシブ対応でモバイルデバイスの狭い画面でも使いやすく Project Jupyterは、オープンソースで開発されているWebIDE「JupyterLab 3.0」の正式リリースを発表しました。 JupyterLab 3.0 is released! - visual debugger - support for multiple display languages - table of content for notebooks - improved extension system. Check out the announcement blog post.https://t.co/pUBiZEYH4c — Project Jupyter (@ProjectJupyter) J
JupyterLab 3.0 is released!
The 3.0 release of JupyterLab brings many new features to users and substantial improvements to the extension system. InstallationTo install JupyterLab with pip: pip install jupyterlab==3With mamba: mamba install -c conda-forge jupyterlab=3With conda: conda install -c conda-forge jupyterlab=3(Note that many third-party extensions are still in the process of updating to be compatible with JupyterLa
Pythonで仕事をする人のための書籍まとめ2021 - 学習, 業務効率化, アプリ開発からデータサイエンスまで - Lean Baseball
2020年も多くの素晴らしい技術書がたくさん出ました. その中でも（昨今のトレンド・流行りも手伝ってか）Python本の多さ・充実度合いは目立つものがあります. （このエントリーを執筆した12/19時点で）Amazonの本カテゴリで「Python」と検索すると1,000件以上出てきます*1. これだと目的の本にたどり着くだけで疲れそうです. このエントリーでは, 主にPythonを学びたい・現在使っている方 手元の業務を効率化したり, RPAっぽいことをやりたい方 エンジニア・データサイエンティストとして業務や趣味・個人開発をされている方 を対象に, 今そして来年2021年に読んでおきたいPython関連書籍（と抑えておきたいサービス） をエンジニアでありデータサイエンティストである私独自の視点で紹介します*2. なおこのエントリーはこのブログで例年執筆している「Python本まとめ」の2
Pythonよりも20％高速な「Pyston v2」が公開 | Ledge.ai
※本稿はPystonの公式ブログによる公表をもとにした記事です。純正のPythonによる発表内容ではございません。なお、画像は公式ブログより Pystonは現地時間10月28日、公式ブログにおいて、純正の「Python 3.8」よりも20％速くなるとうたう「Pyston v2」を公表した。Pystonが2017年1月に公表した「Pyston 0.6.1」に続くリリースと見られる。 今回、Pystonが公開した「Pyston v2」を使用すると、サーバーコストを削減することで、ユーザーの待ち時間を減らし、開発者の生産性を向上させられるとのこと。現在、Ubuntu 18.04と20.04 x86_64用のパッケージを公開している。 なお、Pystonは米Dropboxがスポンサーとしてプロジェクトを開始したが、「Pyston 0.6.1」をもってスポンサーを離脱した。 ＞＞GitHub ＞＞公
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Python in Excel」が一般公開 ～「Copilot」にコードを書いてもらう機能もテスト開始／1年以上のテストを経て正式機能に
「Python in Excel」が「Copilot」と連携、AIがPythonコードを書いてExcelでビジュアライズ／今年後半にもプレビュー版が提供へ
「Python in Excel」に強力な援軍、「Python Editor」のテストが開始／長いPythonコードも「Excel」サイドパネルで楽々、「VS Code」由来の支援機能も充実
Pythonの新しい言語サーバー「Pylance」がプレビューを卒業 ～「Visual Studio Code」でリッチな開発支援を実現／「Python」拡張機能の5月リリースで既定の言語サーバーに。10～20％の起動時間短縮も
Microsoft、「Visual Studio Code」の新しい拡張機能「Jupyter」を発表／「Python」言語拡張と切り離して、それ以外のプログラミング言語でも利用可能に
