便利なPythonツールがてんこ盛り、Anacondaでスクレイピングに挑戦
Pythonの開発環境にはいくつかの種類があり、代表的なのが「Anaconda」（アナコンダ）だ。Anacondaの概要やインストール方法、基本的な使い方を紹介する。 Anacondaを使って、プログラムを作りましょう。Anacondaには様々なツールが同梱されており、開発するプログラムの内容に応じて、使いやすいツールを選べます。本稿では、「Anaconda Navigator」（アナコンダ・ナビゲーター）を使ってツールの一覧を確認した後に、Anaconda PromptとJupyter Notebookを使ってプログラミングを行います。 Anaconda Navigatorでツールを確認する 「Anaconda Navigator」は、Anacondaに同梱されている各種のツールを起動するためのソフトウエアです。Pythonの実行環境を管理する機能もあります。いくつかのツールはWindo
Transformerを用いてオノマトペから環境音を合成する手法をPyTorchで実装した（Transformer版 Onoma-to-Wave） - 備忘録
はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった： tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ（文字列）を環境音（スペクトログラム）に変換するモデルである。RNNに基づくencoderとdecoderから構成されており、いわゆるSequence-to-Sequence（Seq2Seq）の構造を持つ。 それらをTransformerによって置き換えたモデルが、Onoma-to-Waveの著者らによって実はすでに提案されている。 岡本 悠希，井本 桂右，高道 慎之介，福森 隆寛，山下 洋一，"Transformerを用いたオノマトペからの環境音合成，" 日本音響学会2021年秋季研究発表会，pp. 943-946，2021. 上
Python最新バージョン対応！より良い型ヒントの書き方 | gihyo.jp
寺田 学です。9月の「Python Monthly Topics」は、Python 3.5で導入され、多くの場面で活用されている型ヒント（Type Hints）について、より良い型ヒントの書き方を紹介します。 Pythonの型ヒントとは Pythonは動的型付け言語です。型を指定せずに変数宣言できますし、関数の引数や戻り値に型を宣言する必要はありません。 Python 3.5（2015年9月リリース）で型ヒントの仕組みが入りました。型の指定が不要なPythonですが、型ヒントを付けることで、「コードの可読性向上」、「IDEコード補完の充実」、「静的型チェックの実行」といった静的型付け言語のようなメリットを得ることができます。 Pythonの型ヒントは以下のように記述します。 name: str = "氏名" # 変数nameをstr型と宣言 def f(arg: int) -
Pythonが速度改善に本気出すと聞いたので恒例のたらい回しベンチをとってみたら、RubyがYJITですごく速くなっていて驚いた話 - Smalltalkのtは小文字です
2022-09-09改訂： gcc バージョンが古すぎたのと、C が内部計測でなかった点を改め計測しなおしました。結果、Rust は C より速くはなくなりました。紛らわしいことで、ごめんなさい。また、gcc のバージョンアップに伴い、Python および Ruby についてはビルドと計測をしなおしたので、これらも少し速い値に変わっています。この点もどうぞあしからず。 2022-09-10追記：ご要望のあった Python numba.njit 使用時と Go の結果を追加しました。PHP は JIT 有効化が面倒だったので断念しました^^; 2022-09-10追記2：C の計測で clock() を使うのはフェアではないという指摘がありましたので、念のため clock_gettime() を使用したコードに差し替えました。結果に大きな差はありません。 2022-09-10追記3：PHP
Stable DiffusionをVSCode + Jupyter Notebookで動かす
これは何 Jupyterをいれたまえという天の声を受けて入れたらStable Diffusionの実行とかみ合わせがとても良いので布教するための記事 この記事で説明すること StableDiffusionをAnaconda + VSCode + Jupyter Notebook構成で動かす方法 前段の環境構築は引用記事だけご紹介 後半のVSCode登場してからがこの記事における説明内容 この構成を推す理由 Stable Diffusionではpromptを書き換えて何度も実行することになる jupyterを導入すると、それがとてもやりやすい Anacondaは環境が混ざるのを防止のため npm使ってる人向けに軽い説明をすると、pythonはnpm -gするのがデフォみたいな感じなので、それを分離できるようにするのがAnaconda。Anacondaはpythonのバージョンも指定できるので
Python 3.11の新機能(その1） CPython高速化計画 - python.jp
今年も、Pythonのメジャーリリースの季節がやってまいりました。2022年10月3日にリリース予定となっているPython 3.11の新機能を紹介します。 CPython 高速化計画¶Python 3.11で最大のニュースは、なんと言っても Faster CPython: CPython 高速化計画 が開始されたことでしょう。 CPython 高速化計画は、Mark Shannon氏が提案したプランに基づいてPythonの高速化を行うもので、Pythonを毎年50%高速化し、互換性を保ちつつ 4年間で5倍高速化する ことを目標としています。 この計画はMicrosoft社の出資を獲得し、Pythonの父であるGuido van Rossum氏も加わって開発が進められています。 ベンチマーク¶さて、CPython 高速化計画最初のリリースとなるPython 3.11では、どの程度の高速化が
【自然言語処理】Doc2Vecで文章ベクトルを算出し、類似文書検索をやってみた
はじめに 以前、BERTを使って歌詞の文章ベクトルを算出し可視化する試みを行いました。BERTは優秀なんですが、入力できるトークン数が512に限られるため、長い文章のベクトル算出には向いていないんですよね。 今回は、上場企業約2,500社が有価証券報告書で書いている割と長文の文章について、Doc2Vecを使って文章ベクトルを算出し、あわせて、文章ベクトルから類似文書を検索してみました。 個人的には、BERTよりもDoc2Vecの方が納得感のいく結果を出している気がしています。 ここでは、文章ベクトルの算出方法・類似文書検索方法について、お伝えしていきたいと思います。 文章ベクトルのイメージ ①野球を観戦した ②サッカーの試合を見た ③犬の散歩にでかけた の3つの文章を2次元のベクトルに変換することを考えてみましょう。 文章の内容を考えると①と②が近く、③が少し離れているイメージですね。 こ
機械学習帳が SageMaker Studio Lab からすぐに学べるようになりました | Amazon Web Services
Amazon Web Services ブログ 機械学習帳が SageMaker Studio Lab からすぐに学べるようになりました 東京工業大学の講義で使用されている「機械学習帳」をご存じでしょうか? 教材を紹介する Tweet には数千の Like がつき大変反響があったため、目にした方も多いと思います。一方で、実際に機械学習帳で学んだ方はまだ少ないのではないでしょうか。本ブログは機械学習を学びたい方のために、無料で使える Amazon SageMaker Studio Lab で機械学習帳を学ぶ方法を紹介します。学ぶ際の補助教材として筆者が作成した「機械学習帳の学習ノート」も併せて紹介します。機械学習帳の著者である岡崎直観先生にご協力頂き、簡単に Studio Lab で学べるようになったので、ぜひ学習に活用頂ければと思います。 機械学習帳とは 機械学習帳は東京工業大学の機械学習
Python 3.11の新機能(その3）関数呼び出しのインライン化 - python.jp
Python 3.11では、パフォーマンスチューニングの一環として、Python関数呼び出しのインライン化 が行われました。既存のPythonインタープリタのしくみを大きく変更する変更ですので、簡単に解説しておきます。 先に書いておきますが、今回行われた「関数呼び出しのインライン化」は、C/C++などの inline のように、ユーザ定義関数を呼び出し元で展開してオーバヘッドを削減するものではありません。また、Schemeなどにある末尾再帰の最適化でもありません。 cevalループ¶Pythonインタープリタは、Python 3.11の新機能(その2） 特殊化適応的インタープリタ で解説したように、Pythonのソースコードをバイトコードへ変換し、順次実行します。このバイトコードを実行する関数はPythonインタープリタの心臓部であり、CPythonソースツリーのファイル Python/c
【自然言語処理】【Python】有価証券報告書の非財務情報（テキストデータ）を取得する
0. はじめに 上場企業が作成する有価証券報告書には、企業の経営成績がどうなっているのか？といった財務情報に加え、企業として何を課題と捉えどう取り組んでいくのか？といった非財務情報の記載があります。 最近は、気候変動リスクや人権問題への対応など企業の社会的責任の遂行に注目が集まる中、機関投資家が企業を評価する目線も、短期的な視点である財務情報から、中長期的な視点である非財務情報にうつりつつあります。 これからの時代、財務情報（数値データ）ではなく、非財務情報（テキストデータ）の分析ニーズが高まることが予想されます。こうした点も踏まえ、まことに僭越ながら、Pythonを使って有価証券報告書の非財務情報を取得する方法について、記載したいと思います。 具体的には、上場企業約2,500社分の有価証券報告書の 【経営方針、経営環境および対処すべき課題等】と【事業等のリスク】 を取得していきたいと思い
JavaScript/WebAssemblyをCDNエッジで実行するCloudflare Workersが、Python、Scala、Kotlin、Dart、Reasonへの対応を発表
JavaScript/WebAssemblyをCDNエッジで実行するCloudflare Workersが、Python、Scala、Kotlin、Dart、Reasonへの対応を発表 Cloudflareは、JavaScript/WebAssemblyをCDNエッジで実行するサーバレス基盤「Cloudflare Workers」が、Python、Scala、Kotlin、Dart、Reasonの各言語に対応したことを発表しました。 #ServerlessWeek continues at Cloudflare. Today, we’re excited to announce that you can also build applications on Cloudflare Workers using Python, Scala, Kotlin, Reason and Dart htt
Cloudflare Workers Announces Broad Language Support
Cloudflare Workers Announces Broad Language Support2020-07-28 We initially launched Cloudflare Workers with support for JavaScript and languages that compile to WebAssembly, such as Rust, C, and C++. Since then, Cloudflare and the community have improved the usability of Typescript on Workers. But we haven't talked much about the many other popular languages that compile to JavaScript. Today, we’r
VSCodeでPython書いてる人はとりあえずこれやっとけ〜 - Qiita
はじめに Pythonはコードが汚くなりがち（個人的にそう思う） そんなPythonくんを快適に書くための設定を紹介します。 拡張機能編 ここでは Pythonを書きやすくするため の拡張機能を紹介していきます。 1. Error Lens before 「コード書いたけど、なんか波線出てるよ💦」 記述に問題があった場合、デフォルトでは波線が表示されるだけ。。。 after Error Lensくんを入れることによって 波線だけでなくエディタに直接表示される。 はい、有能〜 2. indent-rainbow before Pythonくんは インデントでスコープを認識している。 for の f から下に線が伸びてるけど、ちょっと見にくいなぁ after 色が付いてちょっと見やすくなった！ 3. Trailing Space before 一見、普通に見えるコード after 末尾にある
Meta（旧Facebook）が、Rustを社内の正式サポート言語に採用。サーバサイド向けとしてPython、C++、Hackに追加
Meta（旧Facebook）は、ブログ「Engineering at Meta」で公開した記事「Programming languages endorsed for server-side use at Meta」で、Rustを新たに社内の正式サポート言語に追加したことを明らかにしました。 Meta社内ではソフトウェア開発において正式にサポートする言語を慎重に選択しており、社内においてサポートされた言語に対しては十分な投資が行われ、プログラミング、デバッグ、デプロイなどにおいて良好な開発体験が期待できるとともに、新しプロジェクトが開始される場合には、サポートされている言語を選択することが推奨されています。 サーバサイド向けの言語としてこれまでPython、C++、Hackがサポートされており、今回そこにRustが追加されました。 性能重視のバックエンドサービスやCLIの開発にRustを推
[Rust] 簡単なFFI実験（Rust ～ C, Python） - Qiita
RustでFFI関連の練習をした。 すべてWindows MSVC環境。 FFI = Foreign Function Interface（他言語の関数を使うためのインターフェイス）。 異なる言語を組み合わせて使うための技術的仕様。 簡単に言えば「C言語の仕様に合わせる」ことで実現している。 ※7/26追記 コメントでの指摘を受けて、誤っていた箇所を訂正。 ※8/5追記 Pythonスクリプトの不具合を修正。 要点 Rust製ライブラリをC言語で使う Rust製ライブラリをPythonで使う C言語製ライブラリをRustで使う 補足 参考 要点 C言語をコンパイルするには「x64 Native Tools Command Prompt」を使う。 Rust～C言語間では静的リンク（.lib）で連携させる。 ※7/26訂正 Rust～Python間では動的リンク（.dll）で連携させる。 リン
![[Rust] 簡単なFFI実験（Rust ～ C, Python） - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/610fcaca8778abe272789485af5db4f63b9462e1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUnVzdCU1RCUyMCVFNyVCMCVBMSVFNSU4RCU5OCVFMyU4MSVBQUZGSSVFNSVBRSU5RiVFOSVBOCU5MyVFRiVCQyU4OFJ1c3QlMjAlRUYlQkQlOUUlMjBDJTJDJTIwUHl0aG9uJUVGJUJDJTg5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mMTMzMzFkMmQwZDVjZDE3NzZmZTBiOTBlNThjMTlkMA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBWX2xhc2VyZ3VuJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xMWJhNDRhOGQxOWFjZjM2NGJkZDNiYjgwOGY5MDQxYg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D06df0ee4aff1c1089e7d9e8c7c0fa88e)
Python で学ぶベイズフィルタとカルマンフィルタ (翻訳) - inzkyk.xyz
翻訳について これは Roger R. Labbe 著 Kalman and Bayesian Filters in Python の翻訳です。英語版は CC BY 4.0 ライセンスで公開されています。 この翻訳は CC BY 4.0 ライセンスの許諾に基づいて公開されます。 PDF 版と Jupyter Notebook 版について この翻訳の PDF 版と Jupyter Notebook 版を BOOTH で販売しています。 謝辞 英語版の著者 Roger R. Labbe 氏に感謝します。 誤植を指摘して頂いた小山浩之氏 (https://twitter.com/0yama) に感謝します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonではじめる地理空間情報
NiceGUI
モノクロ画像をAIでカラー化してくれるPythonツールを試してみた - Qiita
Pythonで地理空間情報（GIS）やるために必要なパッケージ全部入りの「geospatial」が便利すぎた - Qiita
