日本語に特化したOCR、文書画像解析Pythonパッケージ「YomiToku」を公開しました｜Kotaro.Kinoshita
はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ
今いちばんオススメしたいPython本 2022 - 初心者からプロまで仕事に活かせる3冊 + α - Lean Baseball
2021年も数多くのプログラミングやPythonを扱った素晴らしい書籍とたくさん出会いました. 私はリアルの本屋さんに行くのがとても好きで（ECの本屋さんも好きですが）, 技術書のコーナーには必ずと言っていいほど足を運ぶのですが, 年々「Python」というラベルが付いた棚の領域が広がっている気がします. プログラミング初心者でPythonからやりたいけど何から読めばいいのか🤔 実務に役立つような参考書籍ってどうやってみつければいいかわからない😇 よりビジネスに役立つ, 実践的な事例をしりたい💪🏻 という, 割とありそうなニーズにお応えすべく, 2022年いや, 今この瞬間に読んでおきたい・抑えておきたいPython関連書籍をまとめました！ 2011年頃からPythonを使って仕事をし始め, 今もエンジニアリングからコンサルティング, マネジメントをやっている私独自の視点で, オス
VS Code + pipenv で MacにPython開発環境を作る - Savoのブログ
なぜVS Code? Remote Developmentがよさそう intellisenseによる補完がよさそう そのうちpythonもintellicodeの補完もでるだろう 現在はPython中心でPycharm使っているが他の言語も使う予定 めっちゃ流行っている なぜpipenv? Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ VS Code の installと設定 Windows + Python 3.6 + PipEnv + Visual Studio Code でPython開発環境 - Qiita Visual Studio Codeの使い方、基本の「キ」 (1/6)：特集：Visual Studio Code早分かりガイド - ＠IT VS Code入れる cmd+shift+pでコマンドパレット表示して、shellを入力→ t
Pythonでデータの挙動を見やすくする可視化ツールを作成してみた - Qiita
※関連ツールを1つの記事にまとめました！よければこちらもご覧ください もしこのツールを良いと思われたら、GitHubにStar頂けるとありがたいです！ 2021/8 注意点 ~最新のseaborn 0.11.1では以下のように正しく表示されません~ →最新版の0.11.2でも正しく表示されるよう修正しました（2021/10/31） 背景と機能 本ツールの機能と、作成した背景を解説します seabornとは？ Pythonのグラフ描画ライブラリで、ベースとなっているライブラリmatplotlibよりも、簡単なコードで綺麗なグラフを描くことができます 中でも、散布図とヒストグラムを組み合わせた「pairplot」は、 多変数の関係性を一度に可視化することができるため、 データ分析の初期段階で非常によく使われています。 pairplotの課題 とても便利なpairplotですが、下記のようにいく
Python環境構築ベストプラクティス2019
Python環境構築ベストプラクティス2019 Published at: 2019-02-18 / Updated at: 2019-05-14 Web上には新旧さまざまなPython環境の構築の方法が乱れており, 正しい情報にたどり着けない人がいて不憫なので2019年2月現在のベストプラクティスをPythonを使いたい人の属性ごとに紹介したいと思います. 自分がどのような環境を作ればいいかわかったなら公式ドキュメントというほぼ絶対的な1次資料を元に最高の環境を作っていきましょう. For Beginners とりあえずPythonを勉強してみたい, 手軽に手元にあるデータを解析してみたいという人はこちらです. プログラムをガリガリ書いていくのではない場合, 自分のPCに環境構築する必要はありません. Googleが提供しているColaboratoryを使いましょう. 苦労することなくP
Pythonを使って2019年度J1チームデータを可視化してみた｜Hana
下記の記事を読んだら、今年度のJリーグデータを可視化したくなったので、初歩的なPandas、Matplotlib、Seabornを使って、Jリーグのデータを可視化してみました https://towardsdatascience.com/pandas-in-the-premier-league-78f1d0c21b4fhttps://towardsdatascience.com/pandas-in-the-premier-league-78f1d0c21b4f 僕は今シーズンからDAZNにも加入し、毎週欠かさずサガン鳥栖とヴィッセル神戸の試合を観戦しています。 基本的なデータを可視化してみて面白そうなチームがあったら、そのチームの試合も観戦したいですね。 それに、簡単なデータを頭に入れて試合を見ることで、観戦がより面白くなると思います。 ============== まずはJリーグデータの
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball
毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web
radikoのタイムフリーをダウンロードするスクリプト - 予防線
を書きました。 github.com ラジオ聞きましょうラジオ radiko.jp 使い方 対象者はMacOSユーザ且つbrewとPython3系がザックリ分かる人。 もちろんWinでも動くはずです。 requirements.txtに必要な外部モジュールを記載してます。 $ pip install -r requirements.txt 音声の抽出やキーファイルの抽出に以下のライブラリが必要です。 このライブラリが結構手間かかった原因で、色々と–configureつけてコンパイルなどしてたのですが、結局素のままのインストールで動きました。全部入りのDockerfile配布が一番良いような気がするけどそれもまた面倒で、、 $ brew install ffmpeg swfextract 視聴可能局を表示。 $ python radipy.py --area create playerFil
プロ野球全球団の得点源な選手(または足を引っ張ってる選手)を野球統計学とPythonで出してみた - Lean Baseball
※2017/5/9 リンク切れを修正 ビール🍻とハンバーガー🍔をたしなみながらブログ書いてました.*1 野球,楽しんでいますかー!? アスレチックスが「定位置」に下がる中,日ハムが調子戻してきてようやっと野球を見る気になった私ですこんばんは.*2 今年度初の野球ネタです. PyCon mini Kumamoto 2017のエントリーで紹介させてもらった野球ネタの応用として, 2017年プロ野球,全球団の得点源と足を引っ張ってる選手を可視化 できる何かを作ったので,私の考察とともにお見せしたいと思います. 贔屓チームが強い(弱い)のはなぜ!? 野球統計学なにそれ美味しいの? Pythonでデータをいじりたいのだが！ を直感的に知りたい方はぜひ最後までお付き合いくださいませ. なお,指標値は私(shinyorke)独自算出のモノであり,他のコピーではないです&他のシンクタンクやMediaで
reSTおよびSphinxで文章を書く際のtips - そこはかとなく書くよ。
Sphinxを使って論文っぽい文章を書くときのtipsをまとめておきます。 追記: この内容は Sphinx逆引き辞典により詳細にして載っています。 用語を書く際はreplaceを使う .. |hoge| replace:: ほげらこう定義しておくと次からは |hoge| とするだけで、ほげらと自動的に展開してくれます。つまり、あとからこの用語名を変えたいな、と思ったときにはこの定義のところだけを変えれば勝手に全部入れ替えてくれる、というわけです。 ただし、複数のrstファイルに分けている場合には使えないので、別のファイル(例えばdefinition.txt)に replace を書いておき、 .. include:: definition.txtと各rstファイルの先頭に書いておきます。この時、.rstではなく.txtなど他の拡張子のファイルに書いていることに注意してください。そうしない
reStructuredText(reST)をEmacsで書く際のまとめ - YAMAGUCHI::weblog
はじめに こんにちは、非モテエンジニアです。長らくExcelで仕様書を書くのがブームらしいですが、Sphinxでドキュメントを書くと耳から脳漿垂れ流しになってしまうほど楽しくなってしまうというもっぱらの噂（俺の中で）なので、EmacsでreSTを書く際の便利機能をまとめてみました。 参照 404 Not Found 手前味噌ですが自分が関わっているSphinxの日本ユーザ会のサイトです。そもそもSphinxってなによ？Sphinx自体をどうやって導入したらいいのよ？って方はご参照ください。もちろん既にご存知の方にも最新情報含め有益な情報が満載です。 Emacs Support for reStructuredText rst.elの本家。英語ですがrst-modeについて一番詳しい説明がある場所だと思います。 rst.elの色設定 - DiaryException 色設定について詳しく説明
ドキュメンテーションを加速するストレスフリーの作図ツール『blockdiag』 jus2011年6月勉強会
システム開発や保守、運用の現場においてドキュメントは必須のものです。 しかし、ドキュメントの作成・維持には多くのパワーがかかるため、ドキュ メントが存在しない、資料が古いままになっているなどといった現状を多く 耳にします。 本勉強会ではこれらのドキュメントでよく利用される「図」にフォーカスし、 みるみるうちに図を作成できる「blockdiag」をご紹介します。 「blockdiag」はシンプルなテキスト記述からブロック図、ネットワーク図などの 画像ファイルを出力可能なオープンソースの画像生成ツールです。書き やすさ、メンテナンスしやすさを中心にデザインされており、図を作るのに 配置や並べ替えに苦労する必要はありません。 blockdiagのサンプルはこちら このような特徴を持つ「blockdiag」と、シンプルな記述でドキュメントを作成 するツール「Sphinx」を組み合わせることによって
やる夫と Python で学ぶ Twitter の OAuth - 宇宙行きたい
OAuth 調べてみたら難しくて理解出来なかったので， Python で標準ライブラリだけで 1 から書いてみました． ／ ＼ ／ _ノ ヽ､_ ＼ ／ oﾟ(（●）) (（●）)ﾟo ＼ twitter の OAuth 難しいお… | （__人__）' | ＼ ｀⌒´ ／ ＿＿＿_ ／⌒ ⌒＼ ／（ ●） （●）＼ ／::::::⌒（__人__）⌒::::: ＼ だからやる夫でやるお！ | |r┬-| | ＼ `ー'´ ／ Python のサンプルコードを付けていますが， 上から順に読めるようにおもいっきり手続き型で書いています． コメントで実際の処理の説明を書いています． Consumer Key と Consumer Secret の入手 ／￣￣＼ ／ u ＼ .＿＿＿_ |:
Atsushi's Homepage 〜 Twitter API を使ってみる
Twitter API の使い方などの説明です (2011/4/12 新規作成) (2013/6/13 API 1.1 対応版に書き直し) (2018/8/23 Account Activityを追加)。 Twitter は、 ユーザーが「ツイート」と呼ばれる 140 文字のつぶやきを投稿し、 閲覧できるコミュニケーション・サービスです。 Twitter API は、そのツイートの変更や参照・検索をプログラムから 扱えるようにする公式の API サービスです。 世の中に数多ある Twitter クライアントや、連携サービスも Twitter API を使って作成されており、相当のことができます。 Twitter API の解説をしている Web ページはそれなりにありますが、 API の仕様や周辺事情が色々と変化しているため、2013/6/13 時点で 私が調べた情報をまとめなおしたものを
Python Tools for Visual Studio
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox とゲーム PC ゲーム 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform Windows 365 開発者 & IT Microsoft 開発者 Mi
Python初心者によるPythonのいいところ、はまりどころのまとめ - Webtech Walker
Python勉強し始めて一ヶ月くらいたったんで一度復習を兼ねてまとめてみようと思います。僕が今までPHPとかPerlとかJavaScriptを使っていて、Pythonはこうやるのかーとか、これは便利だなーと思ったところ、開発していてはまったところなどピックアップしてみました。 初めてのPythonを読んで初心者向け勉強会に参加した程度の知識です。とりあえず初めてのPythonがかなりいいのでこれ読むだけで大体基礎は習得できた気がします。基本的な文法の説明だけでなく、大事なことは何回も繰り返し書いてあったり、Pythonの思想などにも触れているのでなぜこういう実装になっているかということも理解できます。これオススメ。 尚、このエントリーではPythonのバージョンは2.5をベースにしてます（主にGoogleAppEngineで使ってるので）。間違えなどあったらツッコミお待ちしてます。 文法、
チケットとカスタムクエリの日付表示フォーマットを変える - almost nearly dead
TracLightningの0.12対応も進みつつありますが0.11系の話題です。 先日のOSC2010/Tokyoで尋ねられたことなのですが、Trac のチケットやカスタムクエリで表示される登録日や更新日は今ひとつ優しくありません。 チケットの登録/更新日 チケットのコメント カスタムクエリ 何ヶ月前とか何分前とか表示されても、ちっとも嬉しくありません。 マウスカーソルをリンクに当てると年月日の表示も見られますが、極めて直感的ではないと言えます。 そこでTracのテンプレートを修正して、直感的な日時の表示にしちゃいましょう。 手を入れる対象のテンプレートは２つで、TracLightning2.5.xの場合は、 %TRAC_LIGHT_HOME%python\Lib\site-packages\Trac-0.11.7.ja1-py2.5.egg\trac\ticket\templates以
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
reST/Markdownで書けるHTML slide generator、landslide - そこはかとなく書くよ。
python練習帳