Pythonで国会議事録から、話題の政治ワードを抽出してみた | Aidemy | 10秒で始めるAIプログラミング学習サービスAidemy［アイデミー］
初めまして、Aidemy研修生のぐっちーです。 今回はPythonの得意分野である ・自然言語処理（コンピュータに人間の言語を処理させる学問） ・スクレイピング（ネット上からデータを収集する行為） を行い、ネット上の国会議事録データから会議内の頻出単語を抽出する プログラミングを実装してみたいと思います。 （結果の一例↓） Pythonを一通りかじったけど、何をすればいいかわからない…！ というかたの、足がかりになればなと思います！ 研究背景 突然ですが、統計データは母集団により結果が大きく変わります。 以下の安倍内閣の支持率に対する世論調査をご覧ください。↓ 日本テレビの世論調査 2018年4月の安倍内閣の支持率を26.7%としております。 国際ニュース通信社ロイターの調査 こちらは2018年4月の安倍内閣の支持率を73％としております。 データを取った母集団は、以下の通り 日本テレビ→
悩める Web スクレイパーのための一冊 - 技術評論社『Python クローリング & スクレイピング』 - Witch on the Other Shore
このたび、縁あって『加藤耕太 (2016). Python クローリング & スクレイピング データ収集・解析のための実践開発ガイド, 技術評論社』(以下、本書) を恵贈賜りました。 著者並びに出版社の皆様にお礼とご慰労をかねまして、僭越ながら本エントリにて一読後のレビューを掲載いたします。 Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る なお読者の益となるようなるべく公正な目線でレビューします。掲載されているコードの厳密な正確性については本レビューの対象外とします。 総評 体系的に「スクレイピングとは」「クローラーとは」について学ぶにはとてもよい書籍です。本書の優れているところは、特に基礎編ともいえる前半部分で、ある事柄を説明する
Python編集環境を整える: pytestとかvimのプラグインとか
B! 119 0 0 0 Python用の環境設定について最近更新したので経過メモ。 特にVimのプラグインとかについて。 外部コマンド Vim シンタックスハイライト等 インデント 補完 畳み込み 外部コマンド 文法チェックをしたり pep8 に準拠するような作法に整えたりするために Pythonスクリプトをチェックするコマンドとしては pytest が便利です。 pytest本体ではpep8までチェックできませんが、 pytest-pep8 も入れる事でpep8についてまでチェックできる様になります。 $ pip install pytest-pep8 で必要な物を全てインストールしてくれます(pep8やpytest等)。 使い方は $ py.test --pep8 target.py 等と、.pyファイルを与えるかディレクトリを与えると そのディレクトリ内の.pyファイル全てをチェッ
え？君せっかく Python のバージョン管理に pyenv 使ってるのに Vim の補完はシステムライブラリ参照してるの？ - Λlisue's blog
どうも、ご無沙汰してます有末です。 Pythonistaならpyenvだよねーってことで当初からバリバリ使わせていただいているのですが、最近djangoのプロジェクトを書く際に困ったのでまとめておきます。 具体的にはpyenvでPytho 3をインストールし、pyenv-virtualenvを用いて仮想環境を構築し、その仮想環境に django をインストールしただけでは jedi-vim の補完が効かないという問題です。 いくつかの要因が複合して複雑に成っていたので、ひとつずつメモしていきます。 忙しい人のための簡易書 普段からpyenvとpyenv-virtualenvを使用していてjedi-vimでdjangoの補完が効かなくて困っている。 とにかく補完を効かせたい。 戯言なんてどうでもいいという人は下記を~/.vimrcに記載してください。 " ~/.pyenv/shimsを$PA
asyncioを用いたpythonの高速なスクレイピング - HackerNews翻訳してみた
「HackerNews翻訳してみた」が POSTD (ポスト・ディー) としてリニューアルしました！この記事はここでも公開されています。 Original article: Fast scraping in python with asyncio by Georges Dubus ウェブスクレイピングについては、pythonのディスカッションボードなどでもよく話題になっていますよね。いろいろなやり方があるのですが、これが最善という方法がないように思います。本格的なscrapyのようなフレームワークもあるし、mechanizeのように軽いライブラリもあります。自作もポピュラーですね。requestsやbeautifulsoup、またpyqueryなどを使えばうまくできるでしょう。 どうしてこんなに様々な方法があるかというと、そもそも「スクレイピング」が複数の問題解決をカバーしている総合技術だ
)
Mac で Python の開発環境構築(2013.11) - methaneのブログ
しばらく Mac からおさらばしていたのですが、ゆえあって戻ってきました。 Python 3.3 ベースで Python 環境の構築をしたので、参考までに手順を残しておきます。 1. Homebrew で Python 3 をインストール とりあえずベースになる Python を用意します。いまならもう Python 3 を普段使い用にできるので、 Python 3 を用意します。 $ brew install python3 MacPorts でも大丈夫だと思います。 2. 自分用のデフォルト環境を作る システムの Python に直接自分が普段使うツール類をインストールするのは憚られるので、自分用のデフォルト Python を用意します。 Python 3.3 では venv が標準ライブラリにあるので、この手順で virtualenv を手動で準備する必要がなくなりました。 $ mk
Web開発にPythonを使う理由 - Web屋さんのアレ
僕の周りだけかもしれないですが、国内のWeb受託開発案件は「PHPで作るのが暗黙のルール」ってな勢いでPHP案件ばっかりなのですが、Python大好きな僕としては、何としてでもPythonを使って仕事をしたい！ なので頑張って布教活動をしているのですが、中々良い手応えが得られないのが現状です。。 という訳で、改めてPythonを使うメリットとか、安心してクライアントにPythonを進められる理由なんかをまとめてみました。 技術者がPythonを使うメリット 「今までPHPでやってきて何の問題もなかったし、これからPython始める意味なんてあんの？」 ぶっちゃけ、そんなにないですｗ 結果的に出来上がる物に関しては大差ないですからね。 ただし、開発効率やメンテナンス性は飛躍的に上がると僕は思います。 ライブラリがとても豊富 PHPも沢山ライブラリありますけど、Pythonだっていっぱいあるん
Pythonで複数プロセスたちあげて結果を非同期で処理する - Study08.net 対シンバシ殲滅用人型機動兵器
python で複数プロセス立ち上げてそれぞれのコマンドの結果を非同期に処理するのどうやったらいいんだろ— ねじめ (@drillbits) October 3, 2013 ていうのを見かけたので殺伐とした心を癒すためにやってみる心。 やりたい事 Pythonスクリプトから複数外部コマンドを実行 実行結果を非同期に処理する 割とお手軽にやりたい。 よしググる(クズやろう) asynchronous - How can I run an external command asynchronously from Python? - Stack Overflow あった。 試してみる それぞれ 1秒, 2秒, 3秒まってprintするようなスクリプトを3つ用意 # こんな感じ from time import sleep sleep(1) print "echo1" これを参考のまんま下記のよう
さくらVPSセットアップ用のシェルスクリプトを今話題の「Ansible」で書き直してみた - Copy/Cut/Paste/Hatena
「Chef! Chef!」と叫ばれる昨今、そのChefに挫折した皆様、いかがお過ごしでしょうか？ Chefに挫折中のid:k1LoWです。 Ansibleいいよ。Ansible。 Chefに挫折したからといってプロビジョニングツールへの憧れは消えるわけもなく、時間を見つけてはいろいろいじっていた時、 同僚からの「Ansibleというツールが良さげらしい」という情報をそのまま鵜呑みにし、PHP Matsuri 2013を通じて使ってみて今に至っています。 Ansibleいいよ。Ansible。 AnsibleはPython製のプロビジョニングツールです。ChefやPuppetと同じ領域のツールですね。 ちなみに、呼び方は、日本語英語的に「あんしぼぉ」です。「あんじぼぉ」でも「あんそぉぼぉ」でもありません。PHP Matsuri 2013でVagrantのMitchell Hashimotoさ
パーフェクトPython - forest book
Python3 に特化した専門書という位置付けですが、(Python3 に関した) 言語仕様やその変更、ライブラリの詳細の違いなどを除けば、Python2 でも活用できる知識が大半です。まだ Python2 しか使っていないという方でも十分に役立つ内容だと思います。 ただ、本書を読み進める上で1つだけ忘れてはいけないことがあります。Python 全般について丁寧に解説されていますが 著者名が Python サポーターズとなっていますが、ついったーなんかでは Python モヒカンズなんて言われています。 パーフェクト Python の執筆に参加しました — プログラマのネタ帳 二冊目 と何だかこわい人たちが書いた本だということです。まずはそのことを念頭におくことで本書を楽しんで読み進められる心の準備が整った、言い換えると、覚悟はできたと言えます。そうすれば、途中でこわくなってきても勇気をも
Pythonプログラマー歓喜！JavaScriptの代わりにPythonが使える·Brython MOONGIFT
BrythonはJavaScriptの代わりにPythonを使ってプログラミングできるようにするライブラリです。 Webブラウザ標準で使えるプログラミング言語と言えばJavaScriptです。しかしそれだけでは満足できない、そんな方が開発したのがBrythonです。Webブラウザ上でPythonが書けてしまいます。 アナログ時計です。ちゃんと秒針が動いています。 コードは見事にPythonです。 Ajaxのデモ。 やはりちゃんとPythonコードです。 テーブルのソートデモ。 Importも使えて便利です。 左右にデータを移動させるデモ。 ボタンやコンポーネントをPythonの中で生成しています。 3Dを動くデモ。 エリア情報を含めてPythonで定義されています。 BrythonはHTMLコンテンツのハンドリングはもちろん、Ajax、ローカルストレージ、Canvasの操作もできます。HT
IDEA*IDEA 〜 とあるサービス運営者が学んだことをまとめるブログ
【アプリ開発日誌】 ときどき日記、サブスク管理...などなど、最近の開発状況まとめ アプリ開発日誌を週刊化。ときどき日記、サブスク管理、韓国語タイピングなど、現在開発・運用中のアプリをまとめてご紹介します。 今日 【2026年2月版】 最小構成ではじめるOpenClawセットアップガイド（HOSTINGER + Discord） OpenClawをHOSTINGERのVPSにデプロイしてDiscordボットとして動かすまでの手順を日本語でまとめました。最小構成で月1,500円ほどから始められます。 8日前 Bambu Lab A1 mini + AMS 2 Pro + BIQU Panda Stackで、快適3Dプリンター生活を始める方法 Bambu Lab A1 miniにAMS 2 ProとBIQU Panda Stackを導入。購入先の選び方から組み立て、接続、多色印刷テストまでの手
エンジニアが知っておくべき厳選英語Webサイトなど - YAMAGUCHI::weblog
はじめに こんにちは、Python界の情弱です。なんか「WEB屋が知っておくべき」ってエントリが出てたんですが、まあ自分はエンジニアの端くれなのでこのへんは読んでますよ、ってのをメモっておきます。僕は情弱なので、もっと素敵なサイトがあったら教えて下さい。 「英語だから…」なんて拒否っちゃ駄目なWEB屋が知っておくべき厳選ブログ、WEBマガジン色々 | バンクーバーのうぇぶ屋 僕は主にPython系の記事を読んでますが、他のテーマ（言語、OS、仮想化、DBなどなど）はきっと著名な方々がテーマに沿って書いてくれてたりするんじゃなかろうか、と思っています。 こんなのを読んでいる 公式サイト 公式サイト なにはともあれ公式サイトとかを見ておくのはマナー。例としてPythonの公式。更新に関するRSSがあればそれを登録すると便利です。 パッケージ管理レポジトリ 今日日のプログラミング言語だとパッケー
Getting Started: Python - Google App Engine - Google Code
Getting Started: Python This tutorial describes how to develop and deploy a simple project with Google App Engine. The example project, a guest book, demonstrates how to use several App Engine services, including the datastore and the Google user service. This tutorial has the following sections: Introduction The Development Environment Hello, World! Using the webapp Framework Using the Users Serv
sourceforge.jp
We’re getting things ready Loading your experience… This won’t take long.
Pythonの勉強をまったく始められないあなたと私に送る8つのタスク
Google App EngineでのPythonの勉強と開発は進んでいますか？ GAEでPythonを始めるときに知りたい4つのまとめ これを書いた本人はというと…まったく進んでいません。 Learn Python The Hard Wayを少し読んだ程度です。 言い訳なんていくらでも出来ますね。 えーっと、仕事が忙しいから、仕事が忙しいから、そして仕事が忙しいから。 しっかり、仕事以外の勉強の時間を取ってやらないと、あっと言う間に置いてかれます。 そして、”新しいことを学ぶ”というのは日々のモチベーションに繋がりますから。 前置きはここまでにして、今日はタイトル通り、 Pythonの勉強をまったく始められないあなたと私に送る8つのタスク を紹介します。 もし、タイトルに期待して、”これさえやればPythonマスターになれる！”と思ってきた方にはごめんなさい。 99%は”Pyt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミング言語 Python 総合情報サイト - python.jp
2to3を使ってコードをPython 3に移植する - Dive Into Python 3 日本語版
JavaとPythonの学習がオンラインで出来る『CodingBat』 | 100SHIKI