【コードで一発】ブログ最適化/SEO対策で面倒なことは全てPythonにやらせよう - プロクラシスト
こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
TensorFlow が正式に Windows サポートして GPU が使えたので試してみた - tilfin's note 跡地
Google から正式に Tensorflow が Windows 対応して GPU が使えるとのアナウンスがありました。 https://developers.googleblog.com/2016/11/tensorflow-0-12-adds-support-for-windows.html セットアップ環境 OS) Windows 10 Pro GPU) NVIDIA GeForce GTX 960 この環境で TensorFlow を試しみたいと思います。なるべくDドライブにセットアップするようにしています。 CUDA と cuDNN をインストール CUDA Toolkit 8.0 https://developer.nvidia.com/cuda-downloads Operating System: Windows Architecture: x86_64 Version:
JSONって書いてあるのにJSONじゃない形式のデータを内閣官房なる組織が公開していたから、pythonでJSON形式のデータの保存する方法をまとめる - Qiita
（【追記】コメントにあるようにgc373さんのご協力で、問題のデータはJSONとして修正されています。） データは大切です。優れたデータは社会によい価値を提供するでしょう。優れたデータというのは、価値の高い情報を持っているだけでなく、それが扱いやすいということも大切でしょう。扱いやすいというのは、データに簡単にアクセスでき、そのデータを容易に読み込めるということでしょう。特別なソフトウェア用の形式であったり、余計なものが書かれていて読む前に人間が読まないといけないというのは扱いづらいと言えるでしょう。SHIFT_JISなのも困りものです。 とはいえ、まずはデータがあって初めて何かができるわけで、オープンデータとして、政府がデータを公開し始めているのは評価すべきことのはずです。しかし、どのような状態のデータを公開すると良いのかについてはノウハウが不十分におもわれます。 さて、http://w
無料でプログラミングが学べるオンラインサービス5選｜＠DIME アットダイム
担当者でなくても、なぜコーディングを学ぶ必要があるのでしょうか？ もしもマーケティングチームのメンバーがコーディングの基礎やプログラミングの仕組みを学んだら、 「自社のプログラマーとのコミュニケーションが円滑になり」 、典型的な【マーケティングVSエンジニア】のぶつかり合いも緩和できるかもしれません。 もしも広告担当者がコーディングを学んだら、 「ランディングページの問題点や改善方法をもっと具体的に示唆出来る」 ようになるかもしれません。 もしもコーディング知識ゼロの人がコーディングの基礎を学んだら、その知識や学習意欲を利用して、 「新たなキャリアパスを描けるようになる」 かもしれません。 仕事でウェブに携わっている方なら、コーディングの少なくとも基礎を学んでおくことは、プラスにはなってもマイナスにはなりません。なぜなら、その学習はすなわちあなたの携わっている 「仕事への理解を深める」 こ
サイバーセキュリティプログラミング
Justin Seitz 著、青木 一史、新井 悠、一瀬 小夜、岩村 誠、川古谷 裕平、星澤 裕二 訳 TOPICS Security , Python 発行年月日 2015年10月 PRINT LENGTH 256 ISBN 978-4-87311-731-7 原書 Black Hat Python FORMAT Pythonは情報セキュリティの世界では他よりも先んじているプログラミング言語です。本書ではPythonを使った情報セキュリティにおける攻撃手法について解説します。前半ではrawソケットやScapyライブラリなどネットワーク関連の内容を扱います。後半ではCOMをPythonから扱う方法やVolatilityフレームワークなどシステム関連のトピックを扱います。読者はコーディングを通じてサンプルPythonツールの拡張、外部ツールとの連携や自動化について学習することができます。攻撃
岩波データサイエンス
岩波データサイエンス サポートページ 各巻に対応する内容は，上のバーの３本線「三」をクリックして左に表示されるメニューからご覧ください （トップページの内容が空白の場合も，メニューで下位の階層をクリックして頂くと内容が表示される場合があります） 新グーグル・サイトに移行しました．自動変換のため，見難くなっている部分，表示されない部分がありますが，ご容赦ください シリーズ「岩波データサイエンス」では、統計科学や機械学習など、データを扱うさまざまな分野について、多様な視点からの情報を提供することをめざします。まったくの初歩からやや高度な話までのいろいろな手法の解説、実務に役立つソフトの使い方、さらには各領域のサイエンスや応用に踏み込んだ内容まで、多彩な記事を掲載します。 装丁には蛯名優子さんの作品を使わせて頂いています。蛯名さんのホームページはこちらです。 【公式ツイッターアカウント】ツイッタ
Pythonで出力したCSV(UTF-8)がExcelで読み込めなくて困った話 - 唯物是真 @Scaled_Wurm
Pythonで出力したUTF-8のCSVを渡したら「文字化けしてExcelで読めない」と言われて困りました 原因は文字コードがUTF-8の時によく問題になるBOM(バイトオーダーマーク)です バイトオーダーマーク - Wikipedia UTF-8のファイルにはBOMが付いている場合と付いていない場合があります ExcelはBOMが付いていないと正しく読み込んでくれません なので、例えばメモ帳で開いて保存し直すと、BOMが付いてExcelでも開けるようになります 今回の問題とは逆にBOMがついていると動かないこともあって、以前BOMが付いたUTF-8のファイルをChromeに渡したら何故か動かなくて悩みました Google Chrome のユーザースクリプトで名前やバージョン番号が反映されない - 唯物是真 @Scaled_Wurm ちなみにPythonだと文字コードにutf-8ではなくu
xlwings·さよならVBA。PythonとExcelの相互コミュニケーションライブラリ MOONGIFT
Webアプリ全盛の現在とあっても、業務では未だにExcelが多く使われています。その結果としてVBAが活躍しており、メンテナンスが難しかったり、コピペされるコードが量産されていたりします。VBAがダメという訳ではないのですが、触りたくないと考えるプログラマは多いのではないでしょうか。 もっと自分が使い慣れたプログラミング言語でExcelを扱いたいと考える人に使ってみていただきたいのがxlwingsです。PythonとExcelで双方向の操作が可能になります。 xlwingsの使い方 デモ。ExcelからPythonを呼び出します。 xlwingsはPythonからExcelのデータを読み込んだり、ExcelからPythonをコールできます。その結果、PythonからExcelにデータを追加したり、検索結果を表示させることも可能です。VBAの代わりに使うことが可能です。 Pythonであれば
Pythonで生エクセルファイルを読み書きするpyExceleratorを使ってみた — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 普段自らこういうことはやらないんだけど，やむにやまれず大量(500個ほど)のエクセルファイルをCSVファイルに変換する必要があった。RubyではSpeadsheetというのがあるみたい。PerlではSpreadsheet::WriteExcelとかSpreadsheet::ReadExcelとか使うのかな。 まあ僕はPythonな人ということもあり，Pythonでできないかと思って調べてみたらpyExceleratorというモジュールを発見した。Pure Pythonで書かれたモジュールなのでインストールが簡単。生のエクセルファイルを直接読み書きできるので，プラットフォームを問わず動か
PythonにMinecraft...。いま教育現場に拡がる「子どものプログラミング」 | ライフハッカー・ジャパン
makeuseof：プログラミングカンファレンスに「学校の先生」が訪れるなんて、ちょっと前までは考えられなかったことでしょう。 ところが先日コベントリー大学のコベントリー・テクノセンターで開催されたカンファレンス「PyCon UK」には、教師の姿が数多く見られました。プログラマと教師が、それぞれの専門知識を共有し合っていたのです。彼らに共通の関心事は、若者向けのコンピューティング教育にありました。 イギリス政府は先ごろ、国内の学校でコンピュータサイエンスを必修にすると同時に、基礎的な（時代遅れの）事務スキルのみを教えていた IT カリキュラムを大きく改めました。その何が素晴らしいって、新カリキュラムがものすごく自由なところ。守るべきマイルストーンは、「シーケンス、条件分岐、反復を使ってプログラムを書く。変数や種々の入出力形態を使用する」などのシンプルなものばかりで、それを実現する手段は完全
オブジェクト指向プログラミング再入門
24. よくない設計 ! ／￣￣＼ ／ _ノ ＼ | （ ●）（●） | （__人__） | ｀ ⌒´ﾉ | } ヽ } ヽ､.,＿＿ __ノ _, ､ -― ''"::l:::::::＼ｰ-..,ノ,､.ﾞ,i ､ /;;;;;;::ﾞ:':､::::::::::::|＿:::;､>､_ l|||||ﾞ!:ﾞ､-､_ 丿;;;;;;;;;;;:::::i::::::::::::::／:::::::＼ﾞ'' ﾞ||i l＼>::::ﾞ'ｰ､ . i;;;;;;;;;;;;;;;;;;;;;;|::::::::::::::＼::::::::::＼ .||||i|::::ヽ::::::|:::! 年齢は？ 店員（売る人） ! ／￣￣＼ ／ _ノ ＼ | （ ●）（●） | （__人__） | ｀ ⌒´ﾉ |
スポーツ動画MAX
バスケ 【速報】八村塁が絶好調14得点！そして試合残り6.4秒『うぉぉ！B・ビールすげぇぇ!!』サンダー戦 2022/11/17 バスケ 【社会人バスケ】富士通vsRBC東京［2022男子関東地域リーグB・11月6日］ バスケ 【社会人バスケ】日立金属ブルドッグスvsNTT東日本東京［2022男子関東地域リーグA・11月6日］ バスケ 2022.11.20 【速報】八村塁が絶好調14得点！そして試合残り6.4秒『うぉぉ！B・ビールすげぇぇ!!』サンダー戦 2022/11/17 続きを読む バスケ 2022.11.20 【社会人バスケ】富士通vsRBC東京［2022男子関東地域リーグB・11月6日］ 続きを読む バスケ 2022.11.20 【社会人バスケ】日立金属ブルドッグスvsNTT東日本東京［2022男子関東地域リーグA・11月6日］ 続きを読む バスケ 2022.11.20 【ぴえん
全てのwebエンジニアがPythonを勉強するべき2013年到来
あけおめ！今年は巳年。へび。へびと言えばPython。そう今年は全てのwebエンジニアがPythonを勉強する最高の環境が整った年なのです。 既にPerlやRubyを習得してるけど、それに加えてPython必要？必要です！必要だと思います。もはやPythonはwebエンジニアにとって必修言語となりつつあると思います。Linuxの多くの箇所でシステム言語として用いられ、可読性の高さから多くの技術系書籍のサンプルコードとして用いられ、科学技術系分野におけるエコシステムの充実っぷりはますます磨きがかかっており、様々なライブラリがどんどん出てくる現状を「Pythonわからないから自分には関係無い」と遠巻きに眺めるのはもったいないです。 習得するのにどのくらい時間かかるの？あなたが既に他の言語に慣れ親しんでいるなら、特にRubyなどに精通していれば「1週間」で基本的な読み書きは出来るようになるでしょ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonで データ解析できるって なに？
harold-spm.com
意識の低い自動化
長文日記
Post by @we-b-blog · 3 images
