面倒くさがりな私がMacでよく利用している業務効率化アプリ5選 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
彼のこの記事を読んで、使い始めました。 タスク管理ツールって、過去いろいろと使っているんですけど、なかなかしっくり来るものがないんですよね。結果的に、Googleカレンダーにタスクを登録したり、メモ帳にToDoを記載したり……。 ただ、このRemember The Milkを使うと、なんかテンションが上がって抜け漏れなくタスク管理ができる。いやいや、絶対褒めすぎでしょって思ってたんですけど、いや、便利っすね。これはマジで。 詳細はここでは説明しません。もう、まさくにの記事を読んでください。 私は、無料プランを使っているんですけど、たしかにこれは有料プランを契約しても良いレベル。 Transmit https://panic.com/jp/transmit/ 続いて、FTP/SFTPクライアントのTransmitです。 今までは、Forkliftを使っていたんですけど、ここ一年くらいでこのソ
はてブ情報をpythonで可視化できるようにしたよ！ - プロクラシスト
こんにちは！ほけきよです！ はてなブログをしている皆さんなら、当然アレ、気になりますよね？？ そうはてブです。 自分の記事が拡散された時の満たされる感じは、クセになりますよね。 今回は、自分の記事のはてブがどのように増えて行くかを、APIを使って取得できるようにしてみました。 また、はてブが伸びるかどうかを左右する情報も取得できるようにしました！！ 基本コピペでOKになっているはずなので、pythonを使っている方は、一回試してみると楽しいですよ！ 必要なモジュール コード はてブの情報を取得 コード はてブの伸びを左右する情報たち コード プロットをする コード 実行してみる コード 結果 比べることもできる 結果 まとめと今後やりたいこと 必要なモジュール まず、モジュールをインポートしていきましょう。デフォルト以外で入れなければ行けないのは以下の二つ bs4 (webスクレイピング用
スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた - karaage. [からあげ]
注：この猫ちゃん画像は昔私が撮影した猫ちゃんで、ネットから落とした画像ではありません 追記：現在このスクリプトは使用できないようです Yahoo画像検索の仕様が変わったらしく、2018/08/12 の時点でこのスクリプトは使用できないようです。仕様が変わると適用できなくなるのは、スクレイピングのスクリプトの宿命ですね。今のところ対応の予定はありません。申し訳ございません。 ネットから画像収集しようとしたら意外に大変だった 最近、以下で書いているように機械学習に興味津々だったりします。 機械学習やディープラーニングを試していると、やっぱり試したくなるのが、チュートリアルで使用しているデータセット以外のデータにも同じ手法が適用できるかどうかですね。 とりあえず画像をネットから収集しようかなと思い、googleの画像検索の結果を一つ一つ右クリックで落とし始めたのですが、どう考えても非人間的過ぎま
![スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/46a7c2d0d0c97b98734e444364d9acf68ad37122/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20170814%2F20170814144955.jpg)
Pythonを使ってみよう～Webスクレイピングに挑戦し初歩を学ぶ～｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Pythonを使ってみよう～Webスクレイピングに挑戦し初歩を学ぶ～ 話題のPythonを使って学んでみましょう！ 今回はWebスクレイピングにトライし、その初歩を学びます。 Pythonの最初のバージョン(0.9)は、1991年に登場しました。C#の登場が2000年なので、Pythonの歴史は意外に古い印象です。本稿を執筆している2018年3月時点でのPythonのバージョンは3で、バージョン2とは、かなり仕様が異なります。本稿では、Python3を使用します。 さて、Pythonの特長は、簡潔な言語仕様と、学習のしやすさです。筆者は、これまでC++など、多くのコンピュータ言語を使用してきました。C++などに比べて、Pythonは同じことをするにも、少ないコード量で済み、また学習する時間も節約できます。何らかのコンピュータ言語をすでに使える人であれば、１日勉強すれば、ある程度、Pytho
Scrapbox専用のiPhoneアプリがやってきた Porter for Scrapbox - W&R : Jazzと読書の日々
ぴゅーぴゅー冷たい風が荒んでいます。もうすぐクリスマスがやってきて、今年も終わり。そう思っていたら、ネット界のサンタさんからプレゼントが届きました。 PorterPorter for Scrapbox 1.0.0 分類: 仕事効率化,ユーティリティ 価格: 無料 (shunsuke senoo) 91958に続くScrapbox非公式アプリ。WorkFlowyに喩えると、91958がMemoFlowyで、PorterがHandyFlowyですね。専用エディタの91958に対して、Porterは機能拡張型ブラウザ。Scrapboxを表示しつつ、Javascriptで新しい機能を追加していけます。 Porter for Scrapbox オンラインヘルプ SBPorterTextwell 1.8.4 分類: 仕事効率化,ユーティリティ 価格: \360 (Sociomedia) URLスキーム
皆さんはどんな方法で情報収集してますか？私はこんな感じです。 - Qiita
はじめに エンジニアにとっての情報収集能力はとても重要だと私は考えています。 はじめのうちは、「よし、やってやるぞ！」と思い、日々情報収集をしようと決心したが中々続かない人や、日頃から情報収集をするという行為に慣れておらず、毎日記事を追うことや、更新を毎日確認しにいくことが億劫になってしまう人もいるかと思います。 そういった人の助けに少しでもなれば良いと思い、私の現在の情報収集方法を記しておきたいと思います。 追っているサイトなど 私が日頃確認しているサイトは主に以下の通りです。 はてなブックマーク(テクノロジー) ITpro総合 Twitterで有名な人をリストに追加 GitHubのトレンドやフォローしているひとのアクティビティ Qiitaトレンド たまに追っているサイト たまに追っているけど、毎日は追いきれていないサービスは主に以下の2つです。 モヒカンSlack connpass G
「結構便利だからみんな使った方がいいぞ！」という7つのPythonライブラリ - None is None is None
一部で最強と呼ばれているPythonには, virtualenvやipythonのような絶対入れる超定番以外にも, あると便利なライブラリというものがあります. ここではラッキーセブン, 7つご紹介しましょう. なお, furl以外は3.xに対応しています. requests 覚えやすいWebリクエスト(urllib.request.urlopenの代替) furl URLの扱いをもっとシンプルに(urllib.parse.urlparseの代替) PyQuery jQueryのスクレイピング力をPythonに(html.parser.HTTPParser, lxml, BeautifulSoupの代替) Send2Trash/Send2Trash3k クロスプラットフォームな「ごみ箱へ送る」 Windows向けPythonランチャー 2.xと3.xを切り替える PySide/PyQt4
2017年にブックマークしたURLでよかったもの集めた - Really Saying Something
2013年から毎年12月末に、「その年にブックマークしたURLでよかったもの集めた」として当年のブックマークを振り返ることを始めました。12/31までには間に合わせたく、2016年版は粗く編集したものを前後編に分けたのですが、 2016年にブックマークしたURLでよかったもの集めた（上半期編） - Really Saying Something 2016年にブックマークしたURLでよかったもの集めた（下半期編） - Really Saying Something やはり粗いのはあとから自分で見返すのに精神衛生上よくないのと、前後編に分かれていてそもそも一覧性にかける（これだけ大量だと一覧も何もないのですが）ため、1エントリーにまとめようとしました。 ところがある程度時間があったにもかかわらず、精査に時間をかけてしまって、年またぎ時点で6月。そして「日が昇るまでは前年」ということで粘ってみま
よく使う正規表現はもうググりたくない！ - Qiita
タイトル通りによく使う正規表現を毎回ググるのが効率悪いのでまとめてみました。各言語で正規表現のサンプルを書いてみました。 正規表現式 Emailアドレス ^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$ ドメイン名 ^[a-zA-Z0-9][a-zA-Z0-9-]{1,61}[a-zA-Z0-9]\.[a-zA-Z]{2,}$ インタネットURL ^(http|https)://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$ ユーザー名 (Twitter username) ^[a-zA-Z0-9_\-.]{3,15}$ 固定電話 ^0\d-\d{4}-\d{4}$ 携帯電話 ^(070|080|090)-\d{4}-\d{4}$ IP電話 ^050-\d{4}-\d{4}$ フリーダイヤル ^0120-\d{3}-\d{3}
機械学習で日本酒をクラスタリング Part1 スクレイピング編
今回から何回かに分けて、機械学習で日本酒の味のタイプのクラスタリングをする動画をやっていきたいと思います。 Part1はデータを取得するスクレイピング編です。 機械学習はまず、データを集めるところから始まります。 日本酒の銘柄マスタを作るために、こちらの日本酒物語のサイトからスクレイピングをかけて銘柄を取得し、日本酒銘柄CSVを作ります。 スクレイピングにはPythonのBeautiful Soupを使います。こちらはAnacondaをインストールすると、一緒に入るのでそれを使います。 スクレイピングするソースはこちら python２系 # -*- coding:utf-8 -*- import urllib2 import codecs from bs4 import BeautifulSoup f = codecs.open('sake.csv', 'w', 'utf-8') f.wr
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
NMFアルゴリズムの紹介 その② GCD - 北の大地から
2015-10-05 NMFアルゴリズムの紹介 その② GCD 研究が進んでいないので，記事を書いて，モチベーションを高めることに．．．． 今回の紹介アルゴリズムはNMFで現在(2015年10月)で最速といわれている(筆者の知る限り）手法Greedy Coordinate Descent Algorithmの紹介です． 元論文は， Hsieh, C.-J., & Dhillon, I. S. (2011). Fast coordinate descent methods with variable selection for non-negative matrix factorization. In ACM SIGKDD (pp. 1064–1072). https://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3
PythonでYahooファイナンスから株価を取得 - 武器商人＠Pythonのブログ
移転しました。 2017/10/13 Pythonスクレイピング関連の書籍についてアップデート 2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引数にして株価を取得したい 株価の情報はYahoo!ファイナンスから 株価詳細ページ サンプルコード 実行結果 たくさんのコードを渡してみる。 実行結果 出力結果をテーブルに吐いてみた 実行結果 スクレイピングについて興味をお持ちの方は コードを引数にして株価を取得したい 株価を取得したいというニーズは昔からある様子。2000年以前の書籍を見ても、株価を取得するサンプルコードがあった。htmlのタグ付けなど大きく変わっているだろうから、そのままは使えない。Pythonで書き直してみることに。 株価の情報はYahoo!ファイナンスから 他のサイトでもいいんだけど、URL設計がしっかりとしていて、タグ付けがちゃん
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
サイトを37倍に高速化した7つの手法 - オールアバウトTech Blog
今回はオールアバウトのnnmrが弊社サイトAll About Japanの速度を高速化した経緯についてまとめます。 All About Japanとは そもそもAll About Japan（以下AAJ）とは何かといいますと、弊社が提供している訪日外国人向けの日本紹介サイトです。 外国人向けサイトで、英語、中国語（繁体字）、中国語（簡体字）、タイ語、韓国語の5か国語に対応しております。 「Anime」「Izakaya」「Ninja」といったような特集や、実際に観光する人向けのモデルルート記事が特色です。 ■ 特集 (url : http://allabout-japan.com/en/tag/sushi/ ) ■ モデルルート記事 (url : http://allabout-japan.com/en/article/222/ ) 技術的な紹介 LAMP環境です。 （サーバー構成は後に記述
Scrapy の start_urls をファイルから読み込む for v1.0.4 - 無駄と文化
表題の通り、 Scrapy の start_urls を外部ファイルから読み込んで設定する方法を書き留めます。 Scrapyのバージョンは 1.0.4 を想定しています。 導入 まず、scrapy コマンドで生成されるプレーンなスパイダーを見てみましょう。 $ scrapy startproject scrapy_sample $ cd scrapy_sample $ scrapy genspider example exapmle.com こんな感じで scrapy コマンドを叩くと、spiders ディレクトリの中に example.py が生成されます。 scrapy_sample/spiders/example.py # -*- coding: utf-8 -*- import scrapy class ExampleSpider(scrapy.Spider): name = "e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【保存版】Python機械学習のレベル別コンテンツ厳選7選 | 侍エンジニアブログ