増田に書いた記事は案外簡単に削除される
増田長い人は知ってるかもしれないけど、 書いた記事に下記のようなメールが来て消されることがある 自分の記事は求人サイトなど公式情報と呼べそうな内容を列挙しただけの内容で、 削除申し立てする意味がよくわからない内容だったように記憶している 別に争う気もなかったので削除自体は構わないが、面白いなーとは思った 知らない人もいるかと思ったので記録として残しておく次第 Subject: 【はてな】はてな匿名ダイアリーのご利用につきまして __________________________________ このメールに返信する場合、上部の線より上の行に文面を記載して下さい また、上の線を削除しないようにして下さい ------------------------------------------------------ 2015/**/** | **:**PM JST はてなサポート窓口 ( cs
The Art of Monitoring
The Art of Monitoring A hands-on introductory book on the art of modern application and infrastructure monitoring and metrics. Scalable Start small and then build on what you learn to scale out to multi-site, multi-tier application monitoring. Different Written for both developers and sysadmins. Focuses on how to build monitored and measurable applications and how to operate those applications.
Introduction to yo‑yo.js | Writing JavaScript
yo-yo is a module that creates and updates DOM elements. Instead of using a virtual DOM like react or virtual-dom, yo-yo uses the actual DOM to diff changes and make efficient updates yo-yo uses tagged template strings to create DOM elements. No JSX Because yo-yo uses tagged template strings, we don’t have to introduce a special HTML-like language. We can just write HTML inside the template string
整然データとは何か｜Colorless Green Ideas
整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d
Inversus
“The idea is so simple, but the strategic possibilities are near endless” - 9.5 / 10 - Destructoid “An incredibly fun and addictive experience” - 4 / 5 - Twinfinite “Inversus is one of those games you play for less than 30 seconds before you’re totally sold and mumble something like ‘oh [expletive], that’s cool ’ and feel slightly ashamed about your own contributions to the world.” - PCGamer
CutyCapt - A Qt WebKit Web Page Rendering Capture Utility
CutyCapt is a small cross-platform command-line utility to capture WebKit's rendering of a web page into a variety of vector and bitmap formats, including SVG, PDF, PS, PNG, JPEG, TIFF, GIF, and BMP. See IECapt for a similar tool based on Internet Explorer. Samples Here are some samples of CutyCapt generated renderings: PNG Snapshot of http://digg.com PNG Snapshot of http://csszengarden.com/?cssfi
（……きこえますか……出版社の中の人にTwitterに最適化した内容紹介の書き方を提案します……） - きんどう
こんにちは、きんどるどうでしょうです。いま、Twitterで電子書籍と紙の本の売り方について議論が盛り上がっているのですが、そのことに触れつつ『Twitterに最適化した内容紹介の書き方』についてお話します。中の方まで届けば良いんですけれど。 議論のはじまりはダイヤモンド社の編集者・横田大樹さんの記事『電子書籍には「期待」がない』からかな。Twitterでの議論については 電子書籍で検索してください。簡単に言うと 漫画・作家：初速が大事なんです！電子書籍はノーカンなんで書店で予約して注文してください（個人差があります） 電書読者：そんなこと言われてもそっちの仕組みなんとかしなさいよ。それより電子書籍同時発売しなさいよ！（個人差があります） 出版社：電子書籍はビジネス的に"まだ"重要視してない。（各社温度差があります） ネット使って、読者をリアル書店に走らせるのは難しい イエェェェェイッ！！
DockerでポータブルなLinux開発環境(GUI付き)を構築する - Qiita
やってみたいこと javaとかpythonとかtexとかの開発環境をLinuxベースにしたい（Office周りとか普段の作業はWindowsで） CUIだけじゃなく，GUIも含む開発環境をコンテナベースで利用したい それぞれの開発環境は独立に管理したい jdkのバージョンをUPしたいとか，pythonは2と3を別々に作りたいとか，texは日本語用と英語用を作りたいとかの状況に個別に対応したい 編集対象のファイルはホスト（Windows）で一括管理したい バックアップをまとめて取りたい 特定のファイルに複数のコンテナからアクセスできるようにしたい 編集対象のファイルを持ち歩くだけで，開発環境はDockerさえあればどこでも動かせるようにしたい やってみること Docker for Windowsを使って個別の開発環境を導入したLinuxコンテナを立ち上げる Xをコンテナから飛ばしてWindo
What my calendar looks like – Signal v. Noise
via Google ImagesWhat?? I can’t identify with this level of busy. Here’s my actual calendar for January and the first couple weeks of February, 2017: My calendar as of Jan 9, 2017I always leave Monday’s open, and only pop something on there that’s casual or spontaneous. Like today I’m going to over to a friend’s office to check out their new space. Fridays are for nothing, too. That way if somethi
markdownをHTMLにして他人に渡すベストシナリオを求めて - Qiita
markdownで作ったドキュメントを他人に渡したい エンジニア同士ならまだしも、非エンジニアにmarkdownを渡すときって、いろいろ大変 プレーンテキストがUTF8なのかSJISなのかの相場が今は収束してない .mdという拡張子にオーソライズされた認識がない シンタックスハイライトとかtableとかは、プレビュー環境によってばらつく （特にtable） じゃぁHTMLにしたものを渡せばいいじゃない ところが、プレーンなHTMLに変換してくれるいいツールがない githubみたいなところで、.mdを見てもらうという方法もあるが、みんながgithubのアカウントをもってるわけではない HTMLに変換するツールは結局CSSへの外部リンクがあって、社内ドキュメントから外部への通信をさせたくない 複数ファイルをzip圧縮すると、Windowsのzipフォルダは、直接CSSを参照できない Mark
WordPress4.7 の WP REST API を無効にする – ねんでぶろぐ
WordPress4.7 から「WP REST API」が使えるようになりました。 「WP REST API」は デフォルトで有効になっていて 特定のURLで投稿記事やユーザー情報等、認証無しでもさまざまなデータを外部から取得する事ができます。 これはすばらしい機能なのですが 通常のサイト運用では使っていない機能です。しかし「WP REST API」は有効になっていますので誰でもデータ取得できてしまうのはちょっとまずいなと思いますよね。 そこで「WP REST API」無効にする方法を紹介いたします。 Disable REST API プラグイン WordPress4.7未満 と WordPress4.7以降では「WP REST API」の無効にする方法が変わりました。 Disable REST API — WordPress Plugins https://ja.wordpress.or
改善ポイントの宝庫！転職時に気にしたいITエンジニアのレジュメアンチパターン｜転職ドラフトReport
【営業時間のお知らせ】社内行事のため営業時間を下記の通りとさせていただきます。 ・2024年7月1日（月）12時まで ・2024年7月2日（火）14時まで こんにちは！転職ドラフト審査チームです。 登録後、審査に通過した人のみが参加できる転職ドラフトで、私たち審査チームはレジュメのチェックとフィードバックを行っています。 日々、たくさんの方の審査を行っていくなかで、 「実力はありそうなのに書き方がもったいない！」 というケースが多々見られます。 「誰もが絶賛するレジュメはこれだ！」と言い切るのは難しいのですが、やりがちなアンチパターンには共通点があることも。 そのなかには、気づいていないだけでやってしまいがちなことも意外と多いのです。 審査に通過していない人も通過済みの人も、今後の指名額アップのために、この記事を読みながらご自身のレジュメを見直してみてはいかがでしょうか？ 実力はいかに？プ
CSS3 Writing Modesの仕様解説
Writing Modes CSS2では、directionやunicode-bidiプロパティが定義され、横書きの複雑なレイアウトを行うアラビア語などの双方向言語(BIDI)が扱えるようになっていました。 CSS3では、テキストの進行方向に関する仕様は「Writing Modesモジュール」にまとめられ、BIDIに加えて縦書きへの対応などが追加されています。 Writing Modesモジュールでは、行の進行方向、文字の進行方向、文字の向き、などの書字方向全般の仕様が定義されています。 なお、Writing Modesの仕様は頻繁に改訂されています。 この記事は、最新のEditor’s Draft（2015年11月1日改訂）を解説したものです。 参照URL: https://drafts.csswg.org/css-writing-modes-3/ Writing Modesモジュールで
「みんなのGo言語」が良かったので、自分のためだけのCLIツールを作ってみた - えいのうにっき
言わずと知れた書籍「みんなのGo言語」。発売直後くらいに購入してはいたんだけど、目次あたりをパラパラ見て「あ、これは2,3日集中してガッとやりたくなるやつだ」と思って。で、タイミングを見計らっているうちに年末年始休暇に突入してしまったのだけど、そのタイミングでちゃんと「ガッ」とできたので、今日はそのお話をば。 みんなのGo言語[現場で使える実践テクニック] 作者: 松木雅幸,mattn,藤原俊一郎,中島大一,牧大輔,鈴木健太出版社/メーカー: 技術評論社発売日: 2016/09/09メディア: Kindle版この商品を含むブログを見る 僕と Go 言語 僕の Go 言語遍歴について少しだけ触れておく。 以前、個人的にちょっと作ってみたいツールがあった時期があって。そのとき既に Go がそこそこもてはやされていたこともあって、そのツールは Go で書いてみていた。↓がリポジトリなんだけど（コ
Wordさんは今日もおつかれです - Qiita
TL;DR Wordは箇条書きを作る度に膨大な情報がコピーされ、それは元の箇条書きを消しても残る(Windows/Mac共通) Wordは文章を編集するたびに、中身が断片化する。一度断片化したら元には戻らない(Mac版のみ) 断片化、参照されていない箇条書き情報については「名前をつけて保存」しても解消しないが、「全て選択してコピー、新規作成したファイルに貼り付け」で解消する。 2018年9月19日追記 本稿にはもともと「Windowsで作成したWordファイルをMacで修正すると断片化する？」という仮説が追記として掲載されていましたが、実際には「作成環境に関係なく、Mac版Wordで編集すると断片化する」ことがわかりましたので、後で読む方の混乱を避けるためにその追記を削除しました。 はじめに Wordファイルを扱っていて「だんだん重くなっていく」と感じたことはないだろうか。特に、代々引き継
レンサバの常識を覆す「なめらかなシステム」に挑む──運用技術を学術研究して実際のサービスへ適用 - はてなニュース
GMOペパボが立ち上げた「ペパボ研究所」の主席研究員 松本亮介さん（id:matsumoto_r）と、はてなエンジニアの坪内佑樹（id:y_uuki）が対談しました。技術ブログにはてなブックマークを付け合う間柄だった2人の語りから、レンタルサーバーの運用技術を学術研究として突き詰めた松本さんの研究成果「高集積マルチテナント環境」（「ロリポップ！」の「次世代ホスティングサービス」の技術として適用）、そして生き物のようなシステムを目指す「なめらかなシステム」の構想が浮かび上がってきます。 （上写真、左より）GMOペパボ株式会社 ペパボ研究所 主席研究員 シニア・プリンシパルエンジニアの松本亮介さん（id:matsumoto_r）、株式会社はてな システムプラットフォーム部 シニアエンジニアの坪内佑樹（id:y_uuki）。構成はITジャーナリストの星暁雄です。 （※この記事は、GMOペパボ株式
pythonのyieldにハマったから、初心者なりに解明してみた - ITの隊長のブログ
AM 08:00 さーて、頼まれてたクローラー、サクサクつーくろ （ ・ω・）ノ オー PM 01:00 ふーむ、あらかたscrapyで用意することできたわ 単純なクローラーだったらサクッて作れるね （ ＾ω＾）おっおっおつ PM 01:15 でも、ちっと連続でクローリングするbotみたいなもの 作りたいから、もうちょいやってみよう。 そうだ、別関数を用意して回すのはどうかな？ （ ・ω・）？ PM 01:30 英語・・・。んん？この「yield」ってなんやねん。 ふむふむ、ジェネレータがうんちゃらかんちゃら？ （ ・ω・）？ まぁ、使わなければいいでしょ。 PM 08:00 （ ・ω・） （ ；ω；）ブワッ できなかったよ！！ なんかしらんけど、英語圏のQ&Aってだいたいが「yield」 使っているから、回避できへん！！ クッソ、こうなったら徹底的に理解してやる・・・・！！ 1. 「yi
【UPDATE】プラチナゲームズの新作Co-opアクションRPG『Scalebound』が開発中止に、Microsoftが公式声明 - AUTOMATON
ホーム ニュース 【UPDATE】プラチナゲームズの新作Co-opアクションRPG『Scalebound』が開発中止に、Microsoftが公式声明 【UPDATE 2017/1/11 17:30】 プラチナゲームズも公式サイトにて『Scalebound』の開発中止を発表し、今後発売される『NieR:Automata』や『GRANBLUE FANTASY Project Re:Link』、『LOST ORDER』といったタイトルの開発に全力を尽くしていくとコメントしている。 これを受けて本作のディレクターを務めていた神谷英樹氏もTwitter上で開発中止について報告している。神谷氏は「大変残念な結果となってしまいました。発売を待ってくれていたユーザーの皆さんには、申し訳ないという言葉しかありません。本当にごめんなさい」と謝罪し、今後これまで以上にゲーム作りに励んでいくとコメントしている。な
Verizon: Wireless, Internet, TV and Phone Services | Official Site
Get up to $540 when you bring your own phone. Or get iPhone 15 on us. Online Only. No trade-in req'd. Limited time offer. Buy | Details. ", "nextArrow":"", "dots": false, "autoplay": false, "autoplaySpeed": 3000, "responsive":[{"breakpoint": 1200, "settings": {"touchThreshold": 500, "slidesToShow": 2, "slidesToScroll": 1}}, {"breakpoint": 520, "settings": "unslick"}, {"breakpoint": 768, "settings"
米Yahoo!が社名変更 「Altaba」に（Verizonへの主要事業売却後）
米Yahoo!は、主要事業を米Verizonに売却後、企業名を「Altaba」に変更する。同社が米証券取引委員会（SEC）に提出した1月9日付の文書で明らかになった。 両社は2016年7月、VerizonがYahoo!の検索、広告、ニュース、ファイナンス、スポーツ、約2億2500万人のMAUを擁するメールサービスなど、ほとんどの事業を買収することで合意したと発表した。当時発表された買収総額は約48億ドル。VerizonはYahoo!のブランドを残す見込みだ。 Yahoo!は、ヤフー日本法人株の約35％と、中国Alibaba株の約15％は保有するAltabaという投資企業になる。 これに伴い、マリッサ・メイヤーCEOを含む5人がYahoo!の取締役を退く。 メイヤー氏については、Verizon傘下のAOLのティム・アームストロングCEOが買収発表段階で、「買収後のポジションは未定」としていた
米Yahoo!の主要事業をVerizonが48.3億ドルで買収へ
米通信大手のVerizon Communicationsと米Yahoo!は7月25日（現地時間）、VerizonがYahoo!の主要事業を48億3000万ドル（約5138億円）で買収することで合意したと発表した。取引は2017年第1四半期（1～3月）に完了する見込みだ。 Yahoo!は、検索、広告、ニュース、ファイナンス、スポーツ、約2億2500万人のMAUを擁するメールサービスなど、ほとんどの事業を売却し、ヤフー日本法人株の約35％と、中国Alibaba株の約15％は保有する。 VerizonはYahoo!のブランドを維持する。同社は2015年に米インターネットコンテンツサービス大手のAOLを44億ドルで買収しており、今回の買収はその延長とみられる。 Verizonのローウェル・マカダム会長兼CEOは発表文で、「ちょうど1年前、われわれはAOLを買収し、消費者、クリエーター、広告主のため
米Yahoo!の買収はGoogleとFacebookに対抗するため──AOLのアームストロングCEO
「GoogleとFacebookは今後も確実に力を増していくだろう。われわれは彼らと同レベルでいるために、将来的に本当の差別化を実現する必要がある」──。米Yahoo!の買収を推進した米Verizon Communications傘下のメディアコングロマリット、AOLのティム・アームストロングCEOがそう語ったと、同氏にインタビューした米Recodeが7月25日（現地時間）に報じた。 Yahoo!の買収は、そのための最適な選択だと同氏は語った。AOL傘下の米TechCrunchによると、アームストロング氏は買収発表後の全社会合で、買収の目的はAOLの規模拡大にあり、これによりコンテンツサイトへのトラフィックを、ひいてはコンテンツの広告インプレッションを増加させると語ったという。 検索大手の米GoogleとSNSの米Facebookは、いずれもコンテンツの広告が主な収入になっている。 Ver
YAPC::Japan 運営ブログ
YAPC::Hakodate 2024広報担当の id:papix です. 先日お伝えしました通り, YAPC::Hakodate 2024はただいまスピーカーを大募集中です!!! blog.yapcjapan.org 今回も, YAPC::Hiroshima 2024に引き続き, プロポーザルの管理にforteeを利用しています. プロポーザルの提出は, 以下のページより行うことができます. fortee.jp そして提出頂いたプロポーザルの一覧は, 以下のページより確認することができます. fortee.jp 応募頂いたプロポーザルやYAPC::Hakodate 2024のことをより多くの方に知って頂くきっかけにもなりますので, プロポーサルを提出した方がSNSやブログなどで自分のプロポーザルを紹介したり, プロポーザルを眺めていて気になったトークがあればSNS等で紹介していただけると
YAPC::Kansai 2017 OSAKA
YAPC::Kansai 2017 OSAKA 03/03 前夜祭 前夜祭参加チケット 完売御礼 YAPC::Kansai 2017 OSAKA 03/04 一般・学生チケット（Tシャツつき） 完売御礼 個人スポンサーチケット 完売御礼 YAPC::Kansai 2017 OSAKA 03/04 懇親会 一般・学生チケット 完売御礼 竹迫 良範 広島県出身。Shibuya.pm二代目リーダー。ppencodeの作者。2003年「mod_perlにおけるC10K Problem」で発表者デビュー。 日本初のYAPC::Asia Tokyo 2006を立ち上げたメンバーの一人。 大学卒業後、独立系ITベンチャーにて大企業向けmod_perl製品開発とi18n（国際化）を担当。その後、上京し、セキュリティ研究開発の傍ら、エンジニア採用、産学官連携と日本の若手IT人材育成に関わる。 現在は大手企業
FUJI Goro on Twitter: "twitterに非常に冒涜的な広告がでてきて衝撃を受けた。即ブロック&報告したけど、この調子だと子供にツイッターは見せられんな…。"
twitterに非常に冒涜的な広告がでてきて衝撃を受けた。即ブロック&報告したけど、この調子だと子供にツイッターは見せられんな…。
マイナンバーシステム障害の責任は2億円、富士通らベンダー5社の負担で合意
地方公共団体情報システム機構（J-LIS）は2016年12月12日、マイナンバーカード管理システムで発生したシステム障害について、発注先の5社コンソーシアム（NTTコミュニケーションズ、NTTデータ、NEC、日立製作所、富士通）に1億9450万円の費用負担を求めると発表した（表）。 システム障害は、富士通が担当した「中継サーバー」で発生した。J-LISが肩代わりしていたサーバー監視費用150万円は富士通が負担する。残りの1億9300万円は5社が分担するが、富士通の負担比率が高いとみられる。 同社は「守秘義務の関係上、詳細は答えられないが、費用負担について真摯に対応する」（広報IR室）としている。管理カードシステム全体の発注金額は約69億円（関連記事：マイナンバーの生成システムは69億円で構築、NTTコムなど「大手5社連合」が落札）。うち中継サーバーの構築費用は約2億8000万円だった。 中
SMAP元マネが事務所を懲戒解雇 リベート要求の不正行為で （デイリー新潮） - Yahoo!ニュース
2016年秋、SMAPの元マネージャーが事務所を懲戒解雇される事案が判明していた。1億円にも届く不正行為に手を染めてきたというのだ。 「とにかく生活が派手な男で、銀座の飲み屋にしょっちゅう顔を出していました。役員でもないのに、ジャニーズの安月給でなんでそんなことできるの？ と言われていたんです」 と話すのは、芸能関係者のひとり。 「もともと警備会社にいて、ジャニーズへ移ってきたアラフィフ社員。そう、丁度SMAPがデビューした25年前ですよ。かつて、飯島チーフのもとで5人のマネージャーをやっていたこともあります。メンバーにそれぞれ担当がつくわけですが、このうちの1人ということ。そのあと、ライブや舞台関係の仕事を取り仕切る子会社に出向中でした」 事実、藤島ジュリー景子副社長がエグゼクティブ・プロデューサーを務める芝居の製作スタッフに幾度となく名を連ねている。 「その会社などに通常の税
dynamic start_urls in scrapy
I'm using scrapy to crawl multiple pages on a site. The variable start_urls is used to define pages to be crawled. I would initially start with 1st page, thus defining start_urls = [1st page] in the file example_spider.py Upon getting more info from 1st page, I would determine what are next pages to be crawled, then would assign start_urls accordingly. Hence, I have to overwrite above example_spid
【天皇陛下の譲位】新元号は平成３１年元日から 皇室会議を経て閣議決定へ 法案提出は今年５月連休明け（1/2ページ）
天皇陛下が在位３０年を節目として譲位を希望されていることを受け、政府は、平成３１（２０１９）年１月１日（元日）に皇太子さまの天皇即位に伴う儀式を行い、同日から新元号とする方向で検討に入った。国民生活への影響を最小限とするには元日の譲位が望ましいと判断した。譲位に伴う関連法案は、有識者会議の報告と衆参両院の論議を踏まえ、５月上旬にも国会に提出する見通し。譲位は「一代限り」として皇室典範改正は最小限にとどめる方向で検討を進める。 複数の政府関係者が明らかにした。譲位の日時に関しては「○年以内に政令で定める」として法案に明記せず、皇室会議を経て閣議決定する方針。 具体的には、平成３１年元日、国事行為である「剣璽等承継の儀」（三種の神器等引き継ぎ）と「即位後朝見の儀」（三権の長らの初拝謁）を宮中で行い、官房長官が速やかに新元号を発表する方向で検討している。 皇位継承に伴う重要儀礼である大嘗祭は、準
Python Elasticsearch Client — Python Elasticsearch client 8.15.0 documentation
Python Elasticsearch Client Official low-level client for Elasticsearch. Its goal is to provide common ground for all Elasticsearch-related code in Python; because of this it tries to be opinion-free and very extendable. Download the latest version of Elasticsearch or sign-up for a free trial of Elastic Cloud. Installation Install the elasticsearch package with pip:
scrapy 初めての人向け 使い方説明 : プログラマー社長の「日々発見」
scrapy を使おうと思って色々戸惑いました＾＾； 英語のドキュメントを見るのも面倒だったので、日本語で書かれたブログ記事などを見ながら、他の人の作ったサンプルを見てやろうとしてもイマイチ、分からない。「scrapy crawl ●●」を実行するとあったけど、ターミナルで実行しても動かないし、python上で実行しても動かないし、「scrapy.cfg」のファイルがあるところで実行すると記載されてたものもあったけど、最初は全く意味が分からなかった・・・。初めて、scrapyを使用する方の参考になればと思います。 基本的に英語のドキュメントにかかれているので、それを見てけばわかるんだけど、その英語のドキュメント通りにやっても動かない箇所あったので、自分なりに変更してみました。 ①インストール sudo apt-get install python-scrapy にてインストール。pip i
scrapyでcookieを設定してクロールする - ボールを蹴りたいシステムエンジニア
spidersパッケージ内のクロール処理メインのモジュールで以下のようにmake_requests_from_urlを定義してその中でcookieセット処理を実装する事でログインが必要なサイトでもクロールできた。 class ExampleSpider(CrawlSpider): ～～～ def make_requests_from_url(self, url): request = super(ExampleSpider, self).make_requests_from_url(url) request.cookies['test_key'] = 'value1' request.cookies['test_key2'] = 'value2' return request 注意点としてCrawlSpiderの継承クラスである事。 scrapy.Spiderの継承クラスの場合は異なるっぽ
Python製のクローラー「scrapy」の利用方法や初期設定など纏め - ボールを蹴りたいシステムエンジニア
Python製のクローラーフレームワークscrapyを使用してクローラーを構築する。 目次 目次 環境 やりたい事 scrapyのインストール 手順 クローラプロジェクトの雛形作成 スパイダーの作成 起点URLを定義 アイテムクラスを実装 パース処理実装 Scrapy Shellによるデバッグ パース処理の実装 Parse コマンドによるデバッグ 保存先指定 その他設定 色々やりたい時 スクレイピングURLルールを指定したい場合 日本語Unicodeデコードした文字列でjson形式で出力 ログ出力 cookieを設定してクロールする 実行 おわりに 参考 環境 Windows10 64bit Python for Windows(3.5.1) Eclipse4.6 PyDev（Eclipseプラグイン） Cygwin やりたい事 どこかのサイトのクローラーを1時間で実装 今回は参考サイトと
Web Scraping and Crawling with Scrapy and MongoDB – Real Python
Last time we implemented a basic web scraper that downloaded the latest questions from StackOverflow and stored the results in MongoDB. In this article we’ll extend our scraper so that it crawls through the pagination links at the bottom of each page and scrapes the questions (question title and URL) from each page. Updates: 09/06/2015 - Updated to the latest version of Scrapy (v1.0.3) and PyMongo
Scrapy Cloudでスクレイピングした成果物をS3にアップロードする - Qiita
はじめに 以前、勉強目的で、AWS lambda + API Gateway で郵便番号検索APIを作ってみたのですが、その郵便番号データはScrapyでスクレイピングし、S3にアップロードして利用していました。 今回は、そのプロジェクトをScrapy Cloudにデプロイして定期スケジュール実行するまでにハマったポイントについて書きます。 Scrapy Cloudについては、下記のURLを参考にしました。 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ Pythonでスクレイピング - Scrapy入門最初の2歩目 - Qiita 全体のワークフロー 全体のワークフローを図にすると下記のようになります。 scrapinghubにデプロイするまで scrapyのプロジェクトを作成してから、scrapingh
Pythonでスクレイピング - Scrapy入門最初の2歩目 - Qiita
背景 Python製のスクレイピングフレームワークであるScrapyの存在を最近知ったのですが、ちょっと触ってみた感じ最強でした。 具体的な良い所としては以下が挙げられます。 いくつかの設定＋簡潔な記述だけでスクレイピング処理が書ける プログラムベースなのでいざとなれば複雑な処理も書ける Scrapy Cloud というクラウドサービスと連携しているため、作成したクローラをコマンド一つでデプロイ＆実行できる クラウドサービスを使えばスケールも簡単、スケジューリング機能、統計情報や監視もついている 概要と導入には以下の記事が大変参考になります。 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ 手間をかけずに実務で使えるクローラーの作り方 - ITANDI BLOG この記事の目的 概要と導入に関しては上記の記
PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita
概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、という風にフレームワークが決めたインターフェースを満たすクラスとしてクローラーを実装する。 scrapyというコマンドが提供されてて、このコマンドを使って、作ったクローラーの一覧を見たり、クローラーを起動したりできる。 Seleniumは、ブラウザをプログラムから制御するためのツール（でいいのかな？）。Pythonも含めたいろんな言語で使える。 よくWebサイト/アプリの自動テスト文脈でよく出てく
Python の staticmethod と classmethod のちがい
Python には staticmethod と classmethod というよく似たふたつのデコレータが存在します。一見わかりづらいこれらのちがいについて今回は見ていきます。 結論からざっくり言うと両者のちがいは次のとおりになるかと思います。 staticmethod の高機能版が classmethod ふたつのちがいは「引数の扱い」 staticmethod ではメソッドは実引数をそのまま受け取る classmethod ではクラス自身が暗黙的に第一引数として挿入される ことばだけではわかりづらいので、例を見てみましょう。 class MyClass(object): @staticmethod def static_method(*args): print(*args) @classmethod def class_method(*args): print(*args) MyCl
Pythonのimportについてまとめる - Qiita
何度もハマるので頭に刻み込む様に調べて習得するよ 前提 検証環境 実行は全てtreeコマンドを実行したパスと同パスでREPLを起動して行っている Pythonは2.7.5 パッケージとは Pythonでは__init__.pyを含むディレクトリをパッケージと言う ただのディレクトリでは再帰的にモジュールを検索しないため、基本的には__init__.pyが必要 読み込み時に検索する範囲 実行ディレクトリと同ディレクトリ カレントディレクトリ 環境変数「PYTHONPATH」に列挙したディレクトリ sys.pathに含むディレクトリ sys.pathは絶対パスの文字列リストであり、import sys; print sys.path 等の方法で確認できる 実例 同ディレクトリのメソッドをimportする
Python で変数の型 (クラス) を調べる – types モジュール
1. type, isinstance 関数で、変数の型を調べる Python で、変数の中身が、どのクラスに所属するのか、または、関数なのか調べたい。 2.1 組み込み関数 によると、 （装飾は、引用者による） type(object) object の型を返します。返される値は型オブジェクトです。 isinstance(object, classinfo) 引数 object が引数 classinfo のインスタンスであるか、 (直接または間接的な) サブクラスのインスタンスの場合に真を返します。 例えば、「数値」の場合、次のようにして、数値に対して type 関数を適用する。 print type(100) #=> <type 'int'> type 関数の結果を用いて、isinstance 関数の引数に指定した。 print isinstance(100, int)
アトピー性皮膚炎、かゆみの仕組み判明 根本治療へ：朝日新聞デジタル
アトピー性皮膚炎のかゆみの原因物質をつくり出す役割をもつたんぱく質を突き止めたと、九州大のチームが９日付英科学誌（電子版）で発表した。このたんぱく質の働きを抑え、かゆみを根本から絶つ治療薬の開発を目指すという。 アトピー性皮膚炎は、皮膚から体内に侵入した異物への免疫が働きすぎるなどして皮膚のかゆみが慢性的に続くアレルギーだ。その際、異物を認識した免疫細胞から、かゆみの原因物質「ＩＬ３１」が大量に放出されることが知られている。 発表によると、九大の福井宣規（よしのり）主幹教授（免疫遺伝学）らは、重いアトピー性皮膚炎のマウスの免疫細胞内にはあるが、正常なマウスにはないたんぱく質「ＥＰＡＳ１」を発見した。また、遺伝子操作で免疫細胞内のＥＰＡＳ１を増減させるとＩＬ３１の放出量も同様に増減し、放出にＥＰＡＳ１が重要な役割を果たしていることがわかった。 アトピー性皮膚炎の治療は対症…
大学って無意味。高卒で就職すればいいよ。高校も本当は要らないかも? - ペンドラゴンの思索
2017 - 01 - 09 大学って無意味。高卒で就職すればいいよ。高校も本当は要らないかも? 大学って必要だろうか？ 皆が行くから行く、大卒の方が就職に有利 それは大学の存在意義ではない。 大学が出来たときは本が無かった。 あるいは少なかった。 教えてくれる人も大学にしかいない。 だから大学にいった。 でも、今は大学に行く必要があるから行くのではない。 大学に行ったからできる仕事とはなんだろう？ 大学に行かなかったからできない仕事とはなんだろう？ 大卒だから仕事を任せようとか、肩書としての大卒ではなく 大学で身に着けた能力を仕事で活かせるかどうか。 大学は学問をする場所、というのは化石みたいな考えだ。 もちろん学問は必要だ。 しかし、学問で食べていけるわけではない。 学問をしていれば国から生活費が出るなら 学問だけする人はたくさんいるだろう。 それはそれで、ちょっといいかなって思う。
現代の“呪い”を解くカズレーザーの言葉（てれびのスキマ） - エキスパート - Yahoo!ニュース
2016年、大ブレイクした芸人の筆頭といえばメイプル超合金のカズレーザーだろう。 金髪に全身赤い服というひと目見ただけで覚えてしまう風貌だったり、バイセクシャルを公言していたりと、強烈なキャラが渋滞しているだけに、いわゆる“一発屋”枠のキャラ芸人だと思われがちだった。だが、『Qさま』などのクイズ番組で好成績を繰り返したり、共演者に「その落ち着きは何なの、2世タレント？」と驚かれるほどの物怖じのなさで様々なバラエティ番組で活躍、『お願いランキング』内の人気コーナー「カズレーザークリニック」でも“名言”を連発。溢れ出る知性で、一発屋的キャラのイメージを完全に払拭した。 カズレーザーの肯定感に満ちた言葉がいま注目を浴びている。そんな彼の発言を振り返ってみたい。 ▼生き方15歳の頃から赤い服ばかり着る（喪中や妹と会うとき以外）ようになり、モンティ・パイソンに強く影響を受けたカズレーザーは、「とにか
Atlassian + Trello: changing the way teams work - Work Life by Atlassian
When we founded Atlassian 15 years ago, it seemed obvious to us that software could help teams work better together. But in those days most software companies were focused on developing for personal productivity. We felt that using tools designed for individuals to accomplish teamwork is a bit like using scissors to mow your lawn. You can do it, but it’s a lot harder than it needs to be. That’s wh
Scrapy入門（４） - Qiita
はじめに Scrapy入門（１） Scrapy入門（２） Scrapy入門（３） 前回の記事では、Scrapyを利用してファイルをダウンロードする方法を試しました。今回はSpiderに対して、コマンドラインから引数を渡す方法をご紹介します。 Spiderの作成 今回はQiitaのアドベントカレンダーのカテゴリページの内容を取得するSpiderを作成します。Spider内では対象となるカテゴリーをコマンドライン引数として受け取り、対象となるURLを動的に生成し、ページの内容をダウンロードします。 # -*- coding:utf-8 -*- import scrapy class QiitaSpider(scrapy.Spider): name = 'qiita_spider' def start_requests(self): # クローリング対象のURL url = 'http://qi
【Scrapy】エンドポイントだけクロールして巡回してくれない - Qiita
Scrapy使って、エンドポイントだけクロールするのではなく、エンドポイントから順繰りできるようにしたいと思って実装しはじめたものの、はまったのでメモしておく。 このあたりの内容を参考にさせていただいて、スクレイピングを実装。 http://qiita.com/meltest/items/b445510f09d81276a420 http://qiita.com/checkpoint/items/0c8ad814c25e85bbcfa2#_reference-2f452f48c4e974829586 http://qiita.com/tamonoki/items/ce58ff209f8eae808162 http://web-tsukuru.com/570 状況 上記サイトの見よう見まねでスクレイピングルールを実装してみたが、なぜかエンドポイントしかクロールしてくれなかった。 # スクレイ
ハースストーンの類似カードをDeep Learningで探してみた - Qiita
最近Doc2Vecが面白いので色々やってます。 以下のような記事を見つけたので自分でもやってみました。 → Doc2VecでMTGの類似カードを探してみた Doc2Vecとは Word2VecはWord(単語)をベクトルとして捉えるが、Doc2Vec(Paragraph2Vec)はDocument(文書)をWordの集合として見てベクトルを割り当てることで、文書間の類似度やベクトル計算などを実現することができる。 例えば、ニュース記事同士の類似度、レジュメ同士の類似度、本同士の類似度、もちろん人のプロフィールと本の類似度なども算出することができ、テキストで表されて者同士であれば、全てが対象となる。 引用元: http://qiita.com/okappy/items/32a7ba7eddf8203c9fa1 使用した言語・パッケージ Python3.5.2 gensim (自然言語処理ライ
PythonではNoneの比較は==ではなくisを使う - こんにちはこんにちはmonmonです！
前にPythonの勉強を軽くしたものの、短期間で基本的な部分だけをサラッとやったために時間が経ったら忘れてしまってました。 で、久々に何となく書きつつ、 「あ、pythonはeqとかなくて判断する時は==一種類でいいんだったっけ。」 とかうろ覚えのままif文書いてたので if data == None: print 'OK' みたいな文を書いてたんだけど、他の人のコード見てたら if data is None: print 'OK' ってのが出てきて、 「あー！isとかあるんだっけ！」 となり、data == Noneって書き方が間違ってるのかどうか確かめることに。 結果は間違ってるみたいですね。Noneの比較はisを使いましょうと書いてありました。 isと==じゃググっても上手くヒットしなかったんですが、何とかJared Grubb: Python: "is None" vs "==No
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - marksteve/downdoc: Write your Google documents in Markdown
GitHub - marmelab/react-admin: A frontend Framework for building data-driven applications running on top of REST/GraphQL APIs, using TypeScript, React and Material Design
GitHub - krzysztofzablocki/Traits: Modify your native iOS app in real time.
GitHub - thumbor/thumbor: thumbor is an open-source photo thumbnail service by globo.com
GitHub - kickstarter/android-oss: Kickstarter for Android. Bring new ideas to life, anywhere.
GitHub - kickstarter/ios-oss: Kickstarter for iOS. Bring new ideas to life, anywhere.
レシピ検索No.1／料理レシピ載せるなら クックパッド
YOGEE NEW WAVES
Engadget | Technology News & Reviews
scrapy を用いてデータを収集し、mongoDB に投入する ref: http://qiita.com/tamonoki/items/ce58ff209f8eae808162
Docker Hub
Docker
https://hub.docker.com/_/kibana/
https://www.ej-technologies.com/
GitHub - zxing/zxing: ZXing ("Zebra Crossing") barcode scanning library for Java, Android
URL query parameters to dict python
Python2で競技プログラミングする時に知っておきたいtips(入出力編) - Qiita
ニコニコ動画（Re:仮）
YAPC::Kansai 2017 OSAKA 個人スポンサーチケット in大阪 - パスマーケット
YAPC::Kansai 2017 OSAKA スピーカー募集
アイランド株式会社
お取り寄せグルメの口コミサイト - おとりよせネット
MOTEX エムオーテックス｜働き方を、平和に変える。
Amazon.co.jp: ワールド・ウォーZ(吹替版): マーク・フォスター (監督), ブラッド・ピット (出演), ミレイユ・イーノス (出演), マシュー・フォックス (出演), デヴィッド・モース (出演), マシュー・マイケル・カーナハン (Writer), ブラッド・ピット (クリエイター): Video On Demand
文字列を数値に変換して数値と演算する
洋楽ラッパーの歌詞の分類問題をscrapyとscikit-learnを使ってやってみる - Qiita