Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
WebSocketでチャットアプリを作ろう① ~WebSocketサーバの立て方~
チャットやオンラインゲームなどのアプリではリアルタイム通信機能が必要になります。実装の難易度が高そうに感じられるかもしれませんが、Monacaアプリで使われるHTML5であれば、WebSocketという技術を使うことで比較的簡単に実現できます。 こちらの記事ではWebSocketの概要と、その導入方法について紹介します。 WebSocketとは WebSocketは読んで字のごとく、Web上でソケット通信を実現する技術になります。これまでのHTTP通信では一回の接続ごとに情報が送受信されて切断される仕組みでした。そのため、サーバ側からクライアントに対して情報を送る（プッシュする）のが困難でした。 サーバ側から情報をプッシュする技術として、WebSocket登場以前にも幾つかの方法がありました。 multipart/x-mixed-replace Firefoxの前身であるWebブラウザ、N
ワンライナーWebサーバを集めてみた - Qiita
クライアントサイドのJavaScriptをいじっていて，不意にローカルファイルでは実行できない領域に踏み込んでしまうことがあると思います．最近では，HTTPSが必須であったり，HTTP2を使ってみたくなることもあります．とりあえず私が踏み込んでしまったのはWebWorkersですが，他にもWebRTCや・・・（思い出し中）・・・（見つからなかった）・・・などが該当します． そんな時にいちいちApacheやnginxを立ち上げるのも面倒なので，ちょっと検索した結果を残しておきます． [2018/4/18追記] 最近ではHTTPSを使用する必要が高まっています．これを受け，HTTPSに対応する方法が増えてきたので，全て網羅できませんが，可能な限り追記・変更を行いました． Python（SimpleHTTPServer）編 Pythonでは（バージョン2.4以降限定らしいですが）モジュールをスク
HyperloopとElectronでアプリを作ってみる - Qiita
Hyperloopというフレームワークがあります。 OpalでReactをラップしたフレームワークとなっております。 つまりRubyでWebのフロントエンドを作るためのフレームワークですね。 ところで、WebフロントエンドがあればElectronアプリ化ができます。 つまりHyperloop（生Opalでも良いけど） + Electronで、Rubyを使ったマルチプラットフォーム・デスクトップアプリの開発が可能では？ という事で、やってみました。 対象読者 Rubyを使ったことがある Reactを使ったことがある Hyperloopアプリ まず普通にHyperloopアプリを作ってみましょう。 いつもは足し算アプリを作るのですが、今回は気分を変えてTODOアプリにしてみました。JSフレームワークのサンプルっぽいですよね。 Hyperloopの導入 Opalアプリの環境はRubyと同じくBu
Capybara-DSLのはなし - プログラマでありたい
ちょっとCapybaraについて、整理する必要があったのでこちらで簡単にまとめておきます。Capybaraは、Githubのスタートページに使い方が丁寧に書いているので、そちらを参照したら大抵のことが解るようになっています。 What is Capybara Capybaraは、Webアプリケーションのインテグレーション・テストを補助する為のライブラリです。Capybaraが提供する本質的な機能としては、DSLとDriverの2点のみです。DSLとはドメイン固有言語で、特定の問題に特化したコンピュータ言語です。Capybaraはテスティングフレームワークを操作する命令を、それぞれのフレームワークに依存しない形で提供します。つまり、テスティングフレームワークであるCucumberやRSpec,Test::Unitなどを透過的に利用できます。次にドライバーです。Webアプリケーションのインテグ
Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' )
この記事を読み始める前に Rubyでやるんだったら、ちょうどそういう本が出ているから、その本買えばいいのではないでしょうか。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る はじめに プログラミングを勉強し始めて、だいたい基礎的な文法を覚えたあとに、次に何をしようかな、と悩む人も結構多いみたいで、明確に「これを作りたい」という場合は、それを作ればいいとは思うんですけど、場合によっては、別段作りたいものが無く、漠然としたプログラミングをしたい、という熱意によって勉強しているという人もいるのではないかと思います。 で、もちろん「作りたいものがないのに、プログラミング勉強してどうするの」という意見もあるかとは思いますが、往
ノンプログラマーが3ヶ月でWebサービスを作ってみた - Qiita
ノンプログラマーがはじめてWebサービスを作ってみた記録です。 2016.3.28 追記: リリース1年後について書きました。 はじめてのOSSリリース記 〜なぜ無料でソースコードを公開するのか？ 自己紹介 趣味でたまにプログラムを書く程度のノンプログラマー。 本業は SHIFT（ http://www.shiftinc.jp ） という会社でテスト自動化エンジニアをしています。 20代最後の年に何か新しいことを！と思い立ち、勢いでWebサービスを作ってみました。 作ったもの Chibineko - 世界で最もシンプルなテストツール https://chibineko.jp 面倒なテストはサクッと終わらせよう Chibinekoはテストケースの作成と実行管理を行うためのシンプルなテストツールです。 テスト項目を箇条書きにするだけで、あなた専用のテスト実行ページが瞬時に作成されます。 あとは
これからWeb系のベンチャーで起業しようと思っている人へ考慮しなければいけないリストを作成した ~技術編~ - nigoblog
Web系に限らずですがとにかくいろんなことを考えなければいけません。 業界で3年以上やっていたエンジニアならいざしれず、非エンジニアやフロントエンドしか触ったことのないエンジニア。 そして学生等々、Web系ベンチャーをやるには案外考えることが多いんだぜってことを伝えたいと思います。 開発編 運用編 まとめ という流れで説明します。 開発編 主にサービスローンチまでのプロセス。 最近でいうとMVP (Minimum Viable Product)だったりアジャイルだったりが流行っていますが、 とりあえずMVPを構築するまでに考えなければいけないことをリストを書いていきます。 1. 言語は何を使うか 一番ベーシックな概念にして、一番重要かもしれません。 とりあえずフロントエンドはさておき、バックエンドをどうするか。 ここで選択肢を上げておきます。 PHP Perl Ruby Python Sc
quickml server: an easy-to-use mailing list system
quickml server is an easy-to-use mailing list system. What's New 2004-06-09: quickml 0.7 released! Some bugs were fixed. 2002-02-12: quickml 0.1 released! Characteristics You can create mailing lists just by sending usual a mail (not a complicated ``command mail''). You can create mailing lists of any names you like very easily. You can create mailing lists with any subdomains you like. quickml se
土日で作るWebサービス入門 - toyoshiの日記
先週日曜日に総額480円、プログラムコード200行、作業時間8時間で「給与明細.net」(http://www.給与明細.net)というWebサービスを作ってリリースをしました。これは給与支払明細書のPDFをWebで簡単に作れるWebサービスです。 シンプルな内容なので開発を開始してから8時間以内の作業でリリースできました。このエントリではサクッとサービスを開発してリリースするまでの僕なりの方法を紹介します。 特長 無料 会員登録不要 Excelから一括作成できる（CSVではない） オープンソース（MITライセンス） 目次 解決したい課題を見つける ドメインを取得する サイトマップとURLを決定する よいツールを集める まずデプロイ（公開）する そこそこのデザインにする 最低の機能をつけたらリリースする 広めるための準備をする おまけ：コードをかく 解決したい課題を見つける これがないとそ
iPhone／Android含むブラウザ自動テストの最終兵器Selenium WebDriverとは
Webアプリケーションのテスト自動化をサポートするツール「Selenium WebDriver」は2011年にリリースされました。 Selenium WebDriverは広範なWebブラウザのサポートを行っていた「Selenium1（Selenium RC）」と高速軽量で汎用的なWebブラウザエミュレータの機能を持つ「WebDriver」を統合したものです。 本稿では、Selenium WebDriverを簡単に試してみたい方や自動テストの実施を検討している方のために、前後編に分けて紹介します。Selenium WebDriverの特徴を整理するとともに、Selenium WebDriverを利用したWebアプリケーションに対する簡単な自動テストの実装、実施手法について解説します。 本稿で使用する用語の説明 Selenium WebDriver Selenium WebDriverはSel
自社サービスの機能を簡単にAPIで提供出来てしまう！gem doorkeeperが凄い。 - @camelmasaの開発日記
自社サービスにAPIを実装する事ってあまりないですよね。 kamadoのプロダクトも現在はAPIは公開してません。 もし提供するのであれば、簡易的な方法ですが、ユーザーテーブルにtokenカラムを追加して、API用のルーティングを作成する…という方法が考えられると思います。 しかし、その実装時間でより良いAPIが実装出来るとしたら素晴らしいですよね。 そこで紹介したいのがgem doorkeeperです。 日本語の記事が見当たらなかったので記事にしました。 github https://github.com/applicake/doorkeeper gem doorkeeperってどんな機能があるのか？ 簡単に説明すると、 ・アプリケーションの管理機能 ・アプリケーションの承認管理 ・スコープの設定 いってしまえば、Facebook API(に近い実装)そのまま実装出来ます。 しかもOAu
WebPay: 開発者向けクレジットカード決済サービス
ドメインウェブの設定が見つかりません 考えられる原因 ドメインウェブの設定がまだ行われていない。 ドメインウェブの設定がまだ反映されていない。(反映には数時間～24時間かかることがあります) ドメインウェブ・DNSの設定が誤っている。 アカウントが存在しない、契約が終了している、削除されている。
Rails3 と jQuery で真面目にオシャレなエロサイトをつくってみました
いつぞやの飲み会で、 これだけウェブの技術が進化しているのだから、もっとオシャレなエロサイトがあってもいいんでないかい？ << という話になりまして。 だけどどうせ作るんならということで、Rails3 と jQuery を使って結構マジメにつくってみました。 （※大人の事情により、リンクはやむなく削除しました） 当初はエロにオシャレは必要ないのかなーと思ったときもありましたが、いざつくってみると、やっぱり選べるならオシャレなやつの方ががいいよね、という結論に落ち着きました。 今回つくったのは試験的なものなので 90日間限定でしか公開しないつもりですが、日本のエロサイトが今後もっとオシャレに発展していくきっかけになってくれたら嬉しいです。 以下、サイトのコンセプトや使っている技術についてまとめてみます。 **Rails3 と jQuery で真面目にオシャレなエロサイトをつくってみました 1
オブジェクト指向スクリプト言語 Ruby リファレンスマニュアル
トップ 目次 はじめに コマンド Rubyの起動 環境変数 Ruby 言語仕様 Ruby でのオブジェクト オブジェクト クラス プロセスの実行 Ruby プログラムの実行 終了処理 スレッド セキュリティモデル Ruby の文法 字句構造 プログラム・文・式 変数と定数 リテラル 演算子式 制御構造 メソッド呼び出し(super・ブロック付き・yield) クラス／メソッドの定義 その他 多言語化 正規表現 手続きオブジェクトの挙動の詳細 組み込みライブラリ Builtin libraries 標準添付ライブラリ All libraries C API All C API その他 pack テンプレート文字列 sprintf フォーマット Ruby用語集 Rubyで使われる記号の意味（正規表現の複雑な記号は除く） 疑似BNFによるRubyの文法 配布条件 このマニュアルのヘルプ
変化の時代で勝つための開発組織のあり方 2011 12-22
This document introduces Aiming, a startup founded in 2011 by Toshiaki Katayama. It previously worked on Community Engine from 2001-2003 and Play Online China from 2003-2007. Aiming focuses on building online and mobile games using technologies like HTML5, Unity, Ruby on Rails and Flash. It aims to create fun and social games and uses agile practices like Git and continuous integration. The compan
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[python, ruby] selenium-webdriverでWebページの内容を取ってくる - Qiita![[python, ruby] selenium-webdriverでWebページの内容を取ってくる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6fc08c20eb6f5f4254d33ee679c9300a52e95986/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcHl0aG9uJTJDJTIwcnVieSU1RCUyMHNlbGVuaXVtLXdlYmRyaXZlciVFMyU4MSVBN1dlYiVFMyU4MyU5QSVFMyU4MyVCQyVFMyU4MiVCOCVFMyU4MSVBRSVFNSU4NiU4NSVFNSVBRSVCOSVFMyU4MiU5MiVFNSU4RiU5NiVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSU4RiVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9OGU0ZDQzNzRjODJhZmJhOTY5YTcyNzcwYzdkNmJlY2Y%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuYWthbWFzYXRvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MWQ4ZmQ2N2VjMTllY2M5OGFkZmEwMTM2OTY3ZWQzZg%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OT44O844OT44OD44OI%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D33767b4c232245603f2a53b3217dc7d2)
[悪徳商法？支店]: [Ruby] Nokogiriで、Wikipediaの記事をパースする
SHIRASAGI公式サイト
Ruby on Rails入門 | RubyLife
