Pythonでwebスクレイピング はじめの一歩 - Qiita
Python3とBeautifulSoup4を使ったwebスクレイピングの初心者向けの記事です。 過去記事を参照しましたが、 警告が表示されたりバージョンの違いからか動かないことがあったため、改めてまとめてみました。 概要 webスクレイピングの基本的な処理は、以下のような流れになります。 ①webページを取得。 ②取得したページを要素を分割し、任意の箇所を取り出す。 ③データベースに保存。 ①のwebページの取得にrequest、②の処理にBeautifulSoup4を利用します。 ③については環境によって異なるため、この記事では説明を割愛します。 準備 Python3をインストール後、 pipコマンドを使って、BeautifulSoup4、requests、lxmlの３つのパッケージをインストールします。
スクレイピングのサンプル - Qiita
from urllib.request import urlopen from bs4 import BeautifulSoup from pprint import pprint URL = 'http://news.yahoo.co.jp/' with urlopen(URL) as res: html = res.read().decode("utf-8") soup = BeautifulSoup(html, 'html.parser') titles = soup.select('.ttl a') # domを取得 titles = [t.contents[0] for t in titles] # テキストを取得 pprint(titles) >>> ['トランプ氏「司法行き過ぎ」', 'PKO日報 特別防衛監察を指示', '病院で投与ミス 一時心肺停止', '特攻服の中学生ら
Google カレンダー API v3 から祝祭日を取得するサンプル - purazumakoiの[はてなブログ]
v2は今はサポートを終了して使えませんってことで v2の場合 こんな感じでした。 <?php // Google APIより祝日取得 $holidays_url = sprintf( 'http://www.google.com/calendar/feeds/%s/public/full-noattendees?start-min=%s&start-max=%s&max-results=%d&alt=json' , 'outid3el0qkcrsuf89fltf7a4qbacgt9@import.calendar.google.com' , // 'japanese@holiday.calendar.google.com' , date("Y").'-01-01' , // 取得開始日 (date("Y")+1).'-12-31' , // 取得終了日 50 // 最大取得数 ); if
![Google カレンダー API v3 から祝祭日を取得するサンプル - purazumakoiの[はてなブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1234c5724dfbc4ffacd41e4f1ded4e945b27b94e/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704538227038789114%2F8454420450074647138%2F1424738603)
PHPおすすめフレームワーク『Laravel5』入門 基本を押さえるサンプル | TECH PROjin
ブレード(View) ・articles/index.blade.php（一覧） ・articles/detail.blade.php（詳細） ・articles/edit.blade.php（編集） ・articles/create.blade.php（新規投稿） Laravel5を使ったブログサンプルの作成手順 1.LaravelのProject作成 $ composer create-project "laravel/laravel" --prefer-dist blogsystem ※composerインストール済みが前提 ※ドキュメントルート以下で実行 2.DB作成(blogsystem) $ mysql -u root -p mysql> create database blogsystem; ※MySQLインストール済みが前提 3.「.env」ファイルの変更 DB_DATAB
Rubyでスクレイピングしてみました。 - Qiita
スクレイピングに挑戦したのでサンプルコードを公開。 スクレイピング楽しいね Railsではなく素のRubyコードを書きました。 gemはbundlerでインストール。 bundlerでインストールしたgemを読み込む方法はこちら。 mechanize編 最初に挑戦したのはmechanizeというgem。 WEBサイトのインタラクションを自動化してくれるgemだそうです。 http://docs.seattlerb.org/mechanize/ 今回は、絵本ナビから、 「くすのきだんち」シリーズのタイトル一覧と表紙画像を取得して、 タイトルをターミナルに表示、画像をローカルに保存します。 では早速作業開始。 $ mkdir scraping $ cd scraping $ rbenv local 2.2.3 $ bundle init $ vim Gemfile // gem 'mechan
cakephp3で複数データをインサート - m_shige1979のときどきITブログ
データを登録する際 １件ずつ登録するか、一括で登録するか… 環境 CentOS7.x php7.0.3 cakephp3.2.3 一括で登録 sample1 src/Shell/Sample1Shell.php <?php namespace App\Shell; use Cake\Console\Shell; use Cake\ORM\TableRegistry; /** * Sample1 shell command. */ class Sample1Shell extends Shell { /** * main() method. * * @return bool|int Success or error code. */ public function main() { // サンプルデータ準備 $postList = [ [ "title" => "aaa1", "body"
【備忘録】Vagrant 基本の巻 - Qiita
公式ドキュメント（英語） ドットインストール Vagrant入門 (全13回)...「いろは」がわかる。 環境 : MacOS X + vagrant + VirtualBox boxの取得関連 boxの一覧（公式） http://www.vagrantbox.es # boxの一覧を表示する。 $ vagrant box list # boxを追加する $ vagrant box add {title:任意のbox名} {url:上記boxのURL} # boxを削除する $ vagrant box remove {title} # boxコマンドヘルプを表示する $ vagrant box -h # boxキャッシュを表示する $ ls ~/.vagrant.d/boxes
MySQLのInnoDBでもPRIMARY KEYの2カラム目以降にAUTO_INCREMENTを使いたい | GMOメディア エンジニアブログ
こんにちは、DBAのたなかです。 MyISAMエンジンには、Primary Keyの2カラム目以降にAUTO_INCREMENTを仕込んで1カラム目ごとに2カラム目をインクリメントさせる…なんて機能があります。 ↑自分で書いててよくわからないですが、↓こんなやつです。 CREATE TABLE blog ( writer varchar(64) NOT NULL, writer_seq tinyint unsigned NOT NULL AUTO_INCREMENT, title varchar(255) NOT NULL, post_date date NOT NULL, PRIMARY KEY (writer, writer_seq) ) ENGINE=MyISAM; INSERT INTO blog (writer, title, post_date) VALUES ('うつい',
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Node.jsとデータベースを接続しよう