初めてのスクレイピング - しぶてぃーぶろぐ
現在、友人とWebサービスを作る計画があり、そのサイトを作るためにスクレイピングが必要だったのでちょっと勉強してみました。 ※追記 DOMツリー生成は時間がかかるのでネストが深くない場合は正規表現がオススメです スクレイピングとは？ はてなキーワードによると「ウェブサイトのデータを必要な部分だけ抽出して利用すること」だそうです。 あるウェブサイトのデータをとってきたいときにそのサイトのAPIが提供されていればそのAPIを使用すればいいわけですが、提供されていない場合は、スクレイピングをする必要があるわけです。 例えば、WikipediaはAPIが提供されていないので必要なデータをとってきたいときにとってこれません。スクレイピングすればとってくることができます。 ※Wikipediaはidをあまり指定しないサイト構成をとっているのでスクレイピングでデータをとってはこれるのですが、かなり面倒く
phpによるスクレイピング処理入門
1. はじめに このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。 1.1. スクレイピングとは スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々なWebサービスを展開しています。かなり昔、今よりWebサイトそのものが少ない頃の時代は、HTMLファイルを手動で作成することが殆どでした。しかし、現在はバックグラウンドにデータベースが存在し、データベースの内容を動的に表示し、ページを作成するようなサイトがかなり多くなっています。 さて、データベースを利用するメリットは何でしょうか？ 幾つかの視点が挙げられると思います。 最も重要な点は、ひとつひ
天気予報API｜天気予報、指数情報をAPIで提供
育児・子育てをサポートするママ専用の育児アプリ「ninaru baby」にて、天気予報APIをご利用いただいております。 自分が住んでいる地域を登録すると、その地域の天気予報や紫外線情報・熱中症情報から、おでかけにおすすめの服装や持ち物をお知らせしてくれます。 利用API：天気予報、週間天気予報、3時間ごとの天気予報、紫外線情報、WBGT熱中症予防情報 App Storeにて公開中 Google Playにて公開中 アレルギー専用鼻炎薬「アレジオン」のブランドサイトとディスプレイ広告にて、花粉情報をご利用いただいております。ブランドサイトでは、「2019年 花粉情報」のページにおいて、エリアごとの花粉飛散量マップを参照することができます。ディスプレイ広告でも、同様の花粉飛散量マップをチェックすることが可能です。 利用API：花粉情報 公開終了 他の導入事例をみる 2019.06.12 導入
OAuthプロトコルの中身をざっくり解説してみるよ - ( ꒪⌓꒪) ゆるよろ日記
「おーおーっすっ!」 てなこって、TwitterのAPIのBASIC認証も6月末に終了してOAuth/xAuthに移行するというこの時期に、あらためてOAuthについて勉強してみたんですのよ? OAuth認証を利用するライブラリは各言語で出そろってきてるのでそれを使えばいんじゃまいか? というと話が終わるので、じゃあそのライブラリの中身はなにやってんのよってことを、OAuthするScalaのライブラリ作りながら調べたことをまとめてみました。 間違っているところもあると思うのでツッコミ歓迎です＞＜ OAuthってそもそもなんなの? ものすごくざっくりというと「API利用側が、ユーザ認証をAPI提供サービス側にやってもらうための仕様」って感じでしょうか? BASIC認証の場合、API利用側が認証に必要なアカウントやパスワードを預かる必要があるわけです。悪意のあるAPI利用側が「なんとかメーカー
Wikipedia API（検索＆パース）を作りました | Tokyo O life
最近、Wikipediaのデータを活用したサービスが増えている。 ただし、先日WikipediaのダンプデータをDBに投入する で紹介したように、Wikipediaはサーバから叩けるAPIを提供していない。不定期にダンプデータが提供されているので、それを自分のサーバのデータベースに投入して使うことは可能なのだが、収録されているデータは、Wikiのマークアップがついたままの生テキストなので、使い勝手がよくない。 以前から提供されているSimpleAPI「Wikipedia」は、たぶんこのダンプデータを使って、独自に検索APIを提供しているのだと思うが、 複数の検索結果を一度に返してくる。 簡易な要約文しか提供されない。 という制約があって、Wikipediaに収録されている豊富なデータを活用するには、ちょっと足りない感じがする。 そこで、Wikipediaのマークアップを解釈して、XMLに変
日本の全エンジニアに捧ぐ！現在公開されているAPI一覧【2013年版】 | Find Job ! Startup
2013年のいま、API界隈が熱い！ 今年に入り、官公庁の統計データやNHKの番組情報など、今までなかなか利用できなかったデータがAPIとして扱えるようになってきました。このエントリでは現在公開されているAPIを一覧でまとめます。いま使えるAPIはこれだけ読めば大丈夫。2013年の最新マッシュアップ事情をあますとこなく網羅します！ HOT! API 総務省 次世代統計利用システム（国勢調査、人口推計、就業構造、企業統計、物価統計 etc.） NHK番組表（※未公開） 行政・自治体・公共サービス 郵便番号 郵便番号検索API（郵便番号 → 住所） 郵便専門ネット（郵便番号 → 住所、郵便番号の簡易存在チェック） ぽすたん（郵便番号 → 住所、住所 → 郵便番号） IW3 PROJECT（郵便番号 → 住所、住所 → 郵便番号） 宇宙 Google+ JAXA PR（※現在一部の学生に限定公開
Browse Fonts - Google Fonts
Making the web more beautiful, fast, and open through great typography
JSON on HTTPやWeb APIを各言語でどうやって実装するのか
HTTPでアクセスして、JSONを返すようなWebサーバを書きたいとする。 どんな言語を選ぶか。どんなミドルウェアを選ぶか。どんなライブラリを選ぶか。 たとえば、TIOBE Softwareが公表している「Programming Community Index(PCI)」という指標がある。人気のあるプログラミング言語の数値化。これを見ていて思ったのは、「多すぎだよね、プログラミング言語」ということ。これらのうち、どの言語を勉強し、どの言語をプロジェクトに採用すべきなのか。 その感触を得るために、 「同じ仕様のREST serviceを複数言語で実装したらいいんじゃね？」 と思った。いくつかの言語で実装を起こしてみている。 前提条件 大規模な開発を想定する。ユーザの規模が大規模。トランザクション数が大規模。そして、開発者が大規模。 実用的かつモダンな開発を想定する。プロジェクト毎のバージョン
いまさら聞けない「マッシュアップ」超入門
Web 2.0時代の産物「マッシュアップ」 最近はやや落ち着いてきましたが、「Web 2.0」の登場とブームはネットサービスに大きな影響を与えました。Web 2.0とは、特定の意味を表す単語ではなく、さまざまなサービスや現象をまとめて表したものです。Web 2.0の用語として、ロングテール、集合知、フォークソノミー、SNS（ソーシャルネットワークサービス）…… などなどが登場しました。 そのWeb 2.0のキーワードの1つとして「マッシュアップ」があります。今回はこのマッシュアップについて見ていましょう。 もともとは音楽用語で「混ぜ合わせる」という意味 「マッシュアップ」（Mash Up）という単語は「混ぜ合わせる」という意味で、もともとは音楽用語です。いろいろな曲を混ぜ合わせて（マッシュアップして）、違う曲にしてしまう手法のことです。 転じて、Web上で使われる「マッシュアップ」は「2つ
livedoor
1ワシが育てたんすよ…その腹…（誇り）まめきちまめこニー... 2【立ちんぼ大国日本】新宿“TACHINBO”←外国人が殺到する観光...ハムスター速報 3【悲報】日経新聞「NISAに関して初心者によくある誤解をまとめ...オレ的ゲーム速報＠... 4【画像】パリ五輪で日本に負け続きのブラジルさん、「日本の文...はちま起稿 5【巨人】阿部監督、戸郷限定で中5ローテ復活を明言なんじぇいスタジア... 6「飼い猫を捨てられた」同居の息子を包丁で刺した父親逮捕痛いニュース(ﾉ∀`... 7#93 発達ワイが妻と別れるまでガレ速@フォロワー... 8【公開処刑】鉄棒で2回落下した中国人選手、こうなってしまう...アルファルファモザ... 9【パリ五輪】スケボ堀米が2連覇の金！体操男子団体も王座奪還...おーるじゃんる 10【8話】舎輪組の惨劇と牧村のミス悪鬼羅刹編ニート極道「牧村ユ... 11【
サービス終了のお知らせ
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
サービス終了のお知らせ
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
Excel VBAでWebサービス - ExcelでTwitterと連携する
はじめに 最近のWebサービスでは新しい認証方式「OAuth」が必要なものが増えています。今回からTwitterをターゲットとしてOAuth認証を利用する方法を説明します。動作確認は、Windows 7、Excel 2010、VBA 7.0およびWindows XP、Excel 2007、VBA 6.5で行っています。 Excel VBAでWebサービス - 天気予報を取得してみよう Excel VBAでWebサービス - MSNマネーから株価の推移を取得しよう Excel VBAでWebサービス - Excelで書籍情報を検索・取得してみよう Excel VBAでWebサービス - YouTube APIで動画を検索しよう OAuth認証について OAuth認証とは大雑把に言うと、「トークン」と呼ばれる通行手形のようなものと、「シークレット」と呼ばれる秘密鍵による電子署名とを組み合わせて
30分、JavaScriptで作るWebサービスのモックアップ - ゆーすけべー日記
Instagramは日本のユーザーも多く、日常を切り取った写真がほとんどで、 またお洒落なものも混じっているのでたまに眺めると気持ちがホッコリしたりします。 特定のキーワードでInstagramの最新の写真を検索したい時があります。 例えば、みんなが今どんな「ご飯」を食べているのか、今日の「日の出」はどのような具合なのか、 がInstagramの写真を通して分かるかもしれません。 Instagramの写真検索サービスを探してみると、 Instagram自身が検索機能を提供してないので他の第三者が作ったサービスがいくつか出てきます。 使ってみたところ、もう少し自分で見た目やら機能を変えてみたいなーなんて思いました。 そこで、「Instagramの今の写真を検索できるサービス」といういわばWebサービスを作りたい欲求にかられます。 今回はこのようなちょっとした欲求から考えた「Webサービスのモ
This domain name is registered with Netim
Netim offers nearly 1,000 geographical (ccTLDs) and generic (gTLDs) extensions. Find the perfect domain name Netim regularly offer discounts on domain names. Some extension start at $1.50 excl.tax for the first year. Discover all of our special offers Whether your website is personal, professional or an online store, you will find the perfect offer for your projects! Discover our web hosting plans
HTML5&API総まくり
6. • 現在の要素数は108 • 30種類の新要素 • 14種類の既存要素が変化 • time要素、hgroup要素、data要素 （WHATWG HTMLのみ）などが争 点。 HTML5マークアップ 7. • リッチな入力フォーム、新たなフォーム要素、宣 言的なバリデーションなど。 date datetime datetime-local month week time number range email url search tel color HTML5 Forms 8. • HTMLにマシンリーダブルなデータを埋 め込むための仕様 <div itemscope> <p>お名前: <span itemprop="name">白石</span></p> <p> : <time itemprop="birthDate">1978/03/24</time> </p> </div> HT
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WEB APIのURL設計のトレンドはこれだ！WEB APIのURL設計まとめ
NHK番組API
https://calil.jp/doc/contest.html
http://blog.caraldo.net/2010/02/pearcache_lite_twitterapi_xml.php