Webスクレイピングのノウハウを公開します | 東北ギーク
photo credit: the local eye sore : man scraping illegal billboard, castro, san francisco (2014) via photopin (license) こんにちは。リスペクトの木村です。 今回は「スクレイピング」についての話題をお送りします。 スクレイピングとは ウェブスクレイピング（Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー(Web crawler) あるいはウェブ・スパイダー(Web spider)とも呼ばれる。 ウェブスクレイピング – Wikipediaより 要するに、「APIを利用せずにWebページのHTMLデータを収集して、データを抽出したり整形する技術」の事を指します。 収集方法も様々で、最近ではkimonoのようなサ
Laravel使った開発にLaradockを使うというのはどうだろう - Qiita
こんにちは皆さん dockercon やばかったですね docker swarm モードの導入が個人的に一番衝撃的でした。 kubernetesみたいな外部ツール使わなければならなかったことが、docker engineでできてしまうという便利感がやばすぎです そんなわけで、最近Docker使った開発に染まりきってきたところで、Dockerを使用したLaravel開発環境があるというので、早速導入してみたわけです。 最近やたらと人気の出てきたフレームワークです。 私はcodeigniterとかphalconとかは使っていたのですが、あまりlaravelを業務で使うことはありませんでした。 しかし、composerやオートローダを使用した自由な開発ができるフレームワークだし、人気もあるのでさわってみたいなぁとは思っていたのです。 Homestead? Homesteadはlaravel開発用
composer 導入をまじめに考える - Qiita
これは結構大きいPHPのプロジェクトに composer を導入する機会があったので、そのときに考えてたことや行ったこと、使い方などをメモするために書いた。 モチベーション 私達は PHP のパッケージの管理を管理する際は pear と git submodule を利用していた。これらのやり方は意外と長続きした。これらにはついて様々な問題を抱えており、ついに限界がきてしまった。 pear pear でパッケージを導入するには root 権限が必要なので、毎回インフラチームに導入を依頼するのが必要があった。 pear で導入されたパッケージについてバージョンを上げようとすると、全APサーバーで更新をかける必要があった。 これらの点から面倒だったのと、気軽に変更できないので、不要になったものも削除されることなく、放置されるのが問題だった git submodule こちらは pear とは異
PHPプログラムを書いたらマイナス21億行目あたりでエラーが出た - hnwの日記
（2016/10/5 20:40 追記）誤解を招いている部分がありそうなので文末に補足を追記しました。巨大なプログラムを食わせただけでPHPが死ぬわけではありません。 毎度おなじみ、意図的に重箱の隅をつついてみたよって話です。あるPHPプログラムを実行したら次のようなエラーに遭遇しました。 $ php over-2g-lines.php int(0) PHP Fatal error: Uncaught Error: Call to undefined function var____dump() in /Users/hnw/over-2g-lines.php:2150000004 Stack trace: #0 {main} thrown in /Users/hnw/over-2g-lines.php on line -214496729221億5千万4行目で致命的エラーが発生したよ！とい
Dockerを利用してFuelPHP開発環境構築 - Qiita
はじめに 「優しいIT」という理念の基、ITコンサルタントをしている亀井亮介と申します！ 現在、仕事では要求分析・要件定義を中心に上流工程をしていますが、プログラムも書きます！ 今回は、Dockerを利用したFuelPHP開発環境構築の解説です！ 何度か、この記事を見て試していますが、不備などあったら申し訳ありません（グーグル先生やQiita様にお世話になったり、トライアンドエラーしてみてください）。 ●参考 Docker Hubのオフィシャルイメージを使ったLAMP環境(Apache+PHP+MySQL)構築 ●ポイント 参考とした記事はPHP7ですが、FuelPHP1.7.3はPHP7に対応していない（？） Gitに公開されている"git@github.com:Seraphicer/docker-fuelphp.git"を利用 上記をそのまま利用だと、即開発できないのでDockerfi
PHPでデータベースに接続するときのまとめ - Qiita
【2021/10/15 追記】 この記事は更新が停止されています。現在では筆者の思想が変化している面もありますので，過去の記事として参考程度にご覧ください。PDO に関しては大きく変わっていない部分が多いとは思いますが， PHP 8.x 以降での動作保証はありません。 あらかじめ読んでおきたい記事 Qiita - 【PHP超入門】クラス～例外処理～PDOの基礎 by @7968 初心者がやりがちなミス 以下のどれかに1つでも当てはまるコードは見直す必要があります．付録にリンクを貼っておきましたので，「該当するかも？」という人はクリックして飛んで読んでください．太字にしてあるものは脆弱性に直結する危険度の高いものです． mysql_query などの非推奨関数を利用している SET NAMES あるいは SET CHARACTER SET などで文字コードを指定している そもそもデータベース
PHPの配列操作になれた人が、JavaScriptの配列・連想配列・多次元配列・多次元連想配列を作成・ループを理解する | アド企画 制作部
Deprecated: Function get_magic_quotes_gpc() is deprecated in /home/users/1/ukgadokikaku/web/adokikaku.com/dev.adokikaku.com/wp-includes/formatting.php on line 4382 Deprecated: Function get_magic_quotes_gpc() is deprecated in /home/users/1/ukgadokikaku/web/adokikaku.com/dev.adokikaku.com/wp-includes/formatting.php on line 4382 Deprecated: Function get_magic_quotes_gpc() is deprecated in /home/users
さくっとPHPでサイト作るならGoogle App Engineが最高 - イケてる SaaS を作りたい (koni blog)
こんにちは、小西です。 気がついたら年が変わっていました。2016年はブログを書く年にしようと思います。 さて、Google App Engine (GAE)をご存知でしょうか？ 「知ってるよー。Google がやってるPaasでしょ。でも仕事じゃ使えないよねー。」 「JavaとPythonだけでしょ？」 「すごいダサい管理画面のやつでしょ？」 こういうイメージの方が結構多いんじゃないでしょうか。 僕も含め、GAEが出た当初触って以来、という方は、上の印象が正しいと思います。 僕もこういう印象だったのですが、いつのまにかPHPが正式対応していたのに気づき、軽く使ってみたら、非常によかったので、今日はその話をします。*1 GAEとは？ GAEは、Google がやっているPaasのサービスです。 必要な作業は、ソースコードをデプロイするだけ Paasなのでインフラの心配をしなくていい（最高！
PHPの生みの親、ラスマス・ラードフ氏インタビュー | gihyo.jp
PHPの生みの親、ラスマス・ラードフ氏インタビュー 2015年12月に無事公開されたPHP7。その公開に先立ってPHPの生みの親であるラスマス・ラードフ氏に話を伺う機会がありました。英語で行われた一時間のインタビューは長大ですがラスマス氏の思想がよく分かる話題が多く、可能な限りそのままの形でお伝えすべく、その模様すべてをお届けします。 なお、インタビューは10月に開催されたPHPカンファレンス2015の講演終了後に行われ、リリースに関する話題などはその時点でのものです。 現在の仕事と生い立ち ―――― まずは、PHPを作ってくださってありがとうございます。今日の基調講演もすばらしかったです。 ラスマス：ありがとうございます。 ―――― いきなりですが、個人的な質問から始めてもいいでしょうか。 ラスマス：どうぞ。 ―――― Etsyではどのようなお仕事をなさっているんですか？ ラスマ
CSS内でPHPの変数を使いたい。 - かもメモ
例えばWordPressのプラグインなんかを作っていて、CSSで変数を使いたいなんて時があります。 読み込みをPHPファイルにする。 まずはCSSファイルの拡張子を.phpにして、CSSを読み込ませていた部分をPHPのファイルに変更します。 HTMLならこんな感じ。 <link rel="stylesheet" type="text/css" href="sample.php" /> WordPressのwp_enqueue_styleでCSSファイルを読み込ませている場合も拡張子を変えるだけです。 <?php wp_enqueue_style( 'sample-css', PLUGIN_URL . '/css/sample.php' ); このままでは、text/htmlとかで読み込まれてしまうためCSSとして動作しません。 PHP化したCSSをCSSとして読み込んでもらう PHP化した
PHP初心者が仕事で躓いた4つの罠 - pixiv inside [archive]
こちらはピクシブ株式会社 Advent Calendar 2015の2日目の記事です。 こんにちは。Vimエンジニアの kana です。 さて、皆さんもご存知の通り、WebサービスのpixivにはPHPが使用されています: PHPについては様々な噂を聞き及んでいた為、 これまでPHPとは関わらないように注意して過ごしてきましたが、 pixiv.netの開発ではPHPを避けて通ることは出来ません。 仕方なくPHPを使うことになる訳ですが、 実際に使ってみると……これが予想していた以上に様々な方向から毎日新鮮な驚きを届けてくれます。 今回は実際に遭遇したPHP初心者が躓くポイントを幾つか紹介しようと思います。 switch の中で continue したら switch の直後に飛ぶ 大量のデータをループでぶん回して処理するのはよくある話です。 その中で特定の種類のデータについては処理をスキッ
![PHP初心者が仕事で躓いた4つの罠 - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/6d2307a635e19c1c1fe2e28b504dc3b580db0c7e/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fka-nacht%2F20151202%2F20151202201442.png)
PHP Security Scanner – PHPの静的なセキュリティスキャナ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました PHPは手軽に書ける反面、その技術力によってコードの内容が大きく変わってきてしまう言語です。特に外部から渡される内容に対して適切に対応しなければ大きなセキュリティ上のリスクになります。 今回はそんなPHPコードのチェック行ってくれるライブラリPHP Security Scannerを紹介します。また開発されたばかりですが今後に期待のかかるソフトウェアです。 PHP Security Scannerの使い方 例えば以下のようなコードがあります。 $ cat demo.php <?php function foo() { mysql_query($_GET["query"]); これをスキャンしてみます。 $ php bin/php-security-scanner scan demo
「先取り！PHP 7 と WordPress」を発表しました
今年の 11 月にリリース予定の PHP 7 上で、WordPress を動かすとどうなるか、ということをデモを交えて紹介しました。 デモでは、9 年間稼働している本ブログ（Shin x blog）のコードを PHP 7 で動かしたりしてみました。そのままは動かないので、エラーメッセージを表示して、修正して、という作業を壇上で行い、最終的には表示するところまで進めました。PHP 7 への移行作業の雰囲気が伝われば嬉しいです:) WordPress では、PHP 7 の新機能よりも、パフォーマンスアップの方が恩恵が大きいと思うので、PHP 5.6 との比較も行っています。 WordCamp Kansai 2015 雑感 私は、2 日目の夕方のセッションだったので、午後に会場入りして、いくつかセッションを見ていました。そこで感じたのが以下でした。Web エンジニアが見て面白いセッションがいくつ
嵐のコンサートがあるとダブルブッキングしてしまうホテル予約システムを作ってみた
今年の5月1日に、仙台市内のホテルで多重予約のトラブルが発生したと報道されています。 部屋数２０３室の仙台市のビジネスホテルで、９月１８～２３日の宿泊予約を数千件受け付けるトラブルがあった。アイドルグループ「嵐」のライブが宮城県内で開催される期間だった。インターネットでの申し込みが殺到し、システム障害が起きたとみられるという。 トラブルがあったのは、仙台市泉区の「ホテルルートイン仙台泉インター」。ホテルなどによると、９月１９、２０、２２、２３日に宮城スタジアム（宮城県利府町）で嵐がライブを開くことが明らかになった後の５月１日午前５時ごろ、ネットを使った予約申し込みが殺到していることに気づいたという。 ２０３室のホテルなのに「予約」数千件 嵐公演で殺到か：朝日新聞デジタル より引用 5月1日の朝に何があったのか調べてみると、この日の早朝にテレビや新聞でコンサートの情報が流れたようですね。 お
「10日でおぼえるPHP入門教室 第4版」はセキュリティ面で高評価
弊社本社の麻布十番移転に伴い、本社近くの麻布図書館を利用しています。麻布図書館は土地柄のイメージにあう瀟洒な建物で、蔵書がない場合は港区の他の図書館から取り寄せ（無料です）ができますので、よく利用しています。今回は、山田祥寛さんの「10日でおぼえるPHP入門教室 第4版 」を借りて読んでみました。一読して、本書がセキュリティにもよく配慮されていることがわかりましたので、以下にご紹介したいと思います。 クロスサイトスクリプティング(XSS) 表示の際にHTMLエスケープするという原則を忠実に守っています。そのため、下記の e() という関数を定義して呼び出しています。 function e($str, $charset = 'UTF-8') { return htmlspecialchars($str, ENT_QUOTES, $charset); } その他にもXSS対策として重要な下記の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker Hubのオフィシャルイメージを使ったLAMP環境(Apache+PHP+MySQL)構築 - Qiita
いまどきのPHP開発現場 -2015年秋-
