curl コマンド 使い方メモ - Qiita
2025/02/22追記 この記事を書いたのは10年前なので、最近のcurlにある機能には触れられていません。 同じQiita内だと↓記事が参考になるので合わせてご覧ください。 はじめに 「最近、curlが楽しい」 というわけで、最近、curlでPOSTしたりDELETEしたりcookieからSessionを読み込んだりと触れ合う機会が多かったので、その時知ったものを備忘録も兼ねてまとめました。 なるべく実行コマンドとその結果の出力をセットで書くようにしています。 curlコマンドは便利 curlは便利です。 APIと触れ合っていると、 手軽に HTTPリクエストしたくなる色んなシーンに出会います。 「あれ？ サーバー死んでる？」 「思ってたレスポンスと違うな、何が返されているんだ？」 「認証必須にしたんだけど、うっかり抜け道ないよね？」 「さくっとPOSTしてテスト用にデータ準備したいん
データサイエンティストを目指す人のpython環境構築 2016 - Qiita
pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 > 3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともないです。 winでは64bitは不具合が多いので32bit推奨 > 古いです。 winでは非公式バイナリからダウンロードしてインストール > お世話になりましたが、最近は使っていません。 2016版 OS毎python環境構築法決定版 Windows: an
今から新規でiOSアプリを書き始めるなら。2016年冬 - Qiita
こんにちは @yimajo です。この記事は今から新規でAndroidアプリを書き始めるなら。に大きく影響されています。主な内容として次のような事柄を取り扱っています。 今から書くならこんな設計 こんなライブラリがあるが使ってみた感想 ただ、結論として大して深い内容は書けませんでしたので、がっかりせず、みなさん思い思いにやればいいよっていうことに終着しています。アドベントカレンダーのネタにみなさんも書いてみてはどうでしょう。 言語について Objective-C か Swift か まず最初に言っておくとObjective-CやSwift以外にもiOSアプリを始める方法はあります。例えばObjective-C++とかRubyMotionとか。まあそれはそれで良いところもあると思いますが、複数人でiOSアプリ開発を行いそれを保守したり機能追加したりすることを考えるとObjective-CかS
ウェブクローラN本ノック - Qiita
こんにちは。これを読んでいる皆さん日々スクレイピングに励んでいると思います。一緒に頑張りましょう。 さて、世の中には異常なWebアプリケーション、異常な設定のHTTPサーバ、異常な構造のHTMLドキュメントなどのとにかく異常な現実が氾濫しています。また、異常ではないもののパッと見で要素の切り出しが難しいものなどもあります。この記事では、そういったものにどのように向き合っていくのか、ということを書いていきます。 サンプルについて サンプルURLのサーバ側の実装については、GitHub上にソースコードを公開しています。 また、クライアント側のサンプルは Ruby 2.3.3 と 標準ライブラリの net/http または mechanize を利用しています。 リダイレクトループ サンプルURL: http://www.spacepro.be/crawl/redirect_loop 無限に自身
開発組織（Developer Edition）をサインアップした後にやることリスト - Qiita
やることリスト 自分はだいたいこんなことやってますよっ、てやつ。適宜ご参考にして下さい。 1. マイドメインを登録する なぜかデフォルトの (ap|ap2).salesforce.com のままで使っている人がいまだに多いのだけど、よく慣れたSalesforce開発者は自分用の組織を3桁くらい持っているのが普通であり、そのうちの2,3は同時にログインすることになったりするので、同一ドメインでログインCookieが上書きされるのきついのです。いちいち他のブラウザとか立ち上げてられない。 2. プロファイルのIPアドレス制限を 0.0.0.0 - 255.255.255.255 に設定 たかだかDE組織にいちいちIP制限かけられたくないよ、という場合。これ設定しておくと他人とアカウント共有する場合に毎回承認メールが飛ぶのを防ぐ効果もある。 3. パスワードポリシーの有効期間をNeverに 90
我が家で運用されているSlack - Qiita
我が家（と言っても2人）でSlackを使い始めて約2年になりました！ これまでに紆余曲折を経て、ようやく運用も落ち着いてきたので、どんなことに使ってるか記事にしてみようと思い立ったワケです。 普段なら「いちいちQiitaに上げるような記事じゃないな」と思いつつ「Advent Calendarならいいかも？」と思った次第です。 なので、特段新しい技術を使ってるとかではありません(^ω^;) ここでは、個人的に利用している人の投稿から「こんな使い方もあるんだね」程度に思ってもらえれば幸いです♪ なお、「ブログにしろよ」というツッコミは受け付けません！ 長年改装工事をしていますので… Slack導入経緯 Slack導入以前 今でもサーバーのエラーや何かしらの通知をメールでやってる会社って多いと思います。 我が家もそれに準じ、サーバーからの通知はメール、相方とはLINEだったりハングアウトだったり
AWS上にサーバレスな汎用クローラを展開するぞ。 - 超平面あのにのに
サーバレスな汎用スクレイパーを作った。 - あのにのに 前回はAPIGatewayとLambdaで、指定したURLの指定した位置にあるデータを抜き出すAPIを作った。 今回はサイト内探索をするようなシステムをAWS上に構築しようと思う 注意:クローラは用法用量を守って、相手方のサイトに迷惑がかからないように十分な配慮を徹底しましょう。 今回作るもの こんな感じの構成をイメージしてる。 DynamoDBの１レコードがサイトへの１リクエストに常に対応するものとし、内部リンクのURLを新たにDynamoDBのテーブルに追加していく。 得られたデータは対応レコードに格納される。 URLがテーブルに追加されると、DynamoDB Streamsに流され、Lambdaで実行される。 というような繰り返し。 DynamoDBのデータスキーム 1.Request先URL :target_url 例) ht
Selenium Builderでスクレイピング/クローラー入門・実践 - Qiita
この記事はクローラー／Webスクレイピング Advent Calendar 2016の9日目の記事です。 対象 趣味程度で、サクサクっとスクレイピングを始めたい いちいち要素(CSS Selector, Xpathなど)を調べてコードなんて書いていられない マクロみたいにブラウザの操作を記録して再生したいが、痒いところまで届くように柔軟に書き換えたい Seleniumを使ってみよう Webブラウザ操作の自動化などWebアプリケーションをテストするツール、API、フレームワークで有名なSeleniumを使ってみましょう。 Java、Ruby、Pythonといった様々なプログラミング言語で動かすことが出来ます。 言語ですが、自分はRubyが好きなのでRubyを例にとって説明していきます。 Seleniumの主な用途はテストツールで、Selenium Webdriverと呼ばれているライブラリを
2016年、サーバーサイドエンジニアがゼロからReact/Reduxを学習したときの方法を振り返る
こんにちは。スタジオ・アルカナのサーバーサイドエンジニアなっちゃん(@natsumican63)です。 この記事はReact Advent Calendar 2016の13日目の記事です。 それは2016年も後半へ差し掛かったある日のことでした… 上司「次の案件、この辺の技術使うから軽く勉強しておいてー」 つ React.js + Redux.js + redux-saga + Cordova + ES6 + Babel + OnsenUI + Gulp + Webpack ( ﾟдﾟ) (つд⊂)ｺﾞｼｺﾞｼ (；ﾟ Дﾟ) !?!? (; ﾟдﾟ)「…わ、わかりました」 ※「何でもやります！やらせてください！」が私の口癖なので、決して無茶振りしてくる弊社ではありませんよ！ほんとだよ！！ 斯くして2016年、サーバーサイドエンジニアがはじめてフロントエンドへの門戸を開くこととなった際の学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「手回し計算機」 by ぼや│MakersHub
【増枠】クローリングのスペシャリストが語る、クローラー運用の裏側！ - 資料一覧 - connpass