【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius
おはようございます。 裏技ってつけると急にワザップ感が出て、懐かしいですよね〜。 こないだ飲み会で同期とそんな話をしておりました。 本題 ログインが必要なWebサイトで画像を引っこ抜いて欲しいという依頼があり、スクリプトを書くかな〜と迷ったんですが、よく考えたらシェル芸だけで出来るな〜と思ったので共有したいと思います。 今回はデザイナーにGitHubのIssueに貼ってある画像200枚以上をzipで欲しいって言われたので、それを題材にします。 環境 Chrome curl grep egrep やり方 1. Chromeでおもむろにデベロッパーツールを開く Macなら Shift + Cmd + c等で開けます。 2. networkを選択する そのページのリクエストを見つける たぶん、一番上のはず。 3. 右クリックして、Copy as cURLを選択 今回の肝はこれで、ブラウザで送った
CSV・TSVファイルでSQLを利用する「q」コマンド | 俺的備忘録 〜なんかいろいろ〜
CSVやTSVのデータを扱っていると、大容量になるとcatなんかでは抽出するのは辛くなってくる。 かと言って、grepで行抽出、awkで列指定しての行抽出となると毎回はちょっとつらいし、複数人にそれをやらせるとブーイングが来そうだ。DBにインポートすればよいのだろうが、それも面倒くさい。。。jsonであればjqコマンドを使えば良いのだけど、そうも言ってられないし、わざわざjson形式に切り替えるのも面倒くさい。 そんな時に使えそうなのが、csvファイルに対してSELECT文などを利用できるコマンド「q」コマンドだ。 これならSQL使えれば簡単に扱えるし、DBも必要なさそう。 1.インストール インストールは簡単で、こちらを参考に各OSに合わせてバイナリをインストールするだけだ。 今回はCentOS 7でインストールしてみる。 curl -s http://harelba.github.io
開発が爆速になるSwift用Xcodeプラグインをまとめてみた - Qiita
2017/10/15 更新 とりあえず、入れておくと便利なXcodeのプラグインをまとめてみました。 汎用性のあるものを重視して、厳選しています。 プラグイン初心者向けに有名なものも含まれています。 主に Swift 向けです。 Xcode7.3.1 (一部 Xcode9.0) で動作確認しています。 Xcode 9.0で動作確認済みのものには 、Xcode8.3で動作確認済みのものには を付けています。 Xcode 9 / 8 2017/10/15追記 Xcode9や8でこれらのプラグインを使用するためには、各プラグインにUUIDを追加する必要があります。 追加を一括で行ってくれるツールがこちらです。 インストールして、実行後、Xcodeを再起動することで、Alcatrazを含むいくつかのプラグインが使用可能になります。 環境にもよりますが、プラグインのインストール後、Xcodeを起動す
curlとWgetの比較 | POSTD
curlとWgetの主な違いについて著者（Daniel Stenberg）の私見を述べています。自分の子どもとも言える curl をひいきしていますが、 Wget にも携わっているので、思い入れがないわけではありません。 この記事に関するご感想やご意見をお寄せください。 問題点や改善点があると思われる場合は、 Issueやpull-requestを発行 してください。 共通点 FTPやHTTP、HTTPSからコンテンツをダウンロードできるコマンドラインツールです。 HTTP POSTリクエストを送信できます。 HTTPクッキーをサポートしています。 スクリプトの中で使用したりできるよう、ユーザインタラクションがなくても動作するようにデザインされています。 完全なオープンソースで、無料のソフトウェアです。 開発プロジェクトとして90年代に立ち上げられました。 metalink をサポートして
node.js/expressでユーザ認証with JWT - Qiita
はじめに node + expressで以下のようなことをしてみます mongoDBに保存しているname/passでユーザ認証 認証OKならJWT形式のtokenを発行して返却 JWTトークンを使って認証要のAPIにアクセス これらをform認証でなく、CUrl等を利用してできるようにします。 このサイトにしたがって実施してみます 必要なもの node npm POSTman(api検証用のchrome extention) mongoDB サーバに実装するもの secureとsecure外のURL nameとpasswordによるユーザ認証 認証後にtokenを返却 ユーザは取得したtokenを保存、全リクエストに付与 tokenを検証、OKであればJSONで情報を返却 mongoDBのインストール(mac)
node.jsのいろいろなモジュール51 – OAuth2認証形式でGoogleスプレッドシートにアクセス | DevelopersIO
node.jsでGoogle Spread Sheetにアクセスその２ OAuth2でGoogle Spreadsheetにアクセスする 前回はサービスアカウント形式の認証とシート共有を使ってGoogleスプレッドシートにAPIでアクセスしました。 しかし、この方法の場合、セキュリティによりシート共有を制限している場合などには使用できません。 Googleでは他にもいくつか認証方法があり、今回はOAuth2を使用してスプレッドシートにアクセスする方法について紹介します。 環境構築方法 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.10.5 Node : v4.1.2 データとAPIを使用する準備 1.シートの用意とGoogle Developer コンソールにてAPI許可 前回と同じシートを使用します。 Drive APIの許可をしてないなら、許可しておきましょ
pythonと遺伝的アルゴリズムで作るFX自動売買システム その1 - Qiita
作ったモノ 次の機能を実装してみました 1. 最新の為替レートを取得し続けるプログラム 2. AIを稼働させ自動売買するプログラム 3. 最新のデータを元に新しいAIを遺伝的アルゴリズムで生成するプログラム 4. AIのパフォーマンスを測定して引退と取引通貨単位を管理するプログラム 背景 OANDAが提供している取引用APIが、かなり良い感じだったので実現できました。 特に1通貨単位(1ドル単位)で売買できるため、AI100個動かし取引を重ねても損失は1日数十円に収まります。試験時に売買システムがバグで暴走しても安心です。このAPIが無ければ個人では実現出来なかったので、良い時代になったなーと思います。 http://developer.oanda.com/rest-live/development-guide/ 遺伝的アルゴリズムの特徴 最適化問題の準最適解を短時間で解ける。 最適化問題
Carthageを使ってビルド時間を短縮しよう - Qiita
Carthageとは Carthage（カーセッジ）は、Swift製のライブラリ管理ツールです。 Cocoaのライブラリ管理ツールとして有名なCocoaPodsは、自動的にワークスペースの生成と更新を行うなど、多くの機能を搭載していますが、 Carthageはそうでない、シンプルで柔軟性があり、余計なことをしないツールとして作られました。 なぜCarthageを使うのか 先ほどCarthageにはシンプルで余計なことをしないという特徴があると述べましたが、 いま自分としては コンパイル時間が短くなる という点に最も魅力を感じて使用しています。 Carthageはライブラリをインストールすると、そのライブラリを事前にビルドをし、フレームワークを作成してくれるため、 CocoaPodsを使うのに比べ、コンパイル時間を短くすることができるんですね。 実際にメッセージングアプリSync開発の舞台裏
impress.jsとsocket.ioでimpress.ioっていうプレゼンツール作った。 - from scratch
埋め込みスライド、矢印キーで操作できるようにしました。： 2013/05/11 追記：スライドページを修正。 2013/05/11 追記：Gruntコマンドを修正。 発表資料作る時、いつも何で作るか迷ってたんですが、悩んでいる時に markdown2impress という素晴らしいツール(yoshiki/markdown2impress · GitHub)に出会い、これを基にimpress.jsとsocket.ioを使ったプレゼン同期ツール、impress.ioを作りました。 Impress.io = socket.io + impress.js yosuke-furukawa/impress.io · GitHub 機能 プレゼンページ同期 プレゼンを変更し、GitHubにcommitしたら、その場でプレゼンを見ている全クライアントをリフレッシュする Markdownを記述し、Impre
WebAPIリクエスト仕様書としてcurlコマンドのご提案 - Qiita
WebAPIの仕様を記述する方法はいくつかあると思う。 普通に日本語で記述する JSON Hyper-Schema、WADL、RAML、Swaggerなどを使う 仕様書の代わりにプログラムを書く HTTPメッセージそのものを記述しておく でも、文法にばらつきがあったり、読みにくかったり、ツールのセットアップが面倒だったり、どれもイマイチな所があって、手軽な方法が欲しいと思っていた。 何気なくcurlコマンドのオプションを調べていたら、「もうこれでAPIドキュメント扱いにしちゃえばいいんじゃね？」と思えてきたのでメモしておく。 curlコマンドのおさらい curlコマンドはlibcurlの付属コマンドで、最近のUnix系OSなら大抵最初から入っていると思う。コマンドの詳細はmanを読んでいただければ。 cURL - How To Use （マニュアルページ日本語訳） curlコマンドのオプシ
無料でSSL使える時代きてた！CloudFlare最高！！！（？） - uzullaがブログ
しょうもない日記 YAPC行脚、福岡編 - uzullaがブログ とかかいた後になんとなくツイッターをみていたら、あるツイートをみまして。 packagist.jpをcloudflare対応したら、自動的にHTTPS対応できたでござる。すごい。一円も払ってないのに https://t.co/moCiiSwb44— Hiraku (@Hiraku) 2015年2月24日 それでCloudFlare(http://cloudflare.com/)がタダでSSL証明書を用意してくれるようになっていたのを知りました。 Cloudflare Free SSL/TLS | Get SSL Certificates | Cloudflare タダ！なんと甘美な響き！ オチ SNIでかまわないなら、CloudFlareをつかえばValidなSSLがタダで利用できる。 SNIとは？ NameBaseのVir
コマンド１発で、ターミナル上の全操作を録画してブログに埋め込める「asciinema」
ターミナル上で行っている「コマンド操作」のすべてを、簡単なコマンドを入力するだけでバックグラウンドで録画してくれる「asciinema」を紹介！ ターミナルだけで完結できる点や、動作が非常に軽快なのが魅力的だったのでサクッと概要を解説しておきます。 使い方！まず、以下のコマンドから本体のソースをインストールします。 $ curl -sL https://asciinema.org/install | sh あとは、録画コマンドを入力すれば、すぐに記録が始まります。 $ asciinema rec ~ Asciicast recording started. ~ Hit Ctrl-D or type "exit" to finish. 作業が終わったら、録画終了コマンドを入力すればOK！ $ exit ~ Asciicast recording finished. ~ Press <Ente
Slackで現実世界も記録する - Qiita
はじめに 2014年12月頃、SlackのHubot Integrationの仕様が変わりまして、Slack上でhubotが動いているURLを設定する必要がなくなりました。このおかげで、RaspberryPi上のhubotも簡単にSlackと連携させることができます。 というわけで、世の中のIoTブームに乗っかってSlackを現実世界とつなげてみましょう。 作ったもの 今回実装したのは、Slackのあるコマンドに反応してRasPiが写真を撮影、自動アップロードするという機能です。 なぜこれを実装したかと言うと、これが欲しかったんです。画像データを自動で飛ばしてくれるホワイトボード。でもお高いですよね。普通はこんなお高いやつを何台も買えないので、ミーティングのときにはiPhoneで写真を撮って、Slackにアップロードして共有しています。 これ、自動化できればお高いホワイトボード買わなくてい
Big Sky :: clib の使い勝手にマジ感動した
C言語でアプリケーションを書くのは他の言語と比べて少し気合が必要ですよね。例えば HTTPからデータを取得する 取得したデータを json パースする 結果の一部を色付きで表示する こんな場合、C言語プログラマは 「HTTP か、じゃぁcurlかな」 「JSON か、parson かな」 「色表示か...エスケープシーケンスでもいいけどWindowsがなー...」 といった事を考え、そこから curl や parson といった資材の調達を始める事になります。途中で新しい機能を追加したくなり、それを外部ライブラリに頼る場合だとその都度資材を調達する必要があり、思考を停止しなければなりません。 この辺は ruby や perl、nodejs、golang 等の様に、ちょっとした手間だけで済ませたい物です。 またC言語の場合、ヘッダファイルはシステムの include フォルダに提供元が期待す
新卒エンジニア向け：Macにインストールすべきアプリ達 ベーシック エンジニアブログ Basic::Engineer.deploy(blog)
新卒エンジニア向け：Macにインストールすべきアプリ達2014年新卒エンジニア向けに、最初から知っておくと便利になるであろうアプリなどを紹介する機会があったので、ついでにブログ記事としてまとめておく。Boxenとかもあるけど、正直手軽さにかける印象なので、普通にHomeBrewと手作業。 下記で説明しているHomeBrew Caskを使えば、ほぼ一発で必要なアプリケーションが手に入るのでオススメ。 正直、iOS/Androidエンジニア向けのものは、あんまりない…。すまそん。 前提 Mac OSX 10.9〜（多少、古くても出来ると思うけど） Webエンジニア（PHPメイン）／iOS,Androidエンジニア対象 なにがなんでも最初に入れるべきアプリ Xcode HomeBrew HomeBrewを通じてインストールすべきもの Brew Cask zsh vim jq | JSONパーサー
全てのアプリの設定をそのまま新しいMacに移行できる『Mackup』 | ライフハッカー・ジャパン
新しいMacを買って設定をする時に一番手間なのは、全てのアプリの設定を自分好みにカスタマイズし直す作業ではないでしょうか。『Mackup』はアプリの設定をDropboxにバックアップするユーティリティです。これでパソコンの移行作業がかなり楽になります。Mackupはターミナルで使います。旧Macからのバックアップ、新Macへの復元方法は以下のとおり。 旧Macでの作業 Dropboxをインストール後ターミナルを立ち上げる Mackupをダウンロードするコマンドを入力curl -o mackup https://raw.github.com/lra/mackup/master/mackup.py Mackupを実行可能化するコマンドを入力chmod +x mackup Dropboxへバックアップするコマンドを入力./mackup backup 新Macでの作業 Dropboxをインストール
jqコマンドが実は高性能すぎてビビッた話
GWが始まりましたが、鎌倉のGWは観光客多すぎて逆に住民はげんなりして外に出なくなる感じです。とはいえ路地まで観光客が攻め込んでくることは少ないので、路地を散歩する分には天気がよくていい感じですね。ちなみに人力車のおにーさんはそういう味のある路地を知り尽くしているので人力車で移動するのはそこそこオススメです(ぼくは乗ったことないけど「こんなところも通るんだ!」ってところで見かけたりします)。 さて、jqというコマンドをご存じでしょうか。 jq jq is a lightweight and flexible command-line JSON processor. と書いてあるとおり、コマンドラインでJSONを扱うことができるコマンドです。で、今まさに仕事で巨大JSONと戦うことが多く、このコマンドが大活躍です。 とはいえ、ぼくの使い方としては「巨大JSONをキレイに整形して表示する」とい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Node.js】socket.ioを使って簡単にチャットを作る方法
VoiceText Web API (β版)
サービス終了のお知らせ