Specialized Web Data ExtractionExtracting protected, high value web data is hard and only getting harder. Import delivers the data that others can't get to. Get a demo
![Import.io](https://cdn-ak-scissors.b.st-hatena.com/image/square/b73f4cf1d8ee6fc2c2c14cbf88fb8e10e041cbe6/height=288;version=1;width=512/https%3A%2F%2Fwww.import.io%2Fwp-content%2Fuploads%2F2019%2F08%2Fweb-data-trust_featured-image.jpg)
Specialized Web Data ExtractionExtracting protected, high value web data is hard and only getting harder. Import delivers the data that others can't get to. Get a demo
こんにちは、せーのです。今日はLambdaがより使いやすくなる新機能をご紹介します。 サラッと今朝出たての新しいサービスが登場したりしますが、社内のチャットがざわざわしていたのでその詳しい解説はまた別の記事で紹介されるかと思います。 今回の新機能はLambda FunctionをAPI化してしまってSDKのインクルードなしに叩いてしまおう、という機能です。 LambdaをWebから叩くにはSDKが必要 先日、こんな記事を書きました。 Amazon EC2を(なるべく)使わずにシステムを構築してみる この記事の中でLambdaをJavaScriptから直接叩いたことに意外と反響がありました。Lambdaで動くようなマイクロな関数であればもはやEC2は要らないんですね。 ただこのようにWebからJavaScriptを使ってLambdaを叩くにはこの記事にあるように「AWS SDKのセット」と「
もちろんグレープといっても これではありませんし、 こちらでもありません。 APIを作るのに特化したフレームワークで、例によってGemfileに gem 'grape' って書いたあと bundle で使えるようになります*1。 文法とかそのへん なんかSinatraとRailsのroutes.rbっぽい書き方ができます。 class API < Grape::API # ex)http://localhost:3939/api prefix 'api' #ルートのプレフィックスをつける # ex)http://localhost:3939/api/v1 version 'v1', using: :path format :json #これでJSONをやり取りできるようにする #API resource :account do # http://localhost:3939/api/v1/
Amazon EC2のメタデータを簡単に取得する方法 Amazon EC2はたくさんのメタデータを持っています。SDKやAPIを経由して取得する方法が一般的ですが、自身のインスタンス内で簡単に問い合わせる方法があります。以下のアドレスにアクセスすることです。 http://169.254.169.254/ 実際にどんな情報が取得できるのか試してみたいと思います。 $ wget -q -O - http://169.254.169.254/ 1.0 2007-01-19 2007-03-01 2007-08-29 2007-10-10 2007-12-15 2008-02-01 2008-09-01 2009-04-04 2011-01-01 latest 取得したファイルの中身はテキストの羅列です。 トップレベルのMetadataを表示する $ wget -q -O - http://16
idobata最高ですね。https://idobata.io idobataはHerokuやGithubなどと連携することでコミットしてpushすると自動的に通知が来たりしてだいぶ便利なんですが、自分のWebサービスでHerokuを使っていないとデプロイの情報まではやって来ません。これはちょっと駄目ぽいのでdeploy.rbにをいい感じにしてみましょう。idobataには便利なAPIがあります。 gist6844690 はい。これだけですね。実に簡単ですね。最高ですね。 僕のasonas.jpの部屋には僕しかいないし、デプロイも30秒ぐらいで終わるのであんまり意味がないですが、idobataを使いはじめた人はどんどん活用してみるといいと思います。
Tumblr API Tumblr APIへようこそ!わたしたちにとって、優秀なデザイナーやエンジニアがTumblrを使って創作表現のまったく新しい形をつくってくれることより楽しいものはありません。わたしたちはあなたがたのどんなプロジェクトに対しても十分に機能的で柔軟なAPIとなるように途方もない注意を払ってきました。APIの使い方についてやどうするのがよりよいのか、またAPIを使って作っている驚くべきものを話すときはわたしたちのディスカッショングループに参加してください。どうぞ責任をもってAPIをお使いください。また、フィードバックをください。楽しんでね! もし古いAPIのドキュメントを見たいなら、ここで探すことができます。 必要なもの OAuthキーを入手するには: アプリケーションを登録してください あなた用のAPIキーを入手する必要があります。たとえ、署名付きOAuthリクエストを
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ(Web ページをスクレイピングするスクリプト)とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります: Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える(HTML パーサなどのモジュ
What ruby-tumblr is a library for tumblr API. Installing sudo gem install ruby-tumblr API Document http://ruby-tumblr.rubyforge.org/rdoc/ Demonstration of usage read Tumblr::API.read("tumblr.dynamic-semantics.com") do |pager| data = pager.page(0) p data.tumblelog data.posts.each do |post| p post end end write Tumblr::API.write($email, $password) do regular("test body", "test title") quote("test qu
黒川仁の文具堂ブログ三昧 このブログでは、金沢市在住のプログラマ/サーバエンジニア 黒川 仁がWeb技術っぽい記事を書いています。 「ブログからRSSをとってきて、更新があったらTwitterにツイートをPOSTする。」 ということをやっているんだけど、URLの短縮化はAPIまかせにしているので 140字の制限に対してまだ余裕がある場合はURLは 「https://blog.bungu-do.jp/archives/1646」 と、そのまま表示される この場合URLの文字数は37文字 最初はまあ、bungu-doという文字も見えていいかなと思ったけど、 RT(Retweet)された場合などにURLがそのままだと結構文字数制限が つらくなってくることに気づいた。 だから短縮URLなんだとようやく気づいた。 なので、文字数に足りる足りないに限らず、短縮URLにしておくことに決めた。 そこで、下
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
専用のメールアドレスを作成し、それを使用して写真を Picasa ウェブ アルバムに直接送信することができます。 Picasa ウェブ アルバムはPCからアップロードにはGoogle Picasaをインストールしていると簡単にアップできます。そして当ブログのように”公開”設定にした写真をプラグインを使用してブログ内でリアルタイムで観ることができます。 携帯からのアップロードの設定 Picasa ウェブ アルバム>ログイン> 設定>”メールで写真をアップロード”に秘密の言葉を入力 メールアドレスが表示されます>設定を保存して完了 動作確認 その専用のメールアドレス宛てに写真を添付して送信 Picasa ウェブ アルバム>アルバム>マイフォトで確認。 件名なしで添付した写真が [ドロップボックス] アルバムに追加されていればOK。
Ruby(とRails)を担当している石原です。 ソーシャル「OSを入れた後にインストールする10のアプリケーション」(仮) を作る過程をレポートしています。 これまでのエントリーはこちら ↓ つくるぶガイドブログ: Ruby on Rails を使ってひとりでサービスを作ってみよう つくるぶガイドブログ: ひとりサービスの雛型をつくる(リキッドレイアウト、GetText、Acts as Authenticated) つくるぶガイドブログ: Rails で楽々ソーシャルブックマークの仕組みを作る つくるぶガイドブログ: Rails プラグイン acts_as_taggable_redux でタグクラウドを作ろう つくるぶガイドブログ: ドラッグアンドドロップで並べ替え(Rails + Ajax) つくるぶガイドブログ: Rails + rcov でテストカバレッジを調べる つくるぶガイドブ
Kaolabo 顔ラボ 画像に写った複数の顔で、笑顔度をランキングできるアプリです。 顔シークレットでおなじみのキャラクターから、みんなの笑顔に対する総評も発表されます。 Kaolabo/顔ラボは画像検出技術などを多用した最新の加工技術を採用。ツールにアップロードした顔画像に特殊なエフェクトを入れる「顔シークレット」を提供しています。ユーザーの画像アップロードには大手金融機関や、楽天銀行 オンラインカジノ などでも使われている安全基準が採用され、Flash ゲームはもちろん、オンラインゲームでも顔認証検索技術により、目の大きさやぼかしなと言った数種類の特殊エフェクトをかけることができます。顔の角度や方向にも対応していて、加工後の画像を保存しておくこともできます。精度優先検索や顔のサイズ調整などを指定することも可能です。 選んだ顔に、ぼかしや目伏せ、スマイルなどの加工を施せるアプリです。 自
結構探すのがめんどくさいBrowseNode(ブラウズノード)を簡単に探し出すツールを作りました(いつもの通りECS4.0とAjaxなので使う時はJavascriptはONにしといてくださいね)。使いやすいように、ブラウズノードの一覧ではなく、階層型の検索にしました。数が多すぎるのである程度制限をかけていますが、通常使う分には十分かな?と思います。 では、↓「BrowseNodeを探せ」ツール(ブラウズノードをクリックしてください)↓ [BrowseNodeを探せ] 465610 : 和書(ジャンル別) 573662 : 洋書(Subjects) 3210991 : エレクトロニクス(カテゴリー別) 3839151 : ホーム&キッチン(カテゴリー別) 562032 : ミュージック(ジャンル別) 562002 : DVD/ビデオ(ジャンル別) 637630 : ソフトウェア(ジャンル別)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く