はてなブックマーク

はじめに Scrapingをするときに、全てを手作業で取り出す。 1サイトであれば、それで良いでしょう。 しかし、100サイト、10,000サイト、1,000サイトといわゆる不特定サイトをスクレイピングする場合、 大変な作業量となります。 最初は楽しいのですが、だんだんと飽きてきますし、100サイトを超えてくると1サイトスクレイピングしようとしている間に、 前にやったサイトのマークアップが変わっていたり、苦痛を伴い始めます。 前置きが長くなりましたが、 クローラー／Webスクレイピング Advent Calendar 2017の9日目です。 世の中どこもかしこも、AI、AIと騒いでいるんだから、スクレイピングなんてAIにやらせとけばいいじゃない とも思いますが、 それは2014年のアドベントカレンダーでもう書いているので、 今日は逆にライトなやつ。簡単に実装できるやつを。 2014年の投稿

Docker for macが出てから、しばらく使っていたけれど、 どうしてもディスクの喰い方がつらくて、Docker for macを卒業。 現在のローカルのDockerの環境は Parallels + CoreOS Stable channel + Docker client という構成に。 というか戻った。 paralllels + CoreOSのところは一旦置いておいて MacにDocker clientだけをスマートに入れる方法はないかと模索したところ toolboxのソースにあるDockerfile.osxにヒントが。 36 RUN curl -fsSL -o dockerbins.tgz "https://get.docker.com/builds/Darwin/x86_64/docker-${DOCKER_VERSION}.tgz" && \ 37 tar xvf dock

はじめに SORACOMリリース1周年記念リレーブログ 11月1日分です。 blog.soracom.jp SORACOMももう１周年という事で、色々とサービスが増えて来ました。 まずは各サービスをGoogle Trendで見てみます。 ↑読み込み遅いけどGoogle Trendsのグラフ出ます。 ↑読み込み遅いけどGoogle Trendsのグラフ出ます。 SORACOM Airが 2014/7/6 - 12の間に検索されていたりするのは、 創業者二人が飲みながら名前を考えているときに、 検索していたのかなと想像すると楽しいですね。 AirとBeamの検索量にたいして、他のサービスはGateがかろうじて 検索されている位の状況です。 ということで、今回はCanal周りを中心に遊んでみようと思います。 VPGで遊ぶ まずはVPGで遊んでみたいと思います。 VPGを作成するところから。 VP

gitを使っている場合、大きめのcommitをしたり、大きめのリポジトリをcloneしてきたりすると.gitの中がspotlightの検索対象になってしまう。 このせいでmds_storesがCPU喰ってしまう事がある。 心当たりがあれば、以下の方法でspotlightのindexから.gitを除外すると良いと思う。 spotlightの除外の設定は /.Spotlight-V100/VolumeConfiguration.plistに書いてある <key>Exclusions</key> <array/> が対象になる。 plistファイルなので、直接書き換えてもいいが、 defaults で $ sudo defaults write /.Spotlight-V100/VolumeConfiguration.plist Exclusions -array-add 'path/to/ex

Microsoft Azure Advent Calendar 2015 の20日目の記事です。 今回はProject Oxfordを使って三倉姉妹(マナカナ)の判別を行いたいと思います。 三倉姉妹とは？ 三倉姉妹とは、三倉茉奈と三倉佳奈の双子の女優・タレント・歌手です。 通称マナカナと呼ばれている人たちです。 「左がマナで、右がカナ。」という言葉が出来るほどに判別は難しく、人類がこれまで幾度と無く挑戦し失敗し諦めてきた大きな課題です。 準備としては、 まずBing Search APIを利用してマナカナの画像を集め、 blog.tottokug.com Project OxfordのFace APIを使ってかおの画像を切り出しました。 blog.tottokug.com 今日はついにマナカナを判別する所を実装していきます。 実装するは言い過ぎました。実装は特にしません。 Project

Advent Calendar 2015の13日目の記事です。 今うちで動いているCrawlerは数年前に作られたもので、 仕組みとしてはAzureのService Fabricの上でAWSのLambdaを動かしているのと似たアーキテクチャになっている。 そろそろ生まれ変わりの頃かなと思う。 生まれ変わるにあたって、これからのアーキテクチャをどうしようかと悩むわけだけど、 そんな時には過去に遡っていくと次時代へのヒントが転がっていることがよくある。 特に、過去に敗北した素晴らしいアーキテクチャが今の技術であれば一般時にも実現可能になっていたりする。 昔話 昔々世界にはInktomiという会社と AltaVistaという会社があった。 Inktomiという会社はソフトウェア開発会社で、2002年に米Yahoo!に買収されている。 AltaVistaは検索エンジンの会社だったが、2003年にO

はじめに ついに今まで謎にされてきたSORACOMのサービスが明らかになりました。 今までIoTのサービスだということだけを聞いていましたが、それ以外のことは一切謎に包まれていました。 ラッキーなことに事前に使わせて貰っていたので、公開しても良い9/29が過ぎた今日このブログを公開します。 SORACOMって？ SORACOMのサービスは簡単にいうと、IoTのための世界で一番柔軟な通信回線を提供するというサービスだと思ってます。 そんなSORACOMに対して一番興味を惹かれたのはこの一枚のスライドです。 提供：SORACOM 正直AWSでIoTということで、L4以上のレイヤーを想定していたので、まさかL2で!?というのには胸が熱くなります。 柔軟な通信環境と通信料金を設定出来るようになっている事がビジネスの肝になっていそうで、これは今までの通信の世界では破壊的で、CTOの安川さんらしいなと

前回マナカナの画像をBingAPIを使って収集しましたが、 今回はマナカナの画像から、顔だけを切り出して行きます 顔の切り出しをするには、顔の位置を特定してとか色々必要層ですが、 今回はまとめてProjectOxfordのFaceAPIを使います。 Microsoft Project Oxford Face APIs 使うためにはAzureのPortalからMarketplace FaceAPI 後は必要そうな情報をいれて数クリックで使えるようになりました。 Sign Upが完了したら https://dev.projectoxford.ai/Developer にアクセスして、Keyを取得します Keyが取得出来たら後は使うだけで、顔の切り出しが出来るようになります。 カレントディレクトリに写真があるとして、 以下のスクリプトを実行です。 （実行にはjqとimagemagickが必要です

機械学習をやっていると、どうしても、マナカナの画像を集めないといけない時があります。 マナカナの画像を効率的に集めるために、BingのSearch APIを使って画像のURLを取得し、 ダウンロードするようにします。 Bing API のAPIキーを取得する Bing Search API | Microsoft Azure Marketplace 月間5000トランザクションであれば、無料で使えるので、これをつかいます。 5000トランザクションもあれば十分だと思うので、右側にある、0円のものにサインアップします。 次の画面で、「前述の公開元のオファー条件とプライバシーポリシーを読み、内容に同意しました。」 のチェックを入れて、サインアップを押せばサインアップは完了です。 (microsoftのアカウントを持っている事が前提です。) サインアップが完了したら、 サービス エクスプローラー

Hoster (RedWinder::MacApp::Hoster) がYosemiteになってInstallできなくなった。 できなくなった原因は、 Contents/distribution.dist に書かれているVersionチェックの問題。 10.10.x に対して >= '10.4'となっているので、10.10 は10.1扱いで、インストール出来なくなっている。 というわけで、 Contents/distribution.distの7行目のVersionチェックを正規表現でのものに書き換えてあげれば、Yosemiteでも無事にインストール出来る。 - if(!(my.target.systemVersion.ProductVersion >= '10.4')) { + if((my.target.systemVersion.ProductVersion+'').match(/1

あけましておめでとうございます。 タイトルの通りなのですが私のやっていた会社、株式会社マイニングブラウニーは2015年1月1日から株式会社オークファンの100％子会社となりました。 プレスリリース 自分の作った会社だったので、退職とはちょっと違いますが、一つの区切りとして、書いておきたいと思いました。 とりあえず恒例のほしい物リストを http://www.amazon.co.jp/gp/registry/wishlist/3AYKVKHE1C52X 経緯この話をしはじめたのは、そんなに前の事ではありませんでした。 資金調達を考えて、証券会社の人とお話をしたら、その数分後にオークファンの武永社長から情報交換でもどうですか？というお話が直接ありました。 証券会社の仕事が早すぎるなと思っていたら、本当に偶然声をかけてくれたようです。 今後3年間で私がやりたい事をお話し、オークファンの今後やって

この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。 まずはこの画像を御覧ください。 図1 各国のECサイトの画像 Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名、価格を判断出来ましたよね？ それが英語のサイトでも中国語のサイトでも、韓国語のページでも分かりましたよね？ 凄いですね。 人間のスクレイピング能力人間は恐ろしいほどのスクレイピング能力を持っている事が分かりました。 ソースも見ない、タグも見ないで、なんとなく雰囲気だけでスクレイピングしています。 もしこの能力をコンピュータに移植できたら凄いことですね。 もし、先ほどの画像を身の回りのインターネットに一番疎い人に見せてみて下さい。 きちんとスクレイピング出来たでしょうか？ おそらく出来なかった事が多いのではないかと思います。 こんな事させて

クローラー／スクレイピング Advent Calendar 2014の12月20日です。 タイトルに書いてあることが全てではありますが、いちおうスクレイピングするにあたっての事を。 スクレイピングする時のアプローチとして、大きく2つあると思います。 1つは、完全にテキストとして正規表現で抜き出してくる方法。 もう一つが、HTMLをパースしてXPathやそれに似た(CSSのセレクタ)構文で取得する方法。 今回は後者のパースして取得する方法について書きます。 なぜパースする必要があるのか世の中のHTMLは汚い。CMSを使っていたとしても汚い。 タグがグチャグチャです。 グチャグチャのタグの構造からXPathで取得しようとすると、思った動作をしないことが多々あります。 なので、一旦パースをして、きちんとした構造を使わないと痛い目を見ることがすくなくありません。 どのパーサを選ぶべきなのかHTML

## 2017/08/19 追記 jdk 8u144b01からは/jdk/の後に 8u144b01/というようなディレクトリが出来、さらにその下に 090f390dda5b47b9b721c7dfaa008135 というディレクトリが間に入るようになったため、 今までのようにバージョンだけわかっていれば、ダウンロード出来るわけではなくなってしまった。 どうせ,b01とかの部分はURLから調べることになったりすると思うので、 その時に同時に調べれば良いが注意が必要です。 - oracleのJDKはライセンスに同意しないと行けないので、wgetでダウンロードするのツライ。 実際にブラウザでライセンスに同意すると cookieに oraclelicense=accept-securebackup-cookie こんな怪しいやつがいる。 というわけで、このCookieをくっつけて、Download

2014年4月に入った位から、たまにMacbook Airのメモリ(8G搭載)の空きメモリが少なくなってた。 数十Mしかあいてないみたいな 何がメモリを喰っているかと言うとkernel_task こいつが大体2G〜3G位喰ってた。 とりあえず原因探そうと思って、コンソールを起動 ログを見てみると、やたらYorufukurouとesets.sock ESET パーソナル セキュリティ 出版社/メーカー: キヤノンITソリューションズ発売日: 2013/02/07メディア: CD-ROMこの商品を含むブログを見る 確かにたまにYorufukurouを起動した時にだけメモリが逼迫されてた気もする。 試しにYorufukurouを落としてみると、急にメモリが空いた。 Kernel_task : 1.9G位 更に試しにEsetsをアンインストールしてみたら、更にメモリが空いた。 kernel_tas

なんか日本語を機械学習させようと思いました。 自動的に日本語を学習させる方法として、クローリングするかなぁ と思っていたのですが、色々と邪魔な情報もあるので、もう少しきれいなものを集める方法はないかと考えていたところ、 Sendgridが素敵な機能を持っていました。 ※Sendgridの日本語のページ( https://sendgrid.kke.co.jp/ ) Inboud Parse Webhookです。 これを使えば、Sendgridがメールを受信して、それをHTTPでPOSTしてくれるという、最高のサービスです。 しかも、POSTに失敗してもRetryしてくれるというすぐれもの。 これを使って、 色々なメールマガジン => [Inbound Parse Webhook] => [ AWS Elastic Beanstalk ]=> [ AWS Elastic Beanstalk (

はじめに AWS初心者ですが、わからないなりに、SQSという物を調べてみました。 特に重複について 先日SQSのアップデートがあったみたいです。 エヴァンジェリスト 堀内さんのブログにはものすごく大事な事が書かれていました。 ”重要な副作用として、ロングポーリングはメッセージのための全てのSQSホストをチェックします(定期的なポーリングがサブセットをチェックします)。ロングポーリングが空のメッセージセットを返すことにより、未処理のメッセージがキューに存在しないことが確認できます。”これは。。。 SQSの重複を緩和できる可能性が出てきました。 ここからは初心者ながら知ったかぶって書くことにします。 SQSの重複発生の理由の想像 そもそもSQSでなぜ重複が起こっていたかというと、 VisivilityTimeoutになる前にreceiveしてしまったからでは無いかと考えられます。 昔マイスター

CDP Advent Calendar 11日目 クラウドを使うにあたって、EC2をWebサーバに使うことに疑問を感じています。 EC2 Elastic Compute Cloud Computeを提供するサービスなのに、なぜコンテンツを配信なんてしなきゃいけないんだと。 コンテンツの配信はCloudFrontにまかせておけばいいじゃないか。 色々な会社の言ってるクラウドがVPSと区別つかなくなってしまってるのもここに原因があるように思ってます。 と、前置きはこんな所にして、実際に今日提案したいCDPは EC2を使わずに動的なサイトを公開するパターンです。 静的なサイトはS3を使えば簡単にできてしまうので、動的なサイトを。 そもそもなんで動的なサイトをS3に置けないかというと、何かしらの処理をサーバサイドにやらせようとしていたからです。 それを全てクライアントサイドとデータベースでやったら

開発者たちは魔法使いに憧れているんでしょうか PHP Advent Calendar 9日目です。 昨日はPHPerのみんなに知ってもらいたい、PHPの重要なことでした。 今日はまじかるしばりなPHPです。 マジックメソッドとマジカル定数で色々と遊んで見ようと思っていたところになんとタイミング悪く、 名刺サイズのLinuxマシン「Raspberry Pi」が届いてしまい、残念なことに急遽それどころでは無くなってしまいました。 どうしても我慢できなくて、Raspberry Piで遊びたくて、 無理やりPHPにこじつけていじれないか検討した結果、 RaspberryPiでPHPを動かしてみるというのをしようと思いました。 が、、、、 pi@raspberrypi ~ $ sudo apt-get install apache2 php5 pi@raspberrypi ~ $ sudo /etc

SimpleDBの弱点 これまでSimpleDBの弱いと思っていたところそれはオフセットの指定 オフセットの指定が出来ないからページングも、大変でした。 3ページ目のデータを取るには、 select * from domain where nan = chara order by nan limit 100; こんな感じで 1ページ目を取得して、NextTokenを使って2ページ目を取得して、 さらにそのNextTokenを使ってやっと3ページ目を取得する事ができます。 これが15ページ目だったら、、、、 RDBMSなら select * from table limit 100 OFFSET 1400; とやれば良かったことなのに、SimpleDBでは出来ないと言われてきました。 Webサービスで使いたくてもこれのせいで使えなかった人も多いんじゃないでしょうか？ forum でも 同じよ

今回からは運営側として参加のチューニンガソン 準備編 まず一番大変だったのが、テーマの決定 色々話しあって erlangのtwoorlを暫定でテーマに このtwoorlが曲者で動かすためには yaws,ErlyWeb,erlangと難関が待ち構えています。 yaws,ElryWeb,erlangは行けるものの、 どうしても運営側の誰もtwoorlを動かすことに成功できず諦めました。 そのあと出てきたテーマがjavaのCMS　blojsom これが今回のテーマです。 これを動かすまでも結構な苦労が。。。 tomcatをいじったことのない人達が何とか動かすところまでいけたので、とりあえずテーマは確定で その間の試行錯誤（情報がやたら少ないand古いバージョン用のせいで）は大変でしたが、省略。 そして、計測の方法やなにやらを決めて、 実際に自分でチューニングしてみて、チートの可能性を見つけること

Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門 エンジニア選書 作者:永田 祥平,伊藤 駿汰,宮田 大士,立脇 裕太,花ケ﨑 伸祐,蒲生 弘郷,吉田 真吾技術評論社Amazon 「Azure OpenAI Serviceで始めるChatGPTシステム構築入門」は、ChatGPTを含むOpenAIモデルを活用して組織内のシステム構築を行いたいエンジニアやデジタルトランスフォーメーションを担当するリーダー向けのガイドです。AzureのOpenAIサービスを通じてOpenAIモデルにアクセスする基本的な方法から、大言語モデルを統合したアプリケーションの設計に関する洞察までを網羅しています。内容は初心者から上級開発者まで対象とし、ChatGPTの基本的な使用方法、プロンプトエンジニアリング、Azure OpenAIサービスのデプロイ、内部文書検索システムの

昨日のPHPer王子 @shin1x1さんのツイートに誘われてやってきました PHP Advent Calendar jp 2011 3日目 書籍化するの大丈夫なんだろうか。しかもTipsでも何でも無いという。 でも使ってみたかったphpcloud 使ってみた感じを公開したかったphpcloud Zendから発表された phpcloud phpcloud.comは、「Zend Developer Cloud」と呼ばれる開発環境と、「Zend Application Fabric」と呼ばれる実行環境で構成されます。 Zend Developer Cloudは、開発用のサンドボックス機能やデバッグのためのトレース機能、開発者間の情報共有機能などを備えており、無料で提供される予定。 Zend Application FabricはPHPアプリケーションのモニタリングと管理機能を備えており、通常の

更新履歴 2013.8.19 SWFのDomains, Total types per domain. Workflow executions per domain,Desired throttle settings for account の上限緩和 2012.9.25 ConnsolidatedBillingのアカウント上限について追加 (櫻井さんありがとうございます。) DynamoDB,ElastiCache,CloudSearchの制限解除も追加しました。 AWSには間違えて使いすぎゃわ内容に色々上限を設けてくれています。 それでは満足できない人のためには上限解除の申請が出来るものもあるのでそれを一覧にしてみました。 上限解除と言ってもどこまで解除できるかはわかりません。 サービス 制限 英語版フォーム 日本語版フォーム CloudFormation 最高20までの AWS Cl

7/9に開催された、チューニンガソンに参加してきた グルーポン・ジャパンCTOの山路氏(@yamaji)とペア 事前に準備してた事 +マスクを注文 +課題の推測 +各種ミドルウェアを何パターン化でコンパイル 当日に課題と審査方法が発表 Webアプリケーションはwordpress コメントをabでPOSTする。1000回 20同時接続で、 Wordpressはいじっちゃだめ OSとかミドルウェアそのへんはいじっておｋ ***やったこと +MySQLを同じタイプの別インスタンスでコンパイル +PHP5.3.6 普通にコンパイル +Apache2.2 コンパイル +PHP5.3.6 mysql_connectをmysql_pconnectにしてコンパイル +mysql_connectを戻してコンパイル +PHPAPC入りコンパイル +パラメータチューニングも色々と 事前にコンパイルしておいたもの

#AWS77で多い 課金情報取得のAPIが欲しいというのがあって、 自分も欲しいと思ってた。 ソースコードと、コマンドラインツールと、jarファイルをひとまとめにしたものはこちら。 google codeはこちら http://code.google.com/p/aws-account-activity/downloads/list AWS SDK for Java が Apache 2.0 licenseらしいので これのLicenseもApache2.0 で ライブラリは AWSSDKforJavaが必要です。 あとそれに付いてる3rdpartyなライブラリ達(多分HTTPClientしか使ってない) 使い方 Javaから使う ActivityClient ac = new ActivityClient( new MailPassAWSCredentials(mailaddress,