今回ガイアックスでは、AnyEventとAmazon EC2を使ったWebサイトのクローリングツールを作成しました。発表では、これらの技術の基本的な使い方から、EC2を利用するメリット、設計のコンセプトなどについてお話できればと思います。 Read less
#include "EXTERN.h" #include "perl.h" #include "XSUB.h" MODULE = Foo PACKAGE = Foo SV* hello(SV *sv) CODE: SV *message = newSVpv("Hello, ", 0); sv_catsv(message, sv); RETVAL = message; OUTPUT: RETVAL
This document describes the architecture of a Twitter scraping application. It uses Gearman for asynchronous job processing to fetch Twitter data from the API or stream. Workers register fetch jobs and process the requests. The application includes modules for the CLI, reader, and streaming components and uses JSON and LWP libraries. It retrieves tweets and stores them in a database for analysis.R
先日開催されたYAPC::Asia TOKYO 2010に参加してきました。 弊社も今年からJPAへの加入、YAPC::Asia TOKYOへのスポンサーなど少しずつですが、可能な限りPerl界隈にコミットを初めています。 自分自身も今年Hokkaido.pmを設立した事からperl-casual枠で「地方PMディスカッション」に参加させて頂きました。 弊社ではこういったトークへの参加は今まであまり活動がなかったのですが、今後もどんどん活動を行う予定ですのでご期待ください(個人的にはMTネタをどこかでやってみたいですね)。 *地方PMについて詳しくは自分の個人ブログにも書いていますのでそちらを参照下さい。 自分がみたトークでは@nekokakさんの「省サーバ運用」が非常に参考になりました。 弊社では大きな案件を扱う事も多いですがサーバ1000台はさすがにありません。 また自分自身も前職が3
去る 2010/05/15(Fri)-16(Sat) に東京工業大学大岡山キャンパスにて行われた Perlハッカー達の バカ騒ぎ 祭典。 YAPC::Asia Tokyo 2010 に参加してきました。 今年も参加者のPerlに対する熱い思いを感じられる良いYAPC::Asiaであったと思います。 代表の941さんを始め運営の方々、スタッフの方々、 今年も開催場所を提供してくださった東工大、 各スポンサー会社、 ゲストスピーカのLarry, Jesse, Miyagawaさん、 一般トークのスピーカの方々、そして一緒にあの楽しい場を作り上げたみんなにまずは感謝。 後、快く(?)行かせてくれた嫁にも感謝。 気になったセッション等は以下 今年の全体的なトレンドは Plack/PSGI と perlbrew+cpanm かな。 まぁ多分今のところWindowsユーザはperlbrewをまともに使
YAPC::Asia 2010 おつかれさまでした! 今年のYAPCは去年のPlack/PSGIのときみたいな目新しいトピックはあまりなくて、この一年でわりと成熟したPerlの開発環境や、ふだんブログなどでは表に出てこないようなサービス運用の舞台裏的なセッションが面白かったです。 そのへんのレポートは詳しいのがいっぱい上がってるのでそちらを参照してもらうとして、僕がYAPCに参加して感じるのは、発表とかは後でスライドや動画が公開されて内容わかるかもしれないけど、その場のおまつり的ムードというかLTちょー面白くてみんなで爆笑したり拍手したりとか天気がいいから芝生で餃子食べながらみんなでビール飲んだりとか Miyagawa rocks だったりとか、そういうのってその場にいないと味わえないことで、そういうおまつり的な感じがYAPCのいいとこだなーと思います。 今年のYAPCも楽しかったです。J
YAPC::Asia2010 の発表資料、動画が面白いので、まとめ。 YAPC=Yet Another Perl Conferenceは、その名のとおりPerlのイベントです。PHPで言うならPHPカンファレンスにあたるでしょうか。(違ったらごめんなさい) Perl のイベントということで特に気にしていなかったのですが、先日行われたYAPC::Asia2010の発表資料を見ると PHPer が見てもかなり面白いです。もちろんPerlならではの発表もあるのですが、言語を問わずWebシステム開発をするなら参考になる内容が多くあります。 Perl だから、という理由だけで避けるのはホントに勿体無いので是非見てみて下さい。 PHPerにオススメな発表 PHPユーザの自分が見て面白かった発表です。リンク下にある一言は自分が面白いと思った点で、要約では無いです。内容は各発表を見てみて下さい。 ソーシャ
About Profile Name:小林 晋也 北海道帯広市出身、株式会社スカイアーク・株式会社ファームノート 代表取締役。 Facebook Twitter Youtube Linkedin RSSフィード MENU ホームに戻る 技術 Facebook Movable Type Salesforce iPhone 技術動向 経営日記 Farmnote イベント スカイアークの出来事 新年 日記 考え方 製品 起業した理由 趣味・日常 BNR32 GT-R LEGACY B4 Macbook Air Xperia おいしい物 ギター ミッフィー ラーメン 焼肉 自動車 音楽 10月15日・16日に開催された「YAPC::Asia TOKYO 2010」。 私はエンジニアではないのでプログラミングはできないし、そもそもPerlもかけません。 今年はスカイアークシステムとしてJPAへの加入
まず、スタッフの方々ならびにボランティアの方々に感謝したいと思います。おつかれさまでした! とてもすばらしいカンファレンスになったと思います。発表者の方々もおつかれさまでした。トークのひとつひとつが濃い内容で、大変楽しめました。特にすごかったのがLTですね。爆笑もののネタ発表に見えても、ちゃんと実装して動いているっていうのがすごいです。そしてスポンサーの皆さんもありがとうございました。ノベルティーではGaiaXさんのミネラルウォーター大変助かりました。東工大キャンパスも広々とした芝生や百年講堂3Fのホールなどくつろげる場所がたくさんあっていいですね。 今回再認識したのは、やっぱりコミュニティーの力はすごいということです。誰かが何かをやりはじめると、みんなでよってたかって良くしていっちゃう。去年はまだPlackってのを初めたよ、みたいな感じでしたが今年はすっかり定番になっていたし、2日目のL
先日のYAPC::Asia Tokyo 2010でLTをしてきたWerlとwwencodeについて簡単にですが書いてみます。 YAPC::Asia 2010 dameninngenn YAPC::Asia Tokyo 2010 に行ってきた :ダメ人間オンライン きっかけ 今年の夏に開催されたLLTigerにてPythonライクなRubyとRubyライクなPythonであるPubyとRhythonを実装したというLTを見てすげー笑いながら感動したのが始まりです。 LLの虎 準決勝: 殺伐Python - 「タイガー&ドラゴン」 - muddy brown thang (moriyoshiさんのLTの資料見ていただけるとわかると思いますが、私のLTの一枚目を「はい」としたのはmoriyoshiさんのスライドのパクリです。スイマセン><) また、同夏に開催されたRubyKaigi2010でGo
初めて YAPC に参加してきました。YAPC というのは Perl というプログラミング言語を本当に愛する人達が 集まるカンファレンスです。と言っても、きっとエンジニアじゃない人には分からないんでしょうね、 趣味や仕事で使ってるとあるツールが好きだというだけで金曜土曜を潰してわざわざお金を払って集まる意味は。 僕は 4 月に MySQL Conference にも参加してきましたが、本当にこういう「I love 〇〇」なカンファレンスは その一体感、楽しさ、心地良さ、知的な刺激、どれを取っても夢の様な場所です。カンファレンスの間はずっと、 ずっとこのカンファレンスが終わらなければいいのに、と思ってしまいます。 僕はインフラエンジニアになってまだ 1 年半のペーペーで、開発経験なんか皆無に等しいので 正直ついていけるか不安でしたが、杞憂でした。それはきっと僕も Perl が大好きだからです
YAPC::Asia 2010 - Thank You! 気づいたら 9/26からブログかいてねぇよ。忙しかったのだな・・・ というわけでYAPC::Asia Tokyo 2010もようやく終わりました。今さっきスピーカーの皆様にメールを書いたので、あとはいくつか支払いをすればだいたい終わりかなぁ、っていう感じです。 まずは来場していただいた皆様ありがとうございました。今回は「初心者の俺でもいいんだ」「Perl使いじゃないけど、いいんだ」と言ってくれる人が結構いたようで、大変嬉しい限りです。そうです、YAPCはPerl好きのほうが楽しめますが、Perlが好きじゃなくても全然問題ありません。 前回2009ではブレーンが俺一人で、しかも開催二日前に39度の熱を出すというへたれっぷりを発揮して方々に迷惑をかけまくりましたが、今回は @941さんと業務を分けられたので大変助かった。今年は少なくとも
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
すっかり秋になりましたね。皆さん美味しいもの食べてますか? DeNA では Perl を使っているのは周知の所ですが、先日行われた YAPC Asia 2010 にもスポンサーとして協賛し、また LT も含めてスピーカーとしても何名か参加しております。今回はそれぞれの発表について簡単に紹介し、また各スピーカーのスライドを公開しているブログエントリのまとめです。 ソーシャルアプリ向けシステム監視運用の勘所 - Tatsuro Hisamori エントリ YAPC::Asia 2010 でソーシャルアプリのシステム監視運用について Talk してきました このセッションでは モバゲーオープンプラットフォーム のインフラエンジニアであるプラットフォーム統括部システムグループの久森さんが、 実際の運用上で得て来た知見を活かして特に(モバイル向け)ソーシャルゲームを作る際にどういった点に留意すべきか
DeNAのエンジニアがYAPC Asia 2010で発表した資料がまとめて公開されています Tweet 2010/10/21 木曜日 matsui Posted in 記事紹介・リンク | No Comments » DeNAのブログに、DeNAのエンジニアが先日行われた「YAPC Asia 2010」で発表した資料がまとめて公開されていたのでご紹介します。 → Technology of DeNA – DeNA and YAPC Asia 2010 [engineer.dena.jp] 「YAPC Asia 2010」は、10月の15・16日に行われた、Perlの国際的イベントです。 上記の記事では、DeNAのエンジニア3人分の発表資料が公開されています。 個人的に特に興味深かったのは、Tatsuro Hisamori氏の「ソーシャルアプリ向けシステム監視運用の勘所」というインフラエンジ
YAPC::Asia2010で発表させていただきました。YouTubeで動画アップされているので見ることができます。 結構スピリチュアル系な発表だったんですが、想像以上に多くの方に見ていただけたのですごく嬉しかったです。 個人的にはPerlで仕事をするといいことがあったよと、夢を与えられるように開き直って話せたような印象です。 発表後に@yusukebeさんや、@itoh_bmarkさんやAcme大全の作者の@maka2_donzokoさんによかったよーって声掛けてもらえたりしたのが嬉しかったです。 海外の方でキレイな日本語を使われるエンジニアの方にも褒めてもらえた事もすごく嬉しかったです。 あとは海外ゲスト陣の@sartakさんや@c9sさんや@gugodさんにもお話しできました。 話の内容はperlじゃない話ばっかりだったけど、久しぶりにお会いできて嬉しかったです。 実際のところ、発表
リクエストを 5000/sec とかするときのための 200/secでよければ別にLWP使ってればいいよマジで、実際便利だし。 非並列なhttpアクセス LWP::RobotUA robots.txt見たりするので行儀が良い URI::Fetch キャッシュとかする、インターフェースがいい HTTP::Lite 依存モジュールなし、どこでも使えるよ LWPx::ParanoidAgent ローカルIPは弾く、WEB魚拓的サービスに 並列なhttpアクセス AnyEvent::HTTP 簡単 Coro::LWP コルーチン、黒魔術(なにをしてるか理解して使おう) AnyEvent::Curl curlのオプションを覚えなくてはダメ Coro::LWPはLWPをcoro使用に全て置き換えるから注意。 coroそのものを知りましょう Curlって cURLのこと、Cpan記法だからCurlだけど
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く