今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと

2013年も本日で最後となりましたが，いかがお過ごしでしょうか．まだ掃除も終わっていないのでこんなエントリを書いている場合ではないのですが，整理のためにも書いておきたいと思います． 最近，自分のキャリアについて考えることが多くなってきました．現職についてあと3ヶ月程度で丸6年となりますが，年齢においても，生活においても，職業人としての到達点においても最近一つの区切りを迎えたということがあり，これまでを振り返って今後の方向性を検討する時期にあるように思っています． そんな中で何冊かキャリアに関する本を読みましたが，自然言語処理分野の研究者としていささか考えさせられるものがあったのは『10年後に食える仕事、食えない仕事』という本です．この本の要点は日本人メリットを活かした仕事をすれば食いっぱぐれない，というある意味では素朴（かつごく妥当）なものですが，興味深いのは数ある職業を 1.技能集約的か

クリスマス・イブ前日 @cocodrips :「暇だから明日はっかそんしよう」 @a_yagitter @mogumogu_panT 「やろうやろう！」 (10人くらいかけたけど2人しか釣れなかった) Xmas Contestに参加した Xmas Contest 参加したといっても、16時半くらいからみんなでA問題をわいわい解いてただけ。 １回もSubmitしてないので参加したとは言えないかな。 プロコン初挑戦の子もいたので、 グラフ問題の解き方をみんなでお勉強したりしました。 1問も解いてないし、物足りない なんかみんなしようよ！ってことで、 Twitterクライアントを作りながら、Python入門することにしました。 pipのインストールから、Pythonでのクラスの作り方を講義して、 tweepyを使ってコマンドラインからツイートできるものを作りました。 参考URL: API Ref

cakesは2022年8月31日に終了いたしました。 10年間の長きにわたり、ご愛読ありがとうございました。 2022年9月1日

cakesは2022年8月31日に終了いたしました。 10年間の長きにわたり、ご愛読ありがとうございました。 2022年9月1日

cakesは2022年8月31日に終了いたしました。 10年間の長きにわたり、ご愛読ありがとうございました。 2022年9月1日

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに こんにちは、Go界のティム・バートンです。今年もついにあと1日となりましたが、みなさんいかがお過ごしでしょうか。ところで私事ですが本日誕生日を迎えました。 Amazon.co.jp: : とんぷーリスト 関連エントリ 今年で１年の振り返りエントリも7年目になるようです。年を取るわけですね。 YAMAGUCHI::weblogの2007年を振り返る - YAMAGUCHI::weblog YAMAGUCHI::weblogの2008年を振り返る - YAMAGUCHI::weblog YAMAGUCHI::weblogの2009年を振り返る - YAMAGUCHI::weblog YAMAGUCHI::weblogの2010年を振り返る - YAMAGUCHI::weblog YAMAGUCHI::weblogの2011年を振り返る - YAMAGUCHI::weblog YAMA

It seems like the 2012 most popular list was written only yesterday, but 2013 has already come and gone. This year has been another excellent year at Office Snapshots for a number of reasons. Let’s take a look back at what has happened: Featured 337 Offices Added the Designer Index Added Square Footage & Completion Year to the Browse Area Added a Products Section Added Office Collections – allows

なんか時空がすごく歪んで申しわけないんですけど闇 Advent Calendar 2013です。 闇っぽいこと二週間以上いろいろ考へてたら全然まとまらなくって長文を何度も書いたり消したりしてたら生活に支障をきたしてる感じがしたので、気分転換に架空の契約書と注文でも書いてみたら結構楽しかったのです ヾ(〃＞＜)ﾉﾞ☆ 契約書は著作物?｜著作権 侵害・違反を考えるで紹介された判例によれば、土地売買契約書の記載内容は、思想又は感情を創作的に表現したものであるとはいえないから、著作物ということはできないらしいですよ。へー。 僕は善良な市民だから、いたいけな若者を相手にこんな阿漕な契約を結ぶ会社が実際に居るのかよく知らないんですけど、みなさんは真似しちゃだめですよ ヾ(＃＞＜)ﾉﾞ 最後に労働者派遣事業の適正な運営の確保及び派遣労働者の保護等に関する法律を貼っておきますね。 第二章 労働者派遣事業の

bind main G !@hub browse -- commit/%(commit) bind diff G !@hub browse -- commit/%(commit) 上を~/.tigrcに書いておけば，tig起動中にGを押したとき，選択されているコミットに対応したgithubのコミットページをブラウザで開いてくれる．hubコマンドについてはGitHubユーザーのためのhubコマンド - Qiitaの記事をどうぞ． デフォルトではGはgit gcに割り当てられていて意味がわからない(たまに間違えて押してしまう)ので潰しておく． !@hubの@は出力を捨てる(つまりtigの再描画を避ける)意味がある． 参考 tig/tigrc.5.txt at master · jonas/tig

野生生物のドキュメント映画監督John Downerによる撮影チームは、特殊なスパイ撮影を行い世界ではじめてこの行動をカメラに収めることに成功した。映像はBBCのイルカドキュメンタリーの一部だ。 非常に知的で優しい海洋を泳ぐ哺乳類として知られている“イルカ”。そのイルカが有毒のフグに噛みつき、その毒によって麻薬のような効果を得ている光景が特殊なカメラによって撮影された。 　 「イルカたちは非常に優しくかつ繊細にフグに噛みつき、その毒による効果を得ていた。」 動物学者でありこのドキュメンタリー番組のプロデューサーであるRob Pilleyは、その撮影された映像について語る。 「彼らは一匹のフグを殺さないよう慎重にかつ意図的に噛みつき、それを20〜30分の間数匹のイルカで交互に渡しながら遊んでいるようにみえた。」 勿論、イルカであってもフグの毒を過剰に摂取してしまえば死んでしまう。しかし、微量

年末emacs設定大掃除をして、これは捨てられないと思った設定書いてく - $shibayu36->blog; 昨年に引き続き、2013年の自分のemacs.dを振り返るのをやろうと思います。 今年はemacsでいろいろできるようにする、という方向よりも、emacsでの基本操作をどれだけ使いやすく出来るかということを中心にやって来ました。例えば .emacs.dの管理をどうするか コードリーディングや編集を速くするにはどうするか gitとの連携をどうやって簡単にするか この辺りについて１つずつまとめて行きたいと思います。 .emacs.dを管理する .emacs.dの管理って難しいですよね。僕も関西Emacsに参加してから自分が最新のやり方についていけてないなと感じたので、今年はいろいろと見なおしてみました。 基本的なやり方としてはこんなかんじです。 外部elispはpackage.elと