人間にはわかるのに、なぜ機械にはそれがわからないのか。A.I.とスクレイピング - かれ4
この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。 まずはこの画像を御覧ください。 図1 各国のECサイトの画像 Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名、価格を判断出来ましたよね？ それが英語のサイトでも中国語のサイトでも、韓国語のページでも分かりましたよね？ 凄いですね。 人間のスクレイピング能力人間は恐ろしいほどのスクレイピング能力を持っている事が分かりました。 ソースも見ない、タグも見ないで、なんとなく雰囲気だけでスクレイピングしています。 もしこの能力をコンピュータに移植できたら凄いことですね。 もし、先ほどの画像を身の回りのインターネットに一番疎い人に見せてみて下さい。 きちんとスクレイピング出来たでしょうか？ おそらく出来なかった事が多いのではないかと思います。 こんな事させて
切断された北朝鮮インターネットの規模:Geekなぺーじ
Dyn Research(旧renesys)が、約9時間半にわたり北朝鮮がインターネットから切断され続ける状態が続いていたというブログ記事を公開しています。 Dyn Research: Someone Disconnects North Korea - Who? 同記事では、実際にどのような理由でインターネットの接続性が不安定になったのかは不明であるとしています(BGPmonは、DDoS攻撃が原因であるとしています。参考)。 公開情報からわかる北朝鮮インターネットの規模 各種公開情報から、北朝鮮がどのような規模のネットワークを運用しており、どうやってインターネットに接続しているのかを見てみましょう。 まず、最初に、どれだけの数のネットワークが「北朝鮮」という国籍でインターネットに接続しているのかを調べてみましょう。いくつか調べる方法はありますが、今回はわかりやすく情報をまとめてあるHurr
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目）
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目） この記事はPython Advent Calendar 2014 – Qiita 23日目 兼 アライドアーキテクツ Advent Calendar 23日目の記事です。 こんにちは。関根です。 最近は社内の有志でPythonの勉強会を開いたり、 また定期的にPythonもくもく会などを開催したりしています。 Pythonもくもく会はおかげさまで順調に回を重ねており、つい先日３回目が終了しました。 また来月も開催予定ですので、お時間の合う方のご参加をお待ちしています。 Web業界をはじめとして他の業種の方や、専門分野の異なる方も参加するゆるい会になっていますので、気兼ねなく参加できると思います。（初心者の方も大歓迎です！） はじめに PythonでWe
【超速報】『絶体絶命都市』シリーズ再始動へ！！グランゼーラがついに版権を取得 : はちま起稿
「絶体絶命都市」の版権をグランゼーラがアイレムから取得したことが判明 これにより今後グランゼーラがシリーズ開発を行うことができる。 2011年春に発売予定だった「絶体絶命都市4」は震災の影響で発売中止となり、 主要開発メンバーがアイレムから新会社グランゼーラへ移っていったという経緯があった。 グランゼーラの九条一馬氏「時間がどれほどかかっても粘り強く、決して諦めずに進めてまいります」 秋に発売発表予定らしい 追記：発売予定ではなく発表予定でした。大変失礼しました。
Spark StreamingをAmazon EC2で使ってみた - Qiita
この記事は ドワンゴ Advent Calendar 2014 の23日目の記事です。 昨日は hiroki_kanaさん でした。 最近、Sparkというソフトウェアがデータ解析界隈でこれからくる計算基盤になるのではと注目を浴びています こいつを使って、ちょっと簡単なTwitterネガポジ分析をしてみましょう TL;DR sparkは比較的新しい分散処理基盤 その中にStreamを扱うライブラリがある ec2で手軽にクラスタを組んで試せる ec2でspark streamingを使って、ドワンゴに関する文字で検索した結果からネガポジ分析してみた Sparkって何？ 最近Scala界隈だったりデータ分析界隈で賑わっている、比較的あたらしい分析処理基盤になります http://spark.apache.org/ このページを見ると、一番上にこう書いてあります 100倍ってちょっとどういうこと
プログラミングを教えるということ - ほとラボ
Perl入学式 Advent Calendar 2014 22日目の記事です。 昨日の saisa6153 さんの「なぜプログラムを書くのか」 に続き、スピリチュアルな話(？)をします。 自分のはなし 僕は papix校長 の同僚で、 ときどきPerl入学式のサポーターをやっているしがないWebエンジニアです。 プログラミング歴はそこそこ長く、Perl に出会ったのは CGI.pm と jcode.pl で BBS を作っていたような旧石器時代でした。 しかしつい最近まで PHP や Ruby にハマっていたためすいぶん長いこと Perl には触れておらず、 モダンPerl を知ったときはあまりの変わりっぷりに驚愕した覚えがあります。 どこかに忘れてきた初心者の感覚 今でこそWebエンジニアとしてお給料をもらえるほどになれたものの、 なんだかんだでWebアプリケーションを作るというのはとて
私のJavaScript情報の集め方 - Qiita
ちょっと趣向を変えてJavaScriptの情報をどうやって集めているかという話を書きたいと思います。 使っているもの Twitter RSS(feedly) Pocket はてブ TwitterはただフォローしてTL見ていたり検索してたまに見ているだけでリストを作ったりはしてなくて暇な時に見ている感じです。 RSSはこれから紹介するようなサイトとかこの人のブログ面白い！というものだけを登録しています。未読が100件増えると消化する気がどんどんなくなっていくので...。 PocketはTwitter、RSSで気になったものを後で読むためにとりあえず突っ込むのに使っています。 こうすることでRSSはすぐに終わるので、その後で時間があればPocketで読みます。 Pocketに溜まった記事はちょっとした合間に読んだりしていて、たまにまとめて読んだりして消化しています。 今見ると20件くらいあるの
今年50のゲームを作って分かった面白いゲームを作る方法 2014-12-23 - ABAの日誌
なんてのは無いということが。 I Have Created 50 Games in 2014 (http://www.asahi-net.or.jp/~cs8k-cyu/blog/2014/12/12/games-in-2014/) 作ったものは上のページにまとめた。全ゲームのスクリーンショットがアニメGIFになっていて、クリックすればそのゲームが遊べる。個人的な意見としては、左上の方が楽しめて、右下のほうが退屈できます。 すべてブラウザで遊べる昔ながらのミニゲーム。半分Flash、半分HTML5。HaxeとCoffeeScriptで書いた。ソースも置いてあります。 1年で50作れば年の終わり頃には余裕で面白いゲームを狙って作れるようになるかなあと思ったけど、脳内で面白そうと思ったゲームが実際に作るとひどくつまらないということは相変わらず多発するので、やはりイケてるゲームを作る簡単なセオリ
Ansibleを使ったことない人に、ゆるくAnsibleを紹介してみた - kk_Atakaの日記
はじめに この記事はAnsible Advent Calendarの23日目の記事です。 今回は、Ansible(というか構成管理ツール全般)を知らない人向けにゆるくAnsibleを紹介してみたので、報告します。 12/17のKawasaki.rb+αでの発表です。 発表者の構成管理ツール歴 Ansible 軽く2, 3回Playbookを作った程度 大勢にバラまくのはやったことない(2台くらい) Chef Chef系の本を買っていろいろ試したことはある けど、小さい規模で使うにはオーバースペック感、縛りがきつい環境で使うには政治が必要で、けっこうくじけた Chefがつらい人のためのAnsibleのはなし - ゆううきブログ もうちょっとシンプルに行けそう 聴講者の構成管理ツール歴 初見の人 Chef使ったことある(聞いたことある)人 Ansible使ったことある(聞いたことある)人 上か
宇宙船ローグライク『FTL』のゲームデザインは何故こんなにも美しいのか – もぐらゲームス
今回紹介するタイトルは『FTL: Faster Than Light』（以下『FTL』）だ。 『FTL』は、1機の宇宙船を操って敵宇宙船と戦いながら冒険するゲームだ。ジャンルでカテゴライズするならば「ローグライク＋ストラテジー」になるだろう。既に数多くの賞を受賞している作品であり、かつユーザーの評価も非常に高い。もちろん筆者も（わざわざ記事を書きたくなるくらいには）強くオススメする一本だ。 「死んだら全部失う」「厳密な損得勘定が必要」「一発逆転の要素がない」「そもそも難易度が高め」など色々厳しめのバランスとなっており人を選ぶかもしれないが、非常に優れたゲームであることは間違いないので、そういったゲームを好む方にはオススメだ。また、何より非常に斬新なゲームなので、最近のゲームに飽き飽きしているような方なら「こんな記事なんて読まず今すぐポチってきなさい」と言ってしまいたいくらい、強くオススメし
所ジョージの金言集 2014 - てれびのスキマ
2014年、所ジョージは例年以上にアグレッシブだった印象があります。 もちろん確固たるレギュラー番組があり、いずれも盤石。 それ以外に今年は、僕が見ただけでも4月2日の『ホンマでっか！？TV』を皮切りに、4月12日の『SWITCHインタビュー達人達』、10月8日の『ナカイの窓』、10月17日の『A-Studio』、10月30日の『櫻井有吉アブナイ夜会』、11月1日の『サワコの朝』、12月6日の『渡辺篤史の建もの探訪』、そして12月に数週にわたって放送された『ももクロchan』、さらにラジオでも8月27日の『大谷ノブ彦 キキマス』と数多くの番組にゲスト出演していました。 所ジョージ ゴールデン☆ベストposted with amazlet at 14.12.21所ジョージ バップ (2011-05-18) 売り上げランキング: 5,345 Amazon.co.jpで詳細を見る 『A-Stud
暮らしの情報サイトnanapiはサービスを終了いたしました | nanapi [ナナピ]
2020年8月31日(月)をもちまして、nanapiに関わるすべてのサービスは終了いたしました。 nanapiは、2009年のサービス開始より「みんなで作る暮らしのレシピ」という考えのもと、ユーザーの皆さまに生活に関する様々な「ハウツー」を投稿していただく投稿型ハウツーサービスとして運営してまいりました。 約11年間にわたって皆さまからご支援をいただきサービスを継続できたこと、nanapi編集部一同、心より御礼申し上げます。 掲載されていたコンテンツなどのnanapiについてのお問い合わせは、nanapi@supership.jp までお願いいたします。 長きに渡りnanapiを応援してくださり、本当にありがとうございました。
![暮らしの情報サイトnanapiはサービスを終了いたしました | nanapi [ナナピ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/414b696db0e4d27f36085f2a7898f8b79c921bcc/height=288;version=1;width=512/https%3A%2F%2Fimage.nanapi.com%2Fr%2F2014%2F12%2F09%2F16%2F20141209163255_5486a5a79bd06.jpg)
プロ野球イケメン選手 金子侑司
プロ野球で人気選手が集まると、イケメン選手が多いです。その中の一人が金子侑司です。彼は1990年生まれの京都府出身で、所属は埼玉西部ライオンズになります。彼は子供のころから京都のリトルリーグで活躍をしており、大学時代に関西学生リーグの選手として選ばれているほど活躍をしている選手です。 遊撃主として活躍しベストナインに選ばれていいる記録がある選手です。彼の特徴は足が速い事で、入団当初の計測で50メートル走でトップの記録があります。また遠投で右だけでなく左でもかなりの記録があるのが特徴です。プロ野球に入ってからの記録では2016年にその足の速さをいかして盗塁王になっています。 また記録だけでなくその顔が某人気俳優に似ていると言われるほどイケメン選手として人気がある選手の一人です。金子侑司は人気選手として同じチームの中でも若い女性を中心に人気があり、彼の話題がニュースになる事がしばしばある選手で
プロダクション環境でElasticsearch+kibana(fluentd)でログ可視化運用をしてみてわかった事 - shnagaiの日記
これは Elasticsearch Advent Calendar 2014 22日目の記事です。 今回は、プロダクション環境で、流行りのFluentd+Elasticsearch+Kibanaでログ可視化というのを数ヶ月やった中で苦労した点とかはまった点を書いてみます。 というか、書き終えて思うとこれからやる人はここに気をつけた方がいいというような内容になってしまったので、既に運用されている方にはあまり役に立たないかもです。。 内容は、大きく下記3つです。 ①集計(検索)の条件を考えてtemplateでnot_analyzeを指定しておく ②スキーマ変更があるindexは、日単位でindex作るべし ③数値型フィールドの罠(Fluentd寄りの話) 前提として、この流れで収集しているのは下記4パターンのログ達。 ・Apache accesslog ・Apache errorlog ・Ap
３２歳無職が３ヵ月でSNSサービスを作ってみた - 無職の流儀
2014年がそろそろ終わりを迎えますが、 無職のおじさんがSNSサービスを作ってみました。 FLGMAP FLGMAPは行った場所を記録するWebサービス 【もくじ】 ・自己紹介 ・SNSを作成したきっかけ ・サーバーなどの開発環境 ・開発工程 ・サービスをリリースしてから今の現状 以上、素っ気ない内容でお届けします。 【自己紹介】 無職になる前に約２年ほどWeb開発をしていましたが、 何か新しいことに挑戦したい想いで会社を辞めました。 Web開発で利用していたプログラミング言語はマイナーな言語です。 Java,C,C++,C#,PHP,Python,Ruby等は仕事で一切利用していません。 前職のWeb開発の仕事内容は、 ディレクション、仕様書作成、プログラミングなど よく分かりませんがSierと呼ばれる職業のようです。 前職のサービスの規模は約数万人 開発はわたしがほぼひとりで担当 【
2014年に購入してよかったもの(Ingress編) - wasabi0522's blog
この記事は Ingress Advent Calendar 2014 - Adventar の22日目のエントリーです。 こんにちわ、Enlightenedの@wasabi0522です。 本日は、私がIngressをプレイするに当ってリアル課金購入したものを一部ご紹介します。 まずは自己紹介を @wasabi0522 Enlightened所属、Lv11 Ingress歴は来年の1月上旬で丁度1年です。 実際に購入したもの 自転車 GIANTのESCAPE Airを購入しました。前々からほしいとは思っており、休日1日6時間以上Ingressのために歩き続けるのが辛かったので購入しました。結果、休日1日に10時間以上自転車で走り回ることになりました。 モバイルバッテリー Anker Astro3 第2世代 12000mAh 大容量 モバイルバッテリー iPhone5S 5C 5 4S / i
最弱のHadoopクラスタをRaspberry Piで構築する - もょもとの技術ノート
はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃないですか。でも、手元に物理的な筐体がないと物足りないんですよね。なんだろ、これ。 サーバー自作は最後まで考えました。CPU何にするかまで考えました。でも、物理的に大きなものが、我が家に存在すると、いろいろ問題があるのですよ。奥様的に。で、却下。 インテルのNUC欲しかったです。でもSSDとか電源とか別途購入する必要があり、結果的にコストオーバー。 んで、消去法で、Raspberry PiでHadoopクラスタ組んでみることになりました。 ゴールはNameNode、DataNode、ResourceManager、Nod
Pythonのsocketでプロセス間通信をして価格データ等を送信する
どうも、お久しぶりです。キリンです。 取り敢えず1ヶ月ほど、連続でブログの更新を続けてみたのですが、それ以降更新が途絶えてしまっていました。本業（FXの運用）のほうが今鳴かず飛ばずなので、なんとか盛り返そうと頑張ってます。 その中で、どうしてもプロセス間通信(IPC, Inter Process Communication)をしなければならない事案に遭遇してしまったので、忘備録も兼ねてPythonでSocketを使ったプロセス間通信の方法を調べる際に学習したことと、実際に作成したプログラムをご紹介します。きちんとTCP/IPの通信について勉強したわけではないので、間違った理解、解釈があるかと思います。その際はご指導いただけると助かります。 プロセス間通信がしたい Linux上でしか動かないPythonライブラリ Linux上でしか動かないPythonのライブラリをどうしても使いたいという事
render massive amount of cubes in Unity (2) - primitive: blog
以前 検証した Unity で大量の cube を描く方法の続きです。あれからまたいくつか検証を重ねてきたのでまとめておこうと思います。 まず前提として、今回解説する方法は全て Graphics.DrawProcedual() を使うアプローチです。以前の記事を書いた時点では気づいていなかったのですが、Graphics.DrawProcedual() を使うと instancing 描画ができます。 残念ながらこの API、現状 OpenGL 系のプラットフォームでは使えません。つまり Android & iOS では使えず、PC でも Windows のみとなってしまいます。しかし近い将来いろんなプラットフォームでサポートされていくはずです。(近年のモバイルデバイスはハードウェア的には既に instancing 描画をサポートしています) この Graphics.DrawProcedua
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 事例から学ぶ情報セキュリティ――基礎と対策と脅威のしくみ (Software Design plus): 中村行宏, 横田翔: 本
http://mono-tech.com/news/8426/