k-holyのブックマーク / 2012年8月9日

k-holy id:k-holy

2012年8月9日のブックマーク (6件)

mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です．このブログではお馴染みのたんぽぽグループですが，"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています．今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における「刺身の上にタンポポをのせる仕事」をどう減らすかの２点について書きます． mixi の解析基盤まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
k-holy 2012/08/09
mixi

hadoop

hive
リンク
FizzBuzzより人の話を聞かない人のほうがいらないです | White scenery @showyou
まず議論の前に、fizzbuzzをpythonで書いてみました。エラー処理は入れるべきだけど本題から外れるので入れてないです。 https://gist.github.com/3299077 muo-notes: 職業プログラマがFizzBuzz書けない理由 http://www.muo.jp/2012/08/fizzbuzz.html FizzBuzz 問題どや顔で解くひとなんかよりも “KEN_ALL.csv” をうまく扱える人の方が社会的貢献度高いhttp://togetter.com/li/352382 職業PGにわかるFizzBuzz なんかはてなのモヒカンな方々はfizzbuzzくらいエンジニア名乗るなら解けて当たり前だろJKといってますが、残念ながら日本でエンジニア名乗る方々で、fizzbuzzくらいの問題(問題文が与えられて、3の倍数なら、5の倍数なら、15の倍数ならと
k-holy 2012/08/09
元号は旧暦あるし昭和まで日付被るし結構大変そう、というか知識問題ですわな
リンク
MySQL :: MySQL 5.6 リファレンスマニュアル :: 6.2.7 アクセス拒否エラーの原因
MySQL サーバーへの接続を試行したときに問題が発生した場合に問題を修正するために実行できる一連のアクションについて、次の項目で説明します。サーバーが実行中であることを確認します。そうでない場合、クライアントは接続できません。たとえば、サーバーに接続しようとして次のいずれかのようなメッセージで失敗した場合、サーバーが実行中でないことが 1 つの原因であることがあります。 shell> mysql ERROR 2003: Can't connect to MySQL server on 'host_name' (111) shell> mysql ERROR 2002: Can't connect to local MySQL server through socket '/tmp/mysql.sock' (111) サーバーは実行しているが、サーバーが待機しているのと異なる TCP/I
k-holy 2012/08/09
mysql
リンク
Tポイントツールバー利用規約: TポイントとTカードの総合サイト[T-SITE]
カルチュア・コンビニエンス・クラブ株式会社本規約は、カルチュア・コンビニエンス・クラブ株式会社(以下「当社」といいます)が定める「T会員規約」に同意し、T-IDその他当社が別途指定するログインID（以下総称して「指定ID」といいます）を登録の上、T会員ネットサービス登録を完了した方に対して当社が配布する、WEBブラウザ用プログラム「Tポイントツールバー」（以下「本ツールバー」といいます）をご利用いただくために、第1条第1項に定義する利用者端末に本ツールバーをインストールのうえ、本ツールバーを利用される方（以下「利用者」といいます）が遵守すべき事項及び当社と利用者の関係を定めたものです。尚、個人情報の取扱いや当社からのメール配信、その他本規約に定めのない事項及び用語の定義は、当社が別途定める「T会員規約」及び「Tサイトサービス利用規約」、並びに株式会社Tポイント・ジャパンが別途定める「ポイ
k-holy 2012/08/09
検索ワードだけじゃないんだ…そして閲覧履歴は永久保有・永久利用しますよと

privacy
リンク
郵便番号データの落とし穴
概要 MS-Access 上で郵便番号を住所変換するためには、住所入力支援機能が提供されている。しかし、元になっている辞書ファイルのアップデートが遅れたり、用途に応じてカスタマイズするには限界があるなどの理由から、日本郵政公社が配布している郵便番号データを利用して、オリジナルの郵便番号⇒住所変換機能を実装する方法も、広く知られている。日本郵政公社（執筆当時。現・郵便事業株式会社）が配布している郵便番号データは単純な CSV 形式のため、加工がしやすく、初・中級クラスの VBA の知識があれば簡単に応用が効く、というのが、私が見聞きした範囲での一般的な認知のようだ。しかし最近になって、ふとしたことから実際にその CSV データを見る機会が有り、いくつかの疑問点・問題点が浮かび上がってきた。はたして日本郵政公社の CSV データは、本当に使いやすいのだろうか？仕様まず、仕様を確認し
k-holy 2012/08/09
ken_all.csv

郵便番号

まとめ
リンク
FizzBuzz 問題どや顔で解くひとなんかよりも "KEN_ALL.csv" をうまく扱える人の方が社会的貢献度高い
💙Kazuhiro OSAWA @Yappo 郵便番号API 作ろうと思ったんだけど、ちゃんと作るなら DB に突っ込んで使った方が良いから作るモチベーションだいぶ低い 2012-08-08 12:27:21
k-holy 2012/08/09
あるある…しかも郵便番号ユニークじゃないし、設計したやつ呼んでこいとか思いました…きっと深い歴史的な理由があるんでしょうけど

neta
リンク
- 2012年8月10日
- 2012年8月9日
- 2012年8月8日