巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
Ruby文法入門まとめ - Blog @kimromi
hello world printf "hello world!" # 末尾改行なし => hello world! print "hello world!" # 末尾改行なし => hello world! puts "hello world!" # 末尾改行あり => hello world!¥n p "hello world!" # 形式がわかる => "hello world!"¥n 変数 lang = "Ruby" # 変数 lang = "Java" # 書き換えOK LANG = "Ruby" # 定数（先頭大文字） LANG = "Java" # 書き換え不可。エラーとなる 数値 http://ruby-doc.org/core-2.1.3/Numeric.html(v2.1.3) http://ruby-doc.org/core-2.1.3/Float.html(v2.1
ドレスコードとは？フォーマル、セミフォーマル、カジュアルの違い
フォーマル、セミフォーマル、カジュアルの使い方ですが、どんな違いがあるかわかりますか？場所によって服装を変えなきゃいけないのはわかるけど、イマイチわからないし、面倒…。今回は、いざという時のためのフォーマル、セミフォーマル、カジュアルの違いを知っておきましょう。いきなりセミフォーマルでって言われても困るんですけど… 「来週、妹の結婚式に出るんですが、親族だしやっぱりフォーマルな格好ですよね？」 「彼と初めてのデートで恵比寿のイタリアン♪でも、ドレスコードでセミフォーマルって言われたんだけど…。」 「明日、友達の結婚式の2次会に行ってくるよ！カジュアルって言われたから、デニムでいいんだよね？」 「会社の打ち上げがあるんだけど、日曜日だからいつものカジュアルな格好でいいよ！」 さて、この4つの場面でのフォーマル、セミフォーマル、カジュアルの使い方ですが、これってどのような違いがあるかわか
Wakeme-VDC で起動したインスタンスをデバッグしてみる - hablog
これは Wakame-vdc / OpenVNet Advent Calendar 2014 5日目の投稿です。 昨日は @giraffeforestg さんの「Wakame-vdcのLoadBalancer機能を使ってみる」でした。いつも @giraffeforestg さんの情報量には驚かされます。 今日は3日目で起動したはずのインスタンスに接続できない原因を調べてみようと思います。 WebUI で見ると以下のように確かに running になっているものの、 IP 192.168.122.200 に ssh 接続しようとすると… $ ssh -i ssh-8y455ans.pem root@192.168.122.200 ssh: connect to host 192.168.122.200 port 22: No route to host と言われてしまいます。もちろん、セキュ
DBT-2 で MySQL と他のRDBMSの性能比較をしている人に騙されないように注意
一応、立場的には第三者に戻った(MySQL/InnoDBの性能追求が仕事ではない)ので、忘れられない暗い過去にも触れてみようと思います。 未だに騙されている人が多いみたいなので、MySQL/InnoDBの名誉のために書き残さなければなりません。何度でも言いますが、性能比較は自分の目的とする処理をちゃんと比較しないとだめです。そうでなくては、騙されて本当は悪い性能のものを掴まされることになります。 DBT-2と言う(TPC-Cをベースにした)ベンチマークがありますが、数多のRDBMS(商用/OSS双方)に対して独自にTPC-Cベンチマークを実装・チューニングして比較した経験のある私から見て、怪しい結果しか出ないので、長年、基本無視のスタンスを取っています。 が、３年前にあろうことかMySQLの性能QAがDBT-2(nonsp:mysql)を利用していて、とある性能FIXに対して問題を指摘して
Git中級者に送る便利なコマンド群 - カイワレの大冒険 Second
Gitを使っていて、ちょくちょく便利だなと思うコマンドに出会うので、メモ残しておきます。実際中級者の方には物足りないかもしれませんが、とりあえず。目次は以下。 自分がいじったファイルを一旦退避させたい ツリーが今どういう状態になっているか確認したい 今まで作業をやったことを振り返って、特定の過去に戻りたい リモートブランチをチェックアウトしたい コンフリクトがあったファイル一覧を表示したい 間違ってremote masterブランチにpushしてしまったので、取り消したい マージコミットを消したい 過去のまとまったコミットをまとめたい ここから載せるサンプルは、以下のフローが既に処理された前提で話します。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 # 適当にファイル作成、push $ touch sample.txt
UNIX・Linuxでファイル名・フォルダ名の一括置換を行う | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXを利用していると、スクリプト名などのファイル名のルールが変更したため、一括で置換を行いたいときがある。 そんな時は、どうすればいいのだろうか？ 1.『rename』コマンドを利用する もし『rename』コマンドがあるようならば、これを利用するといいだろう。 Linuxには大体最初から用意されている。(なお、Ubuntuの場合だと置換の指定方法がPerl(sed)の指定方法になっている) rename 置換する単語 置換後の単語 対象PATH この対象PATHにはワイルドカードも利用できるので、以下のように一括で置換を行える。 [root@test-centos7 test]# ls -l 合計 0 -rw-r--r--. 1 root root 0 7月 3 06:37 TCScript0.sh -rw-r--r--. 1 root root 0 7月 3 06:37
Ansible入門しました。【入門編】 | DevelopersIO
こんにちは。半瀬です。初投です。 これから業務で利用する機会が増えるということで、Ansibleに入門しました。 せっかくなので、私が学んだ過程をまとめて晒そうかと思います。 この記事の位置づけ ご存知のとおり、すでに当ブログでも多くの記事がたっていますので、Ansible導入のメリットなどは他の記事内容にお任せしようかと思います。ひとまず簡単にまとめさせていただきます。 以下の４本は導入編として位置づけられるかと思います。 構成管理ツール Ansibleを使ってみる ｜ Developers.IO Using Ansible on AWS - EC2インスタンスを作成する ｜ Developers.IO Ansibleでよく使う操作モジュール ｜ Developers.IO Ansible初心者のつまづきポイント ｜ Developers.IO 弊社社員によるAnsibleの紹介や勉強会
築地食堂源ちゃん 品川シーサイド店 (品川シーサイド/海鮮)
リクエスト予約希望条件をお店に申し込み、お店からの確定の連絡をもって、予約が成立します。 1 予約の申し込み ご希望の条件を当サイトよりご入力ください。 2 お店からのメール ご予約が承れるか、お店からの返信メールが届きます。 3 お店へ来店 予約が確定した場合、そのままお店へお越しください。
仕立屋 品川シーサイド店 (品川シーサイド/海鮮)
リクエスト予約希望条件をお店に申し込み、お店からの確定の連絡をもって、予約が成立します。 1 予約の申し込み ご希望の条件を当サイトよりご入力ください。 2 お店からのメール ご予約が承れるか、お店からの返信メールが届きます。 3 お店へ来店 予約が確定した場合、そのままお店へお越しください。
池上線ガード下物語 (大崎/焼肉)
リクエスト予約希望条件をお店に申し込み、お店からの確定の連絡をもって、予約が成立します。 1 予約の申し込み ご希望の条件を当サイトよりご入力ください。 2 お店からのメール ご予約が承れるか、お店からの返信メールが届きます。 3 お店へ来店 予約が確定した場合、そのままお店へお越しください。
匠 大崎店 (大崎/居酒屋)
リクエスト予約希望条件をお店に申し込み、お店からの確定の連絡をもって、予約が成立します。 1 予約の申し込み ご希望の条件を当サイトよりご入力ください。 2 お店からのメール ご予約が承れるか、お店からの返信メールが届きます。 3 お店へ来店 予約が確定した場合、そのままお店へお越しください。
ザ・シャノンズ TheShANNON'S - 大崎/パブ [食べログ]
リクエスト予約希望条件をお店に申し込み、お店からの確定の連絡をもって、予約が成立します。 1 予約の申し込み ご希望の条件を当サイトよりご入力ください。 2 お店からのメール ご予約が承れるか、お店からの返信メールが届きます。 3 お店へ来店 予約が確定した場合、そのままお店へお越しください。
![ザ・シャノンズ TheShANNON'S - 大崎/パブ [食べログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c362c2f9921e355ce12e575871422367ebe12188/height=288;version=1;width=512/https%3A%2F%2Ftblg.k-img.com%2Fresize%2F640x640c%2Frestaurant%2Fimages%2FRvw%2F188147%2Ff2a83574570027ac18ccac2596abc0f4.jpg%3Ftoken%3D468ea5d%26api%3Dv2)
Hadoop Yarn job: Wrong FS
I installed a cloudera cluster with a vagrant box. I get an error when I launch the following example: hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep input output23 'dfs[a-z.]+' I went to check the log in /var/log/hadoop-yarn. There several log file, in yarn-yarn-nodemanager-cdh-master.log, there is the following stackstrace: 2015-06-17 11:42:42,398 INFO SecurityLogger.org
VirtualBoxとCDH5でお手軽Apache Spark検証環境の構築 - データサイエ「ソ」ティストは語る
ということで、実際には1台のコンピュータ上なうえ、仮想化のオーバーヘッドもあるので「分散並列」で「高速」な処理はできないのだけど、動作検証ができる環境の作り方。 前提 仮想マシンホスト CPU: Intel Core i7 4770（8コア） メモリ: 24GB OS: Windows 7 Professional VirtualBox: 4.3.10 r93012 ゲストOS: CentOS 6.5 64bit もっとも、上記の環境はあくまで手元がそうだから、というだけで、VirtualBoxは最新版をインストールすればよいし、ゲストOSもCDHがインストールできるならUbuntuでもSLES（Suse）でもなんでもよい。 VirtualBoxで仮想マシンを作成 CDH5*1をインストールし、Sparkを動かすための仮想マシンを作る。CPU4コア、メモリ8GBを割り振る。ディスクは80G
グルメ廻転寿司 まぐろ問屋 三浦三崎港 上野店 (京成上野/回転寿司)
リクエスト予約希望条件をお店に申し込み、お店からの確定の連絡をもって、予約が成立します。 1 予約の申し込み ご希望の条件を当サイトよりご入力ください。 2 お店からのメール ご予約が承れるか、お店からの返信メールが届きます。 3 お店へ来店 予約が確定した場合、そのままお店へお越しください。
韓国料理 焼肉 ハナ（田端 焼肉）のグルメ情報 | ヒトサラ
いつもヒトサラをご利用いただき、ありがとうございます。 会員登録はお済みですか？ 会員登録のメリット 1 あなたの「行ってよかった利用シーン」をお店に投稿して、外食備忘録を作成できます。 2 あなたが撮った写真を投稿して、お店探しに貢献しましょう。 3 ネット予約でお得なヒトサラPOINTが貯まります。 会員登録をする 会員登録済みの方はログイン
西日暮里駅のおすすめご飯 人気店20選 | Retty(レッティ)
焼き鳥屋と思われる店の名前が嘘です。刺身も美味いし、居酒屋メニューも最高ですし、ゴルゴンゾーラとハニーとイチジクナッツトーストとか、完全に焼き鳥屋の領域超えています。感動の店で、リピート確定です。一…
「この値段でこんなうまい飯が食べれるなんて…」と罪悪感すら覚えるコスパ高すぎの上野メシ ７選 - 拝徳
「美味しい物は高い。不味いものは安い。」 資本主義の常にのっとったごくごく一般的な法則だと思います。いい食材やいい料理にはお金がかかるからです。 ところが、世の中にはそのような一般法則が乱れた特異点とも言うべき、希有な店が存在します。 うますぎるのに安い。安すぎるのにうまい。 そう、 「この値段でこんなうまい飯が食えてしまうなんて・・・いったいお金って何のために必要なんだろう」と罪悪感すら抱かせるような、メシ。 通称、罪悪メシ。 私は上野にオフィスを構える傍ら、このような上野の罪悪メシを開拓することをひとつのライフワークとしております。 本日は今年、自分が開拓したお店から、「この値段でこんなうまい飯が食べれるなんて…」と罪悪感すら覚えるコスパ高すぎの上野の罪悪飯の７選を紹介したいと思います。 【追記】 「上野のグルメ情報面白かった！」「もっと更新してよ！」 といった声やこのブログの上野への
一人焼肉専門店「ひとり」で一人焼肉を満喫してきた
「一人で図書館で勉強する」というのは学生であれば何らおかしいところのない行為ですが、「一人○○」にもいろいろなレベルがあり、たとえば「一人カラオケ(ヒトカラ)」や「一人ボーリング」などはちょっとハードルを感じる人がいる一方でまったく気にせず行ける人も多いもの。そんな中で、比較的レベルが高めにカウントされることが多いのが「一人焼肉」です。 そんな一人焼肉の専門店が上野にオープンしたらしいということで、早速一人で行ってきました。さすがは専門店だけあり、ただの焼肉店で一人でご飯を食べるのとは違う真の一人焼肉を味わうことができます。 1人焼き肉専門店 ひとり - 上野/焼肉 [食べログ] ひとり焼肉専門店「ひとり」の外観はこんな感じ。 所在地は東京都台東区上野6-8-17。ちょうど東京電力下谷変電所の南隣にあります。地下鉄の上野駅からは5b出口を出て右(南)へ向き、まっすぐ行くとたどり着けます。
学習記録：Ansible - 新人SEの学習記録
2015-03-18 学習記録：Ansible Scala 学習記録 Ansible [学習記録] Ansible 参考書籍 入門Ansible 4章：大規模なplaybookを構築してみよう 他のplaybookを読み込む include 他のymlファイルを読み込める 書かれたインデント階層に対して読み込まれる tasks以下でincludeすればtaskファイルを分割可能 以下の例だとhoge01~03.ymlが順次実行されていく 最初からinclude前提にするとどう分割するか悩むので、大きくなってきたら分離するのでOK --- - name: 全てを実行するplaybook hosts: all tasks: - name: echo doall - dmesg: msg="全てを実行します" - include: hoge01.yml - include: hoge02.ym
「達人から学ぶDB設計徹底指南書」を読んでインデックスと正規化について学んだ - 旧gaaamiiのブログ
以前、id:sairoutine さんからおすすめして頂いた「達人から学ぶDB設計徹底指南書」を読んでインデックスと正規化について学びました。 DB設計に関する基本的なテクニックの中でも、インデックスと正規化についてはわかった気になったまま全くわかってない状態が長く続いていたので、今日こそはちゃんと理解したいという気持ちでこのブログ記事を書いています。 一旦、雑に自分の印象をまとめて、まずい表現があったら直します。間違っているところは指摘してもらえると助かります。 正規化 RDBのテーブルをきれいにしていくこと。その段階によって第２正規形だったり第３正規形だったり名前がついています。テーブルをきれいにするとデータの不整合が起きにくくなります。 正規形には第１正規形から第５正規形まであり、第３と第４の間にボイスーコッド正規形という正規形もあります。本書では通常の業務なら第３正規形までの理解で
AndroidのThreadPoolExecutorに関する覚書 - Islands in the byte stream
ThreadPoolExecutor を調べていて、 Thread インスタンスの最大数はどんなものだろうと思ったので確認したところ、端末によって異なりますが1000個〜10000個程度でした。これを超えるとOutOfMemoryErrorが発生したり、最悪の場合いきなりクラッシュしたりします。 Executors.newCachedThreadPool() は ThreadPoolExecutor を生成するファクトリメソッドですが、スレッド生成の最大数が Integer.MAX_VALUE （つまり無制限）となっています。このexecutorによってスレッドを数百以上生成することはまずないとは思いますが、上限が定められていない以上うっかり端末の限界値を超えないとも限りません。Androidで Executors.newCachedThreadPool() を使うのはやめたほうがよさそう
Python で言語処理100本ノック2015 - Qiita
プログラムとPythonのお勉強のために「言語処理100本ノック 2015」をやるよ！ http://www.cl.ecei.tohoku.ac.jp/nlp100/ とりあえず順次更新していこうと思ってます。（結構ゆっくりになるかも・・・） GitHubにも順次上げていこうと思います。 tanaka0325/nlp100 ルール まずは自分で書いたコードを載せる。 そのあとに調べてみてもっと良いと思った書き方を載せて行こうと思います。 第1章: 準備運動 00. 文字列の逆順 文字列"stressed"の文字を逆に（末尾から先頭に向かって）並べた文字列を得よ． 自分のコード 短い書き方があるんだと思うのだけど、 経験が浅すぎて思いつかなかったので、すごい泥臭いやり方に・・・ s = "stressed" def reverse(s: str) -> str: list = [] for
組み合わせを列挙する - kuidaored’s blog
SRMとかやってると組み合わせをみる必要があったりして、そのたびに同じようなコードを書いていたので、なんとか出来ないかと思って書いてみた。 import java.util.*; public class Combinations<T> implements Iterator{ private List<List<T>> combinations; private List<T> list; private int[] index; private boolean[] visited; private int r; private Iterator<List<T>> iterator; public Combinations(T[] array, int r){ this.list = Arrays.asList(array); this.index = new int[r]; this.
プログラミング言語記号比較(Hishidama's Programming language symbol)
Ａnt [2009-02-06] awk [/2007-05-14] C言語 [/2006-09-08] C++ [/2007-01-25] C# Java [/2014-08-09] JavaScript Common Lisp MS-DOS MSX-BASIC Oracle [/2008-04-29] PASCAL Perl PL/I PL/SQL [/2007-12-28] Scala [/2011-01-08] SQL UNIX [/2012-05-16] Visual Basic [/2008-03-07] VB.NET BNF・yacc [2007-05-11] DTD [2008-11-01] Excel [/2008-07-26] HTML IP JSP [/2007-06-30] makefile PukiWiki SQL*Plus [/2008-04-26] TeraT
【linux】カーネルパニックの種類 | 発生方法 | 対処
1. カーネルパニックとは カーネルパニックとは、カーネルで致命的なエラーが発生し、OSの稼動が完全に停止した状態の事を言います。OSを継続して稼動さえることは不可能であり、再起動するしかありません。エラーの原因を調査するために、カーネルパニック時にはメモリダンプ(カーネルダンプ、クラッシュダンプ、コアなどと呼ぶ場合も有ります)を出力することが可能です。メモリダンプとは実メモリの内容をファイルに出力する機能のことを言います。OSがsyslog (シスログ) に書き出す余裕もなくクラッシュするのでメモリダンプは唯一の解析の手がかりとなることもあります。OSを再起動すると、メモリダンプが /var/crash/<IP アドレス-YYYY-MM-DD-mm:ss>/vmcore にコピーされます。(diskdumpの場合) 参考：diskdumpの設定方法 2. カーネルパニックの種類 カーネル
自分のサーバのGlobalIPが知りたい - Qiita
Simple cURL API! $ curl ifconfig.io 192.0.2.100 $ curl ifconfig.io/ip 192.0.2.100 $ curl ifconfig.io/host www.example.com. $ curl ifconfig.io/country_code JP $ curl ifconfig.io/ua Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:38.0) Gecko/20100101 Firefox/38.0 $ curl ifconfig.io/port 37038 $ curl ifconfig.io/lang en-US,en;q=0.5 $ curl ifconfig.io/encoding gzip $ curl ifconfig.io/mime text/html,ap
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mhiramat/mincs: MINCS - Mini Container Shellscript
etcd-fs を試す - hablog
ブロックストレージサービスで車輪の再開発(1) - hablog
http://www.masudak.net/blog/2015/01/09/201501092156/
DB Tech showcase Tokyo 2015 Works Applications
SSL Tools
GitHub - ha-jdbc/ha-jdbc: High-Availability Java Database Connectivity
GitHub - tanaka0325/nlp100: Pythonで言語処理100本ノック
ペパボにおけるOpenStackHacks!
