はじめに トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 2015年1月，Fluentd のコミッター（弊社エンジニア）が中心となった「Embulk」というOSSが公開されました。このツールは大規模なデータセットのバルクインポートを行えるデータ収集ツールの1つに大別されるものです。 ↑ メインコミッターである当社エンジニア：古橋は Fluentd や MessagePack といったOSSを生み出してきました。そして，トレジャーデータのプラットフォームの根幹を作り上げたのも彼なのです。 Embulk とは何か？ Embulkとはどのようなものなのでしょうか？　バルクインポートを行うためのツールは，はるか以前からたくさん存在しますが，その中においてEmbulk の位置付けはどこにあるのでしょうか？　少しずつ紐といていきましょう。 「簡単に言うとFluentdのバッ

事の発端はささいな出来事。仕事でgitを使っていて、開発中のソースからビルドしたバイナリファイルもリポジトリに突っ込んで管理してる。最近やけにgit cloneした時に時間がかかるなーと思って見たら、リポジトリサイズが200Mb超えてる？！よくよく見たら.git/objects以下が肥大化してた。なんだこれ、と思って調べてみた。 こちらが大変参考になりました： Git - Gitオブジェクト Git - パックファイル gitのcommit objectの中身 - HAKOBE blog ♨ 見えないチカラ: 【翻訳】Gitをボトムアップから理解する ざっくりまとめ gitではcommit、tree、blob、3種類のオブジェクトでリポジトリを表現してる blobがファイルそのもの。ただしファイル名などのメタデータは含まない treeがディレクトリ。blobや配下treeのハッシュ値を持ち

gitが大きくなると時間かかってしゃーないと思っていたら、ちょうどatlassianのブログにこんな記事があった。 How to handle big repositories with git - Atlassian Blogs 巨大なリポジトリ を Git で上手く扱う方法 直訳ではなく、読んだことを参考に自分用にメモを記す。これは本当にメモ代わりなので原文を参照した方がいいと思う。 gitが重くなる原因は、「長い歴史」と「デカいファイル」の2つがある。その2つの対処法。 長い歴史に対処する shallow cloneを使う gitのhistoryが積み重なると、git cloneに時間がかかる。そのときはshallow cloneを使って、深さを限定してcloneする。 git clone --depth depth remote-url 手元の環境だと23sくらいかかっていたのでも

本節では、HTML formを使った画面遷移型のアプリケーションにおけるアプリケーション層の実装について説明する。

前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい

こんにちは会員事業部の丸山@h13i32maruです。 最近のWebフロントエンドの変化は非常に激しく、ちょっと目を離した間にどんどん新しいものが出てきますよね。そんな激しい変化の一つとしてES6という次期JavaScriptの仕様があります。このES6は現在策定中で、執筆時点ではDraft Rev31が公開されています。 JavaScriptはECMAScript(ECMA262)という仕様をもとに実装されています。 現在のモダンなWebブラウザはECMAScript 5.1th EditionをもとにしたJavaScript実行エンジンを搭載しています。 そして次のバージョンであるECMAScript 6th Editionが現在策定中で、略称としてES6という名前がよく使われます。 今回は、他の言語にはあってJavaScriptにも欲しいなと思っていた機能や、JavaScriptでよ

コード補完の設定(IntelliJ IDEA12版)へのアクセス未だにあるので、バージョン14でのコード補完どうなってるか整理してまとめてみた。 コード補完の設定画面 バージョン14から設定画面ガッツリ変わったので、Code Completionの設定する場所にたどり着くの毎回苦労する感あります。 設定内容 Case sensitive completion 候補を絞り込むときの条件（どの程度厳密にするか）を選択する。 選択肢 内容 All 大文字小文字完全一致で候補が出るようになる。 None 大文字小文字を区別せずに候補が出るようになる。 First letter 最初の文字のみ大文字小文字を区別して候補を出します。 私は、Shift押すのとか面倒なのでNoneを選択してる感じです。（一時期、変数とクラス名区別してくて、First letterを選択してたけど、わたしにはあまりあわなか

今回から3回にわたり、ITスキル研究フォーラム（iSRF）が国内で就業するITエンジニア7218人を対象に実施した調査結果を紹介する。今回は平均年収を見ていく。平均年収は468万円、最も高い職種はコンサルタントといった傾向に加えて、いわゆる管理職の平均年収が減少傾向にある実態が浮かび上がった。 平均年収は468万円。9割が「仕事への不満はない」と感じ、これから目指したい職種イメージは「ビジネスクリエーター」──。 IT人材のスキルキャリアを研究するNPO法人「ITスキル研究フォーラム（iSRF）」は、国内で就業するITエンジニア7218人を対象に調査を実施した（調査概要）。調査結果から冒頭に示す傾向が浮かび上がった。 調査では、経済産業省が作成した「ITスキル標準（ITSS）」に基づいて、IT人材の職種やスキルレベルを分類した。職種として、「ITアーキテクト」「プロジェクトマネジメント」「