はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する | DevelopersIO
今回解決したい課題 こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。 「Amazon Recommends Fluentd as “Best Practice for Data Collection” over Flume and Scribe」 しかしS3にアップロードしたログファイルはツールを用いなければアクセスすることができず、このままでは容易に検索できません。EC2からS3をs3fsでマウントしてgrepという方法はありますが、遅すぎて実用的とはいえません。s3cmdでいったんローカルにファイルをダウンロードしてから検索す
積読本消化ルール 2015 - その後のその後
うちは二人暮らしで36平米とそんなに広くないので本棚は置いてなくて、備え付けの靴箱の余った棚に本を入れています。 2年半前に 海外に行くことになった 際にいったんすべての本を電子化したのでしばらくはそれでよかったのですが、東京に再び住み始めて早2年、さすがに靴箱に収まりきるわけはなく、そこに収まりきらない本はAmazonの箱に入ったまま。。9割は表紙をめくったこともない、というか注文したっきり忘れている。。 で、この年末年始に積読を解消するぞ！と思うわけですが、自分と37年もつきあってると、さすがにわかります。実家に本を大量に持ち帰ったところで、1冊も読まないということが。。 そして何も年末年始にやりたいことは積読本消化だけじゃなくて、 FacebookでSaveした記事 PocketにSaveした記事 QiitaでStockした記事 OneTabで収納した記事 等々、「これはあとで絶対に
Mac OSXの設定をAnsibleで9割以上自動化する - will and way
自分のMBPRetinaは3年前のモデルでアップデートする度に、スリープからの復帰画面がおかしくなったりしたのでOSのクリーンインストールも兼ねました。データはほとんどクラウド化されてるので残るは設定ファイルのみ。0から設定するのだるい。 今後、0スタートするときも苦労したくない！ポチポチクリックしたくない！ということで mawatari.jp この記事にインスパイアされて、自分もやったので、ハマりどころとかプラスで対応したところをメモ。 9割はこれで行ける、残り1割はアプリにログインした時にクラウド同期してくれる系（Chromeとか）. githubにdotfilesやらshellにするよりも比較的容易にprogramaticallyにできたのでやってよかった。 github.com 対応したこと ansibleのインストール brewのインストール brewによるアプリのインストール
MeCab: 単語の追加方法
概要 辞書への単語追加には, 二つの方法があります. システム辞書への追加 ユーザ辞書への追加 システム辞書への追加 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. mecab-ipadic があるディレクトリに移動 foo.csv というファイルを作成 (拡張子が .csv なら何でも可) foo.csv に単語を追加 辞書の再コンパイル + インストール % /usr/local/libexec/mecab/mecab-dict-index -f euc-jp -t euc-jp % su # make install -f charset: CSVの文字コード -t charset: バイナリ辞書の文字コード 例: utf-8の辞書を作成する例 % /usr/local/libexec/mecab/mecab-dict-
ストレスに強い人が実践する毎朝1分の習慣
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
2015年の省察
年の瀬に1年をふりかえります。 ペパボ新卒エンジニア研修 今年のターニングポイントは、ペパボ新卒エンジニア研修でした。3月か4月ごろに担当を任されることになって、そこから猛勉強が始まりました。 研修の準備（設計）にあたり、学んだこと 研修を受けた身ではあるものの、研修の設計に関わるのは初めての経験でした。CTOやひろやんさんをはじめとした、研修関係者で認識を合わせることは非常に大切でした。研修にあたって、教育学や組織論、キャリアデザインに関する書籍を読みました。以下はその一部です。 これらの書籍は研修関係者で読みました。これらのような書籍を読んだ目的は、研修そのもののブレを無くすことです。いわゆるユビキタス言語といいますか、共通の語彙を関係者間で育み、円滑なコミュニケーションを取れるように勉強していきました。 「私」レベルの教育論を越えて そこで出会った中原淳先生の『企業内人材育成入門』に
エンジニアが0から英語を勉強する為にした事 - hotchemi-ja-blog
今年の始め、正確には去年の暮れ辺りから英語の勉強を開始した． 自分の場合、殆ど0からのスタートで、色々と試行錯誤したので振り返ってみる． 背景として、日本に住んでいる英語が苦手なソフトウェアエンジニアが英語を学ぶ上で良かった事なので、ビジネスの人とか海外移住を考えている人の役には立たないと思う． また、既に英語に苦手意識が無い人は読んでも得るものはないと思う． スタート 今も対してできないが、当時は輪をかけて全く英語ができなかった． どれくらいできないかったかというと、以下の様な感じ．冷静に見て下の下． TOEIC・TOEFL受けた事ない 未だに未受験なので次受けようと思っている… 大学4年間、一度も英語を勉強しなかった 日本文学という珍妙なものを専攻していたせいで危機感を覚える事もなかった 英語に触れると変な汗が出て、そそくさとその場から立ち去る だから今から勉強を始める人も、安心して欲
2015年振り返り - $shibayu36->blog;
今年はディレクターからエンジニアに戻ったり、引っ越しなどをして私生活が大きく変わったり、仕事がむちゃくちゃ忙しかったりと、何かと慌ただしい年だった。 ディレクターからエンジニアへ いろいろあってエンジニアに戻りたいということになったので、仕事はディレクターからエンジニアに戻った。ディレクター時代に自分のエンジニアとしての足りない部分がだいぶ分かってきていたので、今年は足りない部分をなくしていくということをしている。 Perl以外の言語を触った経験が少なかったので、ScalaやTypeScriptなどの言語を勉強した 静的型付け言語の基本みたいなのが学べてよかった 流行り技術は無視して、とりあえず基本的な分野について学んだ 文字コードについて学んだり、オブジェクト指向入門読んだり、セキュリティ周りのことを勉強したり けっこう良かったので今後も基本的な分野をちゃんと勉強しつつ、気晴らしに流行り
2015振り返り - 道産子エンジニア
2015年、全体的にいうとインアウトプットが少し増えた感覚。それでもまだまだ。 もうダラダラ文章書く気力ないので、箇条書きでぱぱっと行きます。 ざっくりと月ごとに起こったことメモ 1月：攻殻機動隊一気見、755CM時期でわんやわんや、登山する 2月：箱根定例化、パンチラ展見に行った 3月：京都旅行、情報処理学会全国大会に遊びに行った、ブログ月間100名突破 4月：またまたCM時期、社会人二年目スタート、人工知能学会に入会 5月：パラグライダー体験、箱根で誕生日迎えた 6月：酒脳会議、福岡出張（カメラマンとして）、チーム改変 7月：動画機能実装で楽しかった、群馬旅行、ふたご覆面調査に初めて行った、ブログ200名突破 8月：バイク買う、シェアハウスで役員とパーティー、恋文祭り 9月：スカイダイビング、バイク納車、BBQ、鍛金経験、歯医者いった、ISUCON出場 10月：熟成肉、Qiita合戦で
CTOを退任するまでの６年間と今とこれから - UNIX的なアレ
wadap.hatenablog.com 先日発表があったとおり、11月の時点で株式会社nanapiは合併しSupership株式会社となりました。それに伴いCTO及び取締役を退任したのですが、年末ですし６年間を改めて振り替えてみようと思います。 いままで http://blog.livedoor.jp/kensuu/archives/55408011.html 代表だったけんすうが書いている通り、株式会社nanapiの前身となる会社は株式会社ロケットスタートという会社でした。当時はサークルのようなノリでつくった会社ですが、本格的にやろうという話になって始めたのが2009年6月頃。それから６年ちょっとの間、CTOを務めていたということになります。 よく聞かれるのが「共同創業者同士での揉め事はなかったのか？」ということです。実際にあまりなかったなーと思います。実際はあったのかもしれないですけ
2015年振り返り - mizchi's blog
思い出 1月~8月 Kobitoの開発 9月~12月 Qiitaの開発 SplatoonでS+達成 趣味ゲーム開発 Kobitoの開発 主にReactおじさん、Electronおじさんとしての成果がこれ。 とにかくエッジなライブラリを使って開発していて、何もかも足りないのでひたすら自分で足りないパーツを作っていた。 公開した成果としてはこのあたりになる。 https://github.com/mizchi/arda https://github.com/mizchi/md2react https://github.com/mizchi/stone-skin QIitaの開発 Kobitoは最新のテクニックでSPAを組み上げる手法だったが、Qiitaの開発における僕のテーマは「昔ながらのウェブアプリを段階的にモダンにしていくアプローチの模索」だと言える。 僕が開発に入る前のQiitaのフロン
2015年を振り返って - プログラムモグモグ
今年は働き始めた年でした。環境が大きく変わりました。新しい環境は毎日刺激が多く、とても楽しく過ごしています。 入社してちょうど三か月した時、自分にとってとても大きなことが起こりました。ある仕事を与えられたのですが、その解決したい問題に対するアプローチを自ら考えて、自発的に編み出した解決法によって問題を解決したのです。入社してまだ間もないひよっこのような自分が、自らの能力を活かしてプロダクトに貢献できたことで、とても自信がつきましたし、この会社で自分が役に立っていけそうという安心感もありました。この成果によって社内の人からも評価していただき、とても嬉しく思いました。 今年はブログは28記事書きました。特に以下の記事は、多くの方々から反応をいただきとても感謝しています。 itchyny.hatenablog.com itchyny.hatenablog.com itchyny.hatenabl
2015年を振り返る - はやくプログラムになりたい
2015年の自分向けまとめです． まとめ 目標は達成できたかどうか分からないといけないと思っているので，2015年の趣味での目標は 「とりあえず10万行書くか」 だったんですが，測るのが面倒なので途中から「3000 contributions する」 になりました．（自分の場合は1コミット大体40行ぐらいが多いので，3000 あればまあ10万行行っとるやろという魂胆です）GitHub は仕事で使ってないので，GitHub のプロフィールページを見れば一発で達成状況が分かるという寸法です． 結果はというと… でどうにかギリギリ達成できました．来年はもっとパワフルに開発できる年にしたいです． そんなわけで今年も割と色々書いた気がします．せっかくなので振り返ってみます． 前半 今年の前半は言語処理系まわりを色々触ってました．既存の言語の処理系を実装してみるのも間違いなく楽しいですが，自分で言語の
2015 年をふりかえる - Block Rockin’ Codes
Intro 個人的には HTTP2 と ORTC/WebRTC と Service Worker 周りさわって、 JS と Go を書いてる一年だった。 Extensible Web - Progressive Web APP Extensible Web で始まった話が、様々な API の設計に適用された。 結果手に入った Service Worker を始めとする Low Level API を組み合わせて、もう一度モバイルと Web の関係を見直す Progressive Web App まで進み、 Web の形が見直された年だった。 Extensible Web の夜明けと開発者が得た可能性の話 - Block Rockin’ Codes HTTPS また、 HTTPS の重要性の認識が、啓蒙からデプロイまで降りたという印象。そして、待望だった Let's Encrypt がついに
Dockerとchrootを組み合わせたシンプルなコンテナデプロイツール - ゆううきブログ
この記事ははてなエンジニアアドベントカレンダー2015の1日目です。今回は、既存の運用フローに乗せやすいDockerイメージへのchrootによるデプロイの考え方と自作のコンセプトツール droot を紹介します。 github.com 背景 Docker 本番導入の課題 Docker 導入の目的 Docker + chroot のアイデア droot: Dockerイメージにchrootするコンテナツール droot の使い方 droot push: Dockerイメージをtar ball化しS3にpushする droot pull: S3にpushしたイメージをダウンロードし展開する droot run: 展開先のディレクトリにchrootする droot の実装 droot push/pull の実装 droot run の実装 あわせて読みたい あとがき 背景 Dockerがリリー
2015年も技術しかしてない - ゆううきブログ
今年も技術しかしてない。 やけにブログを書くことに傾倒していた。 26歳になった。 YAPCで発表した。 ISUCONに負けた。 入社２年過ぎた。 入社2年成功 https://t.co/X0HxWVYAAB— ゆううき (@y_uuk1) December 1, 2015 振り返ってみると、今年は技術でも仕事でもプライベートでも、ものごとやものの考え方は5年後、10年後はどうなるのか、変わらないものは何か、色褪せないものは何かを考え始めた年だった。 具体的には、例えば、単にブログを書いて、1カ月にN回書いたとかNブクマついたとか、対外発表の数をこなしてたくさん発表したねだけで終わるのではなく、その先に何があるのかを考えるといったことだ。 他には、5年後でも使っている技術はなにかとか、それを見極めるためには何を理解している必要があるのかといったこともある。 去年は若者らしくあまりそういった
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クソエンジニア発言１０連発 by yodatomato