v1.0がリリースされたログ収集のFluentdが目指す「黒子のような存在」とは？
Fluentd 1.0のリリースに合わせてトレジャーデータのデベロッパーにインタビューを実施し、「黒子のような存在になりたい」という背景を訊いた。 CNCF（Cloud Native Computing Foundation）配下のログ収集のためのオープンソースソフトウェアであるFluentdは、2017年にバージョン1.0がリリースされた。記念すべき1.0というマイルストーンを達成したFluentdのデベロッパーにしてトレジャーデータ株式会社のシニアソフトウェアエンジニア、中川真宏氏にインタビューを行った。 まずリリース1.0の発表ということで1.0とそれ以前のバージョンの違いなどについて教えてください。 ツイッターなどでも誤解されている方を見かけますが、実は0.14と1.0で中身は何も変わっていないんですね。Fluentdは、0.12という最も広く使われているバージョンと最新の0.14
経営者とエンジニアのための法律勉強会 #13『実例から学ぶ、起業とその後の会社経営に関する n個の罠と回避策』 参加メモ
lawstudy13th.md 経営者とエンジニアのための法律勉強会 #13『実例から学ぶ、起業とその後の会社経営に関する n個の罠と回避策』 参加メモ 日時: 2015-07-13 19:15-20:45 講師: 野島 梨恵氏 (東京山王法律事務所) 場所: Co-Edo 資料 http://bit.ly/co-edo-2016-07-13-pdf ハッシュタグ #coedo イベントURL: https://coedo-dev.doorkeeper.jp/events/48085 アイスブレイク co-edo 再増床後は初めて 起業して3年もつ会社はすごく少ない 弁護士に来るのは何らかの良くないことが起こった場合が多いw 失敗例には事欠かない 起業とは 株式会社を作るということを念頭に置かれる場合が多い 法人化したほうがメリットが大きい 法律的に見た時に法人格を作るとは 法人だから本当
Google for Mobile - Android アプリ実装について - Qiita
12/9 パシフィコ横浜で開催された Google for Mobile のセッションからいくつかまとめと補完した。 マテリアル デザインでよりよいユーザー体験を実現しよう なぜマテリアルデザインしたのかとその内容の話 すでにいろいろなところにまとめれれてる Design | Android Developers Material Design Awards - Articles - Google Design Material Design with the Android Design Support Library Android Design Support Library | Android Developers Blog 高品質 Android アプリ実装ヒント集 〜 ゴミアプリと言わせないために 〜 ユーザー評価 Essentials for a Successful App
「Amazon RDS for Aurora Deep Dive」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Auroraは現在Preview中 頻繁にデプロイ・機能変更が行われている 今日の話の内容は6/2時点のもの フルマネージドなDB データベースを数分で作成可能 自動でパッチの適用 1クリックでスケールアウト S3への継続的バックアップ Amazon Aurora AWSがクラウド時代にRDBを作るとするとどうなるかを1から考えた エンタープライズグレードの可用性とOSSレベルのコストを両立 現在はLimited Preview Virginia/Oregon/Irelandリージョンで動いている 5/20よりpreviewがプロダクション環境へ移行 Beta環境はクローズ AuroraのPricing 現在は、r3シリーズのみでの提供 ライセンス料金は不要 MySQLと100%互換なので、ロックイン
Kazuho's Weblog: さらば、愛しき論理削除。MySQLで大福帳型データベースを実現するツール「daifuku」を作ってみた
さらば、愛しき論理削除。MySQLで大福帳型データベースを実現するツール「daifuku」を作ってみた 先のエントリ「論理削除はなぜ「筋が悪い」か」で書いたとおり、データベースに対して行われた操作を記録し、必要に応じて参照したり取り消したりしたいという要求は至極妥当なものですが、多くのRDBは、そのために簡単に使える仕組みを提供していません。 daifukuは、RDBに対して加えられた変更をトランザクション単位でRDB内にJSONとして記録するためのストアドやトリガを生成するコマンドです。 % daifuku dbname tbl1 tbl2 > setup.sql のように実行すると、指定されたテーブル（ここではtbl1とtbl2）にセットすべきトリガや、更新ログを記録するためのテーブル「daifuku_log」を生成するCREATE TABLEステートメントなど、必要なSQL文をset
エンジニアのための法律勉強会#1『受託開発における契約時の注意事項』参加メモ
gistfile1.md エンジニアのための法律勉強会#1『受託開発における契約時の注意事項』参加メモ http://coedo-dev.doorkeeper.jp/events/20181 講師: 野島 梨恵氏（東京山王法律事務所） 2015-02-10 19:15-20:45 Co-Edo 前提 システム開発そのものは素人だけど、裁判にはクライアント/開発側の両方で関わったことがある。 裁判官はもっとシステム開発については分かってない。 弁護士を通じてしか当事者と話すことがないので分からなくてもしょうがない プラクティス勉強会というのを裁判官が開いているよう 体系立ててまとまった書籍はない 古い本しかない 民法上の請負契約 ソフトウェアは前提になっていない 建築の契約が前提になっている ある仕事を「完成」させることにより報酬 請負 <-> 委任 弁護士、医者は委任契約 請負人の自由度が
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
【書き起こし】野々村竜太郎県議、"号泣"記者会見 「キッチリ報告してんのに、なんで自分を曲げんといかんのや」
兵庫県議会の野々村竜太郎議員が、2013年度、約300万円の政務活動費を支出していた問題で、同氏が7月1日に行なった説明会見を書き起こしました。会見中、氏が取り乱して号泣する姿がテレビやネット動画などで共有され、話題になっています。 冒頭に記者全員と名刺交換 野々村竜太郎氏（以下、野々村）：この度は、私の政務活動費、政務調査費の収支報告書につきまして、お集まりいただきまして、ご足労さまでございます。それではまず最初に、幹事社のほうにお伝えしましたように、記者の方のお名刺をそれぞれ頂けますでしょうか。 記者：……えー、それ、後でも構いませんか？ 終わってからでもいいですか？ 野々村：今、いただけますでしょうか。 記者：それがないと始まりませんかね？ 野々村：……。 記者：それがないとスタート出来ませんか？ 野々村：いただけますか。 （聞き取り不明） 野々村：資料を開きますので、マイクを少し下
RCFile，Parquet，ORCFile
この2ヶ月で，Cloudera/Twitter，Hortonworks からそれぞれ別の列指向ファイルフォーマットが公開されました．Parquet と ORCFile です． この記事では，まず RCFile の復習をして，その後 Parquet と ORCFile それぞれの共通点と違いをおおまかに見ていこうと思います．コードレベルの詳細な違いについては，次回以降で見ていきます． RCFile の復習 RCFile は Record Columnar File の略で，Hive から利用できるストレージフォーマットです．特に，HDFS や S3 といった分散ストレージ上でパフォーマンスがでるように設計されています． HDFS/S3 といったストレージでは，基本的にデータを計算機間で同じ負荷になるようにデータを分散配置します．このため，従来の列指向ストレージフォーマットのように適当に列毎に
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
FlyData - 簡単、無料、自動ログファイルバックアップ！
一度とても簡単な設定を行うだけで、FlyDataは自動的・継続的にクラウドサービスにバックアップを開始します。S3バケットを指定すると、そこにログファイルを保存します。基本プランは完全に無料です。 FlyData (JP) from Hapyrus
#fluentd な今だからこそふりかえる scribed のすべて - たごもりすメモ
最近 fluentd というツールのことがたいへんよく話題に上がっており、かく言う自分もささやかながら使用している身なのだが、それはそれとして比較対象に上がってくるツールに scribed というものがある。これがどういうものなのか、話には聞いていてもよくは知らないという人が多いようなので、これもささやかながら触ってみている自分としてはここらで一度まとめておかねばなるまい、と思った次第である。 日本全国に10人くらいはいるかもしれない scribed のヘビーユーザ各位に捧げる。 なお記憶と経験だけを頼りに書き殴るので、意思決定の重要な局面とかで「これこれこういうブログにたごもりすなる者がこのようなことを書き残しており」などと引用するのはくれぐれも避けていただきたい。 また途中から思いっきりビール飲みながら書いたので文章自体の品質にも問題のある可能性がある。 そも scribed とは何か
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
Logstash: Collect, Parse, Transform Logs | Elastic
GitHub - kurimon/logbear: FluentdとRedisとnode.jsを使ってサーバログをブラウザで準リアルタイムで閲覧するソフトウェアです。モバイルにも対応。
http://fblog.jp/
GitHub - nandai/slog
fluent + mongodb + node.js でwebアクセスの準リアルタイム解析 | Day After Neet