タグ

2015年11月9日のブックマーク (8件)

  • Elasticsearchを用いたはてなブックマークのトピック生成

    Elasticsearch勉強会 in 大阪/京都 で発表した「Elasticsearchを用いたはてなブックマークのトピック生成」の資料

    Elasticsearchを用いたはてなブックマークのトピック生成
  • loggingについて話そう - Qiita

    この記事は Let’s talk about logging の翻訳です。 Nate Finch による Go Forum への投稿で始まったスレッド を見てこの記事を書くことにしました。 この記事は Go を対象にしていますが、あなたのいままでのやり方を振り返ってみたら、同じ考え方がより広く適用できると思います。 なんでこんなに足りないの? 訳注: "Why no Love?" を、「(愛されてないから)機能が足りない」というニュアンスで解釈しましたが、自信が無いです。 Golog パッケージ はレベル付きのロギングを提供していません。なので手動で debug, info, warn, error のようなプレフィックスを書く必要があります。 また、 Go はパッケージごとにログの出力レベルを制御する方法も提供していません。 比較対象としてサードパーティーのロギングライブラリを見て

    loggingについて話そう - Qiita
  • MySQL でログ系テーブルのレンジパーティション

    MySQL にはパーティションという機能がある。データ全体を特定の範囲ごとに小分けにしてインデックスをそれぞれ別に作ることができる機能と自分は理解している。たとえば id が 10,000 以下のものとそれ以上のものでパーティションをわけると、それぞれひとつずつインデックスが作成される。操作対象がひとつのパーティション内で完結する場合は、検索・更新・削除ともにより高速になる。全体でひとつの大きなインデックスを使うのではなく、部分ごとに小さなインデックスファイルを作成するという戦略だ。 全体のうちある特定の部分にアクセスがかたよる傾向のあるテーブルに対してパーティションをはるのが有効だ。適切な単位でパーティションをきることで、アクセスがひとつのパーティション内の小さなインデックスに収まり、更新も検索も高速に保てる。 例としてわかりやすいのはログ系のテーブルだろう。基的に時系列に増えていくも

    MySQL でログ系テーブルのレンジパーティション
  • ログ集計システムを自前で作る - Y's note

    Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか? 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go

    ログ集計システムを自前で作る - Y's note
  • Why We (Still) Believe in Working Remotely - Stack Overflow

    Capture, share, & collaborate on knowledge internally. It’s 2013, almost three years after we first raised money and started growing beyond thefirstfour employees. At the time, Jeff wrote a great blog post about working remotely, basically laying out our plan for how we were going to make it work. Now we’re a few years in and it’s time to update it with, well, what actually happened. First, where

    Why We (Still) Believe in Working Remotely - Stack Overflow
  • MySQLでパーティショニング機能を試す

    MySQL 5.5 から強化されたパーティショニング機能を試してみたのですが、パーティションに関する制約が多くて苦戦したので、やり方をメモしておきます。 今回やりたいこと – ログデータの肥大化を防ぐ(ログローテート) 日々溜まる膨大なログテーブルのレコードをパーティショニングして、古くなったログを削除してみます。 レコードの削除は DELETE FROM でも出来ますが、パーティショニングを活用すると高速にレコードを削除できます!内部的には DROP TABLE と似たような動作で高速にレコードを削除しているようです。 まずはパーティションの追加から削除まで、ひと通り試してみます。 パーティション確認用のテーブルを生成 まずはログを保存する logs というテーブルを作成します。 CREATE TABLE `logs` ( `id` int(11) NOT NULL AUTO_INCRE

    MySQLでパーティショニング機能を試す
  • リモートワーク Advent Calendar 2015 - Adventar

    リモートワーク(在宅勤務、テレワーク)に関する知見を共有するアドベントカレンダーです。 何かしらのチームに所属しつつ、物理的に離れた拠点で仕事をしている人であれば、フルタイム(常にリモート)、パートタイム(基は出社、たまにリモート)を問わず誰でも参加可能です。 主催者がプログラマなので、基的にIT関係のリモートワークを想定していますが、違う業種の方の参加も歓迎します。 リモートワークに関することであればテーマは自由です。 テーマ例: 我が社のリモートワークのスタイル リモートワークを始めて良かったところ、困っているところ これからリモートワークを始めるならここに気をつけろ 円滑なコミュニケーションを図るために役立つ便利ツール 離れた拠点にいながらチームワークを高める極意 etc ここ数年、リモートワークが徐々に脚光を浴び始めています。 実際、多くの方がリモートで働いていると思いますが、

    リモートワーク Advent Calendar 2015 - Adventar
  • Buzzer Beater【ミニバスのブザービーター】福岡市ミニバスケットボール夏季交歓大会決勝 百道SSvs和白東

    福岡市ミニバスケットボール夏季交歓大会決勝 平成27年7月26日 百道シューティングスターズ(白)vs和白東(黒) 同点、延長、逆転からブザービーター! 試合後の映像はこちら After the Buzzer Beater【ミニバスのブザービーターその後】福岡市ミニバスケットボール夏季交歓大会決勝 百道SSvs和白東 https://youtu.be/afyvn15Z-es Buzzer Beater【ミニバスのブザービーターTOP10】 https://youtu.be/avdq2yE40hc 百道シューティングスターズ http://www.geocities.jp/m_shooting_stars/index.html m_s_stars@yahoo.co.jp #ブザービーター #ミニバス #百道シューティングスターズ

    Buzzer Beater【ミニバスのブザービーター】福岡市ミニバスケットボール夏季交歓大会決勝 百道SSvs和白東