speakerdeck.com 市ヶ谷Geek★Nightさんにお声がけいただいて話してきました。re:Invent 2018に参加した話です。 まとめ QLDBは社内用途でサクッと使えそう。プラットフォームまたぎも技術的には面白そう。 Timestream早く来て。 Workshopやセッションの話はajitofmでしたのでそちらをどうぞ。 ajito.fm 会場提供いただいたオプトの皆様、どうもありがとうございました。
speakerdeck.com 市ヶ谷Geek★Nightさんにお声がけいただいて話してきました。re:Invent 2018に参加した話です。 まとめ QLDBは社内用途でサクッと使えそう。プラットフォームまたぎも技術的には面白そう。 Timestream早く来て。 Workshopやセッションの話はajitofmでしたのでそちらをどうぞ。 ajito.fm 会場提供いただいたオプトの皆様、どうもありがとうございました。
お知らせ: 8/4 #builderscon の12:10-12:40のランチセッションにて出張 #ajitofm をします。ランチがてら是非聴きに来てください!— ajitofm (@ajitofm) 2017年8月2日 builderscon, 今週ですね!弊社でもスポンサーさせていただいており、「ランチセッション枠もらったのでなんかやらない?」と話をふってもらったので出張 https://ajito.fm をすることにしました。8/4 12:10 - 12:40 イベントホールです。ランチでます!ゲストは @ajiyoshiさん、yowcowさん、そして初登場 トミールさんです。 builderscon.io いつも通り(?)ゆるい雰囲気で話していく予定ですのでお楽しみに!8/4は終日日吉にいますので是非お話しましょう〜。
みなさん、PHP書いてますか?ここ2ヶ月くらいPHPも書いていたのでその話を書きます。 この記事はVOYAGE GROUP techlog / Advent Calendar 2016の記事です。 例えば以下のような話に身に覚えはありませんでしょうか。 例外がどこかで握りつぶされており、例外的状況なのにエラー表示がまちまち。レスポンスステータスも一貫性がない。エラーログが適切に出ていない。 エラーログ出力用コードがいろんなところで散乱している。エラー文字列整形のための適当なヘルパメソッドがクラスごとに実装されている。 エラーごとにエラー表示のためのメッセージを設定するのが面倒になり、「システムエラーが起きました」とだけ表示されるようになってしまった。 例外ハンドリング周りのコードは考えるのが面倒なのでコピペだらけになっている。 オブジェクトの依存関係がクラスのプロパティに大量に埋め込まれて
こんにちは。 @suzu_v です。 Advent Calendar 2015 18日目 休載のお知らせ - VOYAGE GROUP techlog とのことだったので代打で書いてみます。*1 いま私が所属している fluct ではCIの一部にTravis CIを利用しています。用途としては、 継続的なテスト 継続的なビルド というところを担当しています。今日は簡単に、 Uploading Artifacts on Travis CI - Travis CI travis-ci/artifacts の紹介をします。 Travis Artifacts travis-ci/artifacts はTravis CIのアドオンとして利用されているもので、ビルド済みのartifactsを扱うことができます。私たちは一部のバッチやAPIサーバの実装について、Travis CIを利用したビルド及びs3
#ajiting Advent Calendar 2015 - Adventar 1日目 明日は @brtriver です。
気がつけばもうアドベントカレンダーの季節。今年も振り返りをしてみようと思う。 この記事はVOYAGE GROUP エンジニアブログ: Advent Calendar 2014の12/18分の記事です。 http://tech.voyagegroup.com/archives/7941760.html 去年も書いた振り返り記事: http://suzuken.hatenablog.jp/entry/2013/12/24/220213 書いていたら随分長くなってしまったし9割5分くらい自分の振り返りになってしまったしこれは最早ポエムに近いので、面白く無いかもしれない。3行に要約すると 分析チーム切り出した。課題多いけど着実に進んできている。 マネージャーっぽくなりつつ、相変わらず分析基盤を作るエンジニアをやっている。よりインフラよりのこともし始めた。 初めて技術書の執筆に携われて、大変だったけ
re:Invent 2014 breakout session 1日目 個人的にメモっておきます。 Keynoteでは、AuroraがでたりConfigだったりCodeDeployだったりがでました。細かい機能の話は参照しておいて、所感中心で。 聴いたセッションは以下のとおり。 SDD406 -- Amazon EC2 Instances Deep Dive SDD415 NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine BDT403 - Netflix's Next Generation Big Data Platform BDT402 -- Performance Profiling in Production: Analyzing Web Requests at Scale Using Amazon
『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』の出版記念イベントで発表してきました。会場を提供していただいたGMOのみなさま、主催のTreasure Data / 技術評論社のみなさま、そして聴きに来てくださった方々、どうもありがとうございました。 http://eventdots.jp/event/137658 各特集の著者によるそれぞれの特集の導入が前半にあり、後半はnaoyaさんとのパネルディスカッションがありました。 サービス改善はログデータ分析から from Kenta Suzuki 養成読本、おかげさまで多くの方に読んでいただいており、嬉しい限りです。僕のところは導入の章ということで、「なぜログの分析をするのか?」という点に絞って発表しました。内容としてはざっくりいうと、 ElasticsearchやFluentdを使いつつも、何をやりたいかによって使うツールは変え
sbtでJettyを動かしたのでメモ。Jetty自体もMavenではなくsbtでいれるようにする。以下のプラグインを使う。 JamesEarlDouglas/xsbt-web-plugin https://github.com/JamesEarlDouglas/xsbt-web-plugin このプラグインを利用したサンプルアプリケーションがあるので、これを参照しつつ設定する。 JamesEarlDouglas/xwp-template https://github.com/JamesEarlDouglas/xwp-template 今回の環境は以下のとおり。 OSX Mountain Lion 10.8.4 Scala 2.10.2 sbt 0.12.4 まずはプロジェクトのbuild.sbt name := "jetty-servlet-scala" version := "0.0.1
可視化ツールのことがよくわからなかったので、現状確認会を開催しました。 可視化ツール現状確認会 on Zusaar http://www.zusaar.com/event/7437003 LTのスライド&ブログまとめ あがっているものから随時更新します。 可視化ツール紹介 (showyouさん) Classification of Visualize Tool from show you 可視化ツール現状確認会でDISってきました #可視化 - White scenery @showyou, hatena http://showyou.hatenablog.com/entry/2014/06/05/003432 Mackerel と Graphite について (y_uuk1さん) Mackerel を使ったサーバメトリクス可視化の背景っぽいやつ #可視化 - ゆううきブログ http:/
管理画面から設定情報を保存しておいて、それをJSONで受け取ってfluentdのexec_filterで使うプログラム用に使っている箇所があります。管理画面のデータを保存するDBを、fluentdの入っているサーバ(以下、workerとします。)からは直接参照せず、管理画面のあるサーバからHTTPでJSON形式のデータをworkerで受け取るようにしています。workerでは定期的に設定情報のJSONを受け取るように設定しています。 しかし、定期的な設定情報の取得では更新からのタイムラグがあります。そこで、管理画面で設定情報が更新されたタイミングで準リアルタイムに設定情報を反映したいと考えました。 サーバに任意のカスタムイベントを送って、それを受け取ったら何かアクションを起こす的なことをしたいけど、Serfを使うまでもないし、かといって例えばfluentdをhttpで叩いてexecにつなげ
せっかくなので今年の振り返りをしてみます。個々エンジニアのタイムライン追うことはなかなか無いと思うので、そんな視点で楽しんでいただけると嬉しいです。 1-3月: 分析から始まった1年, HiveとかMahoutとか この頃はユーザの行動分析的なことを少しやっていた。 それとこの時期は協調フィルタリング周りを触って回したりしていて、実際の問題に適用した時の閾値の設定に悩んだりした。方法自体はシンプルなことをしていたのだけれど、所謂Web上の行動データを対象とした時にはデータの持ち方や効率性ということを考えると工夫の余地が色々あったりして面白い問題だった。よくある議論の種として、ある商品の閲覧情報をベースとしたレコメンデーションをする場合に、ユーザの類似性を利用するか商品間の類似性を利用するかによってシステムの作り方が変わるという点がある。理論を練るという点とこういう系統のシステムを作るという
弊社ではJenkinsおじいちゃんに日々お世話になっております。隣のチームの @_zoo さんもJenkinsおじいちゃんについての記事を書いておりました。 年の瀬にJenkinsの訃報が届いても、悲嘆にくれないために #vgadvent2013 - massの日記 http://mass.hatenablog.com/entry/2013/12/10/232532 ということで僕的最近のJenkins運用について書きたいと思います。去年の運用と今年の運用を比較していきます。 去年のJenkinsのタスク 以下のことをやっていました。何でも屋ですね。 デプロイ テスト 通知: メール 高度なcrontab 去年ad:tech TokyoでMapReduceジョブのdispatchとmonitoringをしているという発表もさせていただきました。 Jenkinsとhadoopを利用した継続的
これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したのでそれを貼っておきます。ざっというと、いい感じにいろんなログを受けいられるようにして、それらをモニタリングしながら整理して使えるようにする、という役割をもったプロダクトです。 Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp どこで使っているか ほぼ全てです。構成としては ログ収集サーバ | | out-forward (roundro
さきほど帰国。parse.comのメモに引き続き、re:InventでのLogglyのセッションについてもまとめておく。 【追記 2013/11/20 9:20】スライドがupされていたので貼っておきます。 要約すると、 お客さんから大量に送られてくるログをリアルタイムに捌くためのシステム 最初の設計ではSolrCloudを利用していた 第二世代ではElasticsearchを利用。システム全体としてElasticな環境に。 基本環境はKafka + Stormな構成 セッションの情報は以下のとおり。 ARC303 - Unmeltable Infrastructure at Scale: Using Apache Kafka, Twitter Storm, and Elastic Search on AWS This is a technical architect's case stu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く