2/18のデブサミ2016で発表したスライドになります。 著作権の関係上、ネタスライドは全て削除しております。 Developers Summit 2016【18-C-4】 株式会社アカツキ 駒井祐人 Read less
大規模Redisサーバ縮小化の戦い
2/18のデブサミ2016で発表したスライドになります。 著作権の関係上、ネタスライドは全て削除しております。 Developers Summit 2016【18-C-4】 株式会社アカツキ 駒井祐人 Read less
Rrdtool基礎から応用
8. ■RRDの作成 ● rrdtool create を使います ● コマンドはこんな感じ rrdtool create ファイル名 オプション スキーマ定義 ● オプションには --start 初期時刻 --step 更新間隔 (先ほどの輪の小さい丸の間隔) などがあります 9. ■スキーマ定義 ● DS (Data Source) ● MySQLでいう所のカラム定義 DS:DS名:DSタイプ:ハートビート:最小値:最大値 で定義 ● DSタイプはGAUGE,COUNTER,DERIVE,ABSOLUTEのどれか ● ハートビートは有効更新間隔 RRA (Round Robin Archives) ● ● ● ● ● ● ● ● データサイズを決めるようなもの RRA:RRAタイプ:xff:ステップ数:行数 で定義 データ保存期間は ステップ秒数*ステップ数*行数 RRAタイプはAVE
Kernel Recipes 2015: Solving the Linux storage scalability bottlenecks
Kernel Recipes 2015: Solving the Linux storage scalability bottlenecks lash devices introduced a sudden shift in the performance profile of direct attached storage. With IOPS rates orders of magnitude higher than rotating storage, it became clear that Linux needed a re-design of its storage stack to properly support and get the most out of these new devices. This talk will detail the architecture
How to use Virtualization Technology in Hatena
6. 仮想化技術 ハードウェアを抽象化し、複数のOSが動作で きるようにする Xen, VMware, QEMU, UML, KVM, OpenVZなど 古くは.. メインフレームの技術 Linux chroot, FreeBSD jail 7. 仮想化技術のメリット 可用性の向上 動作中の仮想マシンをほぼ瞬時に別ハードウェアに移動することがで きるため、ハードウェアのメンテナンスやアップグレードがサービスを停 止せずに行える。 柔軟性の向上 仮想マシン間でCPUやメモリなどの資源配分を指定することで、ニーズ に応じて適切な資源を無駄なく割り当て活用できる。 運用コストの低下 サーバ群において、他のサーバに環境を構築するのが容易である。 セキュリティの向上 仮想マシン環境は互いに隔離されており、ある仮想マシンで動作する 有害なソフトウェアがほかの環境や仮想マシンモニタに悪影響を与え ること
Google Cloud Datastore Inside-Out
Explaining an index structure of Google Cloud Datastore as well as underlying components such as Google File System (Colossus), Bigtable and Megastore. Session video (Japanese) https://youtu.be/H-tZUZGBo60?t=8524 2016/11/08 ver1.0 Published 2016/11/11 ver2.0 Add notes on Spanner 2017/02/09 ver2.1 Fix on Spanner's consistency description.Read less
ひしめき合うOpen PaaSを徹底解剖！ PaaSの今と未来
18. $ ls index.php info.php $cf push jft-‐php Creating app jft-‐php in org cln100021251 / space production as xxxxx... OK Creating route jft-‐php.paas.jp-‐e1.cloudn-‐service.com... OK Binding jft-‐php.paas.jp-‐e1.cloudn-‐service.com to jft-‐php... OK Uploading jft-‐php... Uploading app files from: /Users/jacopen/Project/jacopen/jtf/php Uploading 1.7K, 2 files Done uploading OK (中略) state
AWSとGCPを使用したインフラ環境
TakusutaTechConf #1 での発表資料です。 http://connpass.com/event/21361/Read less
Prometheus on AWS
5. AWSに適している点 • multi-dimensional data model & flexible query language – RoleやAZごとにメトリクスを集計して比較 – 負荷傾向が異なるインスタンスを検出 • pull model over HTTP & service discovery – Roleなどを条件にモニタリング対象を設定 – モニタリング対象増加への対応が容易 6. multi-dimensional data model • インスタンスのメタデータをlabelに記録 key value instance_id i-1234abcd instance_type ec2, rds, elasticache, elb, … instance_model t2.large, m4.large, c4.large, r3.large, … region
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
インフラ部門で働くCプログラマの話
12. miruo Pretty-Print TCP session monitor/analizer miruo を⼀⾔で説明するなら「⾒やすい tcpdump」です。当社⽐10倍です、ISUCON 勢に オススメです。TCPセッション毎にパケットをまとめて出⼒するため、パケットの流れが格 段に追いやすくなります。また、問題のなさそうなパケットはあえて省略して表⽰しないの で、興味のありそうなパケットだけが出⼒されます。 $ ./miruo --all -i en0 -m http tcp port 80 listening on en0, link-type EN10MB (Ethernet), capture size 1522 bytes 0001 0.048 | 10.0.0.100:62511 == 125.6.190.6:80 | Total 21 segments, 133
Web-Gakkai Symposium 2010
11. 関連エントリー機能の実装 (株) Preferred Infrastructure (PFI) と共同開発 PFI のリコメンドエンジン Bayesian Sets [Z.Ghahramani, K.Heller, NIPS 05] クエリと同じクラスタに含まれると思われる順にアイテムをソートして返す http://chasen.org/~daiti-m/diary/?0214 入力は記事に付けられたタグ ･･･ 後述 13. 記事分類の実装 Complement Naive Bayes [JD.Rennie, L.Shih, J.Teevan, D.Karger, ICML 2003] Naive Bayes の学習データに補集合を使う 「そのカテゴリに属さない文書」で学習 -> 「 属さない確率」が最も低いクラスを割り当てる クラスの偏りに強い、学習がそこそこ速い http:/
Pydata Amazon Kinesisのご紹介
1. Amazon Kinesisの紹介 と使いドコロ アマゾンデータサービスジャパン株式会社 パートナーソリューションアーキテクト 榎並 利利晃 2. ⾃自⼰己紹介 • 名前 – 榎並 利利晃（えなみ としあき） – toshiake@amazon.co.jp – @ToshiakiEnami • 役割 – パートナーソリューションアーキテクト – 主にエマージングパートナー様を担当 • 好きなAWSのサービス – Amazon Kinesis – Amazon DynamoDB 3. AWSでの例例：迅速かつ正確なメータリング情報の集計 S3 Process Submissions Store Batches Process Hourly w/ Hadoop Clients Submitting Data Data Warehouse 毎秒数千万レ コードの利利⽤用 データ 何⼗十万も
SmartNews Ads System - AWS Summit Tokyo 2015
AWS Summit Tokyo 2015にて弊社Engineer小宮・蘭が発表した内容になります。 SmartNews は Machine Learning を技術の中核に据える会社であり、これは広告のシステムに関しても同様です。SmartNews ではデータサイエンティストが思う存分腕を振るうための環境を作ることが Product の成功につながると信じています。具体的には、データサイエンティストが「探索（exploration）」と「活用（exploitation）」のイテレーションを高速で回していける環境を作る必要があります。 そのために SmartNews が行っている取り組み、技術的な仕組みを SmartNews Ads のシステムを掘り下げながらご紹介いたしました。Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エディタの壁を越えるGoの開発ツールの文化と作成法
ちょっとOverlayfsの実装、読んでみました(A brief report of overlayfs source code reading)
AWS Lambda in Golang
浮動小数点（IEEE754）を圧縮したい＠dsirnlp#4
Amazon Kinesis Analytics によるストリーミングデータのリアルタイム分析
リアクティブ・アーキテクチャ ～大規模サービスにおける必要性と課題〜 #devsumi
分散ストレージソフトウェアCeph・アーキテクチャー概要
