スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
![スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech](https://cdn-ak-scissors.b.st-hatena.com/image/square/caa6565e3a5bc0f13f05400dbbe33cba5a6206b5/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F8ed31ad050c249a6ad6f62c00e467828%2Fslide_0.jpg%3F4566622)
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
2015-03-16 AWS(Amazon Web Services)技術資料メモ(2015年3月版) 2015年3月版に更新。 技術資料はココにあるんだけど、散らかってるのでまとめてみた。全体的に資料の日付をチェックした方がいいかも。資料公開からアップデートがある場合も。あとどの資料も最初に概要入っててごめんなさい。 概要的なやつ スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 from Hiroshi Takayama →つまづきやすいポイントや不安点など WebサービスStartUP向け AWSスケーラブルな構成例 WebサービスStartUP向け AWSスケーラブルな構成例 from Amazon Web Services Japan →構成例・代表的なサービスの一言紹介・課金関連・サポ
3. 本日のお話 ● 運用管理の 監視 に特化した話です ● 監視に重要となる考え方、観点とともに、 基本的な設定やテクニックを中心に紹介します – まずは「これだけはやっておこう」というアレコレ ● PostgreSQLを使う(使ってみたい)ことになっ たけど、よくわからなくて困っている方の手助 けになれば幸いです ● バージョンに依存した話ではありません – 機能上、バージョンを意識した話は注釈を入れてい ます 4. (ちょっと寄り道) 最近のPostgreSQL 2011 2012 2013 9.0 9.1 9.2 2010 8系 -2009 9.3 2013.9.9 に最新版となる Ver 9.3.0 リリース! 非同期レプリケーション ホットスタンバイ SQL構文強化 同期レプリケーション UNLOGGED TABLE SQL/MED カスケードレプリケーション IndexOnl
はじめに AWSチームのすずきです。 クラウドサービスのAWS、有効なクレジットカードと電話番号があれば、10分ほどでその利用が開始できます。 AWS アカウント作成の流れ この様に簡単に取得できるAWSのアカウントですが、その管理が不適切な場合、意図せぬ事故の原因となることがあります。 今回、AWSを安全に安心して利用するため、AWSアカウントを開設後に実施すべき設定についてまとめてみました。 AWS環境が、弊社クラスメソッドメンバーズを初めとする請求代行サービスを利用されている場合、一部当てはまらない項目もありますのでご注意ください。 目次 ルートアカウントの保護 MFA(多要素認証)の導入 アクセスキーとシークレットキーの確認 IAM(Identity and Access Management)設定 IAMグループ作成 IAMユーザ作成 IAMユーザの認証設定 IAMのパスワードポ
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
<前編のあらすじと後編のお話> 本企画のホストである伊藤直也(以下「naoya」)と、『フリークアウト』執行役員であり『ヤフー』のフェロー/名誉黒帯でもある明石信之(以下「明石」)。意外にも初顔合わせとなる二人だったが、Web業界を長年リードし続けてきたという共通項もあり、酒肴を愉しみながらのマネジメント談義は大いに盛り上がりを見せた。明石氏が『フリークアウト』に参画後、色を組織名にするなど、破天荒とも思える組織マネジメントの実例も披露され、その深い洞察にもとづく一手に、naoya氏は大いに感銘を受けるのだった――。 ⇒【前編】の記事はこちら 【後編】となる今回は、明石氏の『フリークアウト』における取り組みを掘り下げていくことで、そのマネジメント論の神髄に迫っていきます。大の魚好きという点でも一致する二人の会話は、酒の力もあってますますヒートアップしていきます。 — naoya:チーム名の
機械学習には様々な種類・アルゴリズムが存在するが、それらにほとんど100%共通して言えるのは、機械学習とは 「データの分類を計算機で自動化する」 技術である。 現代社会では至る所に機械学習が応用されているが、スパムフィルタも言語判定も文字認識も含め普く機械学習は 「計算機で自動的に受け取ったデータをいずれかのクラスに分類する」ことになる。 機械学習の種類 機械学習には学習の仕方によっていくつかの種類がある。 教師あり学習(Classification) 学習時に学習データとラベル(つまり答え)を一緒に学習させる。手書き数字認識なら 学習データ: 手書き数字の画素 ラベル: 手書き数字が0〜9のどれなのか 教師なし学習(Clustering) 学習時にラベルを与えず、学習アルゴリズムに勝手に「いい感じの」境界を作ってデータを分類させる。例えば自然言語で書かれたテキストの分類など。 発言を自動
2015春インターン講義資料 これの続編です ピクシブ新広告サーバー構築物語 // Speaker Deck https://speakerdeck.com/catatsuy/pikusibuxin-guang-gao-sabagou-zhu-wu-yu
勉強会、カンファレンスで使うプレゼンテーションをつくる際の画像の探し方。 一時期「プレゼンテーションZen」が話題になったように、大きな写真を使ったプレゼンテーション手法が使われることがあります。どのような手法であってもプレゼンテーションをより魅力的にするために、あるいは内容をより伝わりやすくするために視覚的なイメージを使うことは有効な手段だと思います。 いざ画像を探そうって時に、自分の持っている画像で事足りれば問題ないのですが、だいたいそうじゃないからけっこう画像探しって困ってしまいますよね。 ということで、普段私が画像を探す際に利用しているサイトをご紹介します。 権利関係については以下をご一読いただけるといいと思います。 クリエリティブコモンズライセンスとは 結局これだけあればなんとかなるセット【更新】 詳細については各サイトの指示に従い、自己責任でご使用ください! Unsplash
2015 年 1 月 30 日に Viling Venture Partners で行ったグロースハックに関する講演資料です。 『君にグロースハックはいらない』というタイトルは別にグロースハックを dis っているわけではなく、いずれ必要になる方法がまとまっていると思います。ただ 74% のスタートアップの死因が premature-scaling という報告もあるように、あまり初期においてスタートアップが (細かなテクニックなどを中心に膾炙してしまっている) グロースハックの手法に力を入れてスケールしてしまうと、意味がないどころか自分の首を絞めるだけなのでは、という考え方を中心にまとめています。
はじめに 最近、新しい市場を求めてサービスを海外展開しようとしている会社が増えてきています。サービスを海外展開するにあたって気にしなければならないことがいくつかありますが、そのうちの一つに通信環境があります。私は先週までインドネシアにいましたがAkamai Technologiesによるとのインドネシアの通信速度は日本の6分の1程度で、実行環境に厳しい制約があります。またFacebookによると、Facebookアプリの通信量のうち85%は画像が占めているというデータがあります。そこで、画像の読み込みを改善すると通信量をグッと減らせると思い、画像読み込みライブラリの比較をしました。 Picasso vs Glide Androidでは、Squareが開発しているPicassoと、Bumptechが開発しているGlideというライブラリが有名で、使っている方も多いと思います。次のコードをご覧
よく訓練されたアップル信者、都元です。AWSを利用していると、APIキーの利用は必要不可欠です。数多くのAWSアカウントを扱っていれば、たまたまAPIキーは利用せず、管理コンソールへのパスワードだけで済んでしまうケースもあるかもしれませんが、これはごく例外的な状況です。しっかりとAWSを使いこなしている以上、APIキーを管理する機会が必ずあります。 鍵管理が大変 というわけで、皆さんは自分用のAPIキーを数多く管理しているわけですが、その管理は行き届いているでしょうか。少なくとも「失くしたwww」なんていう事態は是非避けたいものです。大丈夫すか? では、とあるキーがありましで、それが書き込まれている場所を全て挙げられますか? あちこちのファイルに書き込んだりしていませんでしょうか。aws-cli用の設定ファイルはもちろん、環境変数設定用の~/.bash_profileの中、シェルのhist
美雲このはとは? 座敷童子一族の末裔として生まれ、栃木の由緒正しい某神社で暮らしていたんだけど、昔からのしきたりで一人前の座敷童子になるため東京で修行を開始! 紆余曲折あって、ConoHaの応援団長に就任することになりConoHaを使っているみんなを応援するとともに、このはも一人前の座敷童子ではなく、「神様」になるために日々頑張っているよ! プロフィール 名前:美雲 このは (みくも このは) 年齢:年齢という概念はないが、人間でいうと13歳くらい? 身長:150cm+α 体重:ひみつ 長所:勉強熱心・わりと機転がきく 短所:いじわると勘違いされる振る舞いをしがち 好きなこと:アニメを見たりゲームしながらのごろごろ
最近すっかり Atom 使いになってきたので、設定とプラグインをさらしてみます。他の方のもぜひ見てみたいので、みんなでさらしましょう! テーマ SublimeText で使ってたのと同じ名前の Flatland Dark Theme と Flatland Dark UI Theme があったのでこれを使っている。 キーマップ キーマップとかは特に変更なし。vim-mode 使ってる。 スタイル 色弱なのでカーソル位置が分かりやすいように Stylesheet は下記のように変更して、検索結果が目立ちやすいようにちょっと派手目に。 .editor { .current-result .region { border-color: green; } .find-result .region { border-color: yellow; } } .editor .cursor { } .vim
UNIXの基本をなすプロセスやシグナルなどを分かりやすく解説した技術ドキュメント「Process Book」がGitHubにて公開されています。 同ドキュメントは、プロセスの生成、プロセスとファイル入出力、ファイルディスクリプタ、preforkサーバーの作り方、ゾンビプロセスと孤児プロセス、シグナルとkill、プロセスグループとフォアグランドプロセスといった話題を解説するドキュメントで、GitHubのreleasesディレクトリにはPDF、epub形式のファイルも格納されています。 UNIX環境でプログラムを開発する際に役立つだけではなく、普通のユーザーとしてターミナルを使ってコマンド操作を行う際にも役に立ちそうな内容だと思います。
コーディング規約を自動化する著者: Filip van Leanen あなたも見たことがある光景かもしれませんが、新しいプロジェクトが立ち上がる時というのは、みんな「抱負」を持つものです。ああも使用、こうもしよう、と希望に燃えるのです。そういう抱負は、多くの場合ドキュメントにまとめられます。たとえば「このプロジェクトでは、一定の規約に従ってコーディングをする」ということが決定され、その規約がドキュメントにまとめられたりするのです。キックオフミーティングでは、プロジェクトリーダーがドキュメントの内容を承認し、プロジェクトのメンバーの多く、時には全員が、その規約を守ることに賛成します。しかし、いざプロジェクトが開始されると、こうした最初の抱負は徐々に顧みられなくなっていきます。そしてプロジェクト完了時には、規約など全く無視された無秩序なコードが、なぜそうなったのか誰にも理由がわからないまま、納
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く