概要 このへんの本を読んで復習がてらに書いてく 計算式 (物理RAMの合計) ― {max_connections x (スレッドバッファによる消費) + グローバルバッファによる消費} > 0 グローバルバッファ + スレッドバッファで消費されるであろうメモリサイズが物理メモリサイズを超えないようにする 物理RAM：r3.2xlargeで61GB グローバルバッファ(サーバ全体に設定されるオプション) すべての接続とクエリに影響する mysqldが獲得できるRAMの量を計算し、バッファサイズの合計がこれを超えないようにする オプション query_cache_size innodb_additional_mem_pool_size innodb_buffer_pool_size innodb_log_buffer_size key_buffer_size 消費メモリ計算式(GB表示) S

通知が多すぎて担当日を見逃してしまい、大遅刻。ごめんなさい！ Index Hintとは MySQLにはIndex Hint機能が実装されています。 ドキュメントから引用すると、こんな具合の構文ですが、要は使うINDEXを指定することができます。 tbl_name [[AS] alias] [index_hint_list] index_hint_list: index_hint [, index_hint] ... index_hint: USE {INDEX|KEY} [FOR {JOIN|ORDER BY|GROUP BY}] ([index_list]) | IGNORE {INDEX|KEY} [FOR {JOIN|ORDER BY|GROUP BY}] (index_list) | FORCE {INDEX|KEY} [FOR {JOIN|ORDER BY|GROUP BY}]

chromebookのさくさく感が病みつきになっている。 chromeOSの標準はvim7.3。 vim7.4やgitやrubyがいれられるといいなと思っていると、先人の偉業があった。 cromebrew これは、Linux brewと同じように、root権限を必要とせず、OSとは異なる独自のパッケージ管理を行う仕組み。 ChromeOSの場合は、/usr/localにbrewのパッケージがインストールされていく。 cromebrewのインストール 以下の一発でOK。 wget -q -O - https://raw.github.com/skycocker/chromebrew/master/install.sh | bash インストール結果 これだけで、/usr/local に以下の様なコマンドが入る。make、Cコンパイラから、git、ruby、pythonまで十分過ぎる充実感だ。

Backbone.js を勉強した時のメモ。 Backbone.js とは CoffeeScript, Underscore.js などの作者である Jeremy Ashkenas が作っている JavaScript フレームワーク（jashkenas/backbone | Github）。 クライアントサイドで MVC を実装するための下地（骨組み）を提供する。 Angular.js がフルスタックで様々な機能が用意されているのに対して、 Backbone.js はあくまで Backbone（背骨）であり、骨組みを用意するのみ。 双方向のデータバインディングなどの機能はない。 肉付けをするのは、プログラマのお仕事。 機能が少ない分、覚えることは Angular.js に比べれば少ない、と思う。 Hello World 用意するファイル 本体。これがないと始まらない。 Underscore

はじめに Let's encrypt がBeta リリースされ、ユーザ登録無しで誰でも無料のSSL/TLS 証明書を作成できるようになりました。 ここではLet's encrypt で証明書を発行する手順について、自分が作業をした時の手順を備忘録として残しておこうと思います。 事前準備等 今回はFedora 23 上でLet's Encrypt の証明書を発行する手順について説明していきます。 今回の手順では割愛しますが、Let's encrypt で証明書を発行するために、事前にドメインを取得しDNS から名前解決(A/AAAA or CNAME)できるように設定をしておいてください。 今回証明書を発行する環境では既にApache がインストールされており、後術するwebroot オプションを使用して証明書を取得していきます。 letsencrypt クライアントの取得 Git からリポ

今朝、SlackにGoogle Calendar連携機能が追加されました。 Google Calendar Reminders Come to Slack | Several People Are Typing Slack can now send you Google Calendar alerts 連携方法 おなじみのIntegrationsページから、Google Calendar optionを選びます。 許可しましょう(　´･‿･｀) 設定項目がかなり豊富です。 とりあえず全部オンにしてあとで不要なのを外せば良いかなと思って設定しました。 無事に連携出来ました。 今は1つだけ連携した状態ですが、もっと追加可能です。 活用方法 僕の所属するookamiでは、共有カレンダーが1つあり、とりあえずそれと#generalを連携しました。 また、いくつも連携出来るので、個人カレンダーとSl

※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使

JavaScriptにおける、ECMAScript6についてのまとめの前編です。またこの記事では、実践で使える情報のみまとめています。網羅的にすべてをまとめている情報ではありません。 基本構文の続き、アロー関数やPromiseはこちらの記事で。 ECMAScript6のアロー関数とPromiseまとめ - JavaScript 技術情報のみつぶやくアカウント作成しました。ECMAScript6などの最新情報も追っていきます。 Twitter: @takeharumikami RSSはこちら Feedly: Feedlyをフォロー RSS: http://qiita.com/takeharu/feed letによるブロックスコープ JavaScriptの他言語との違いで、悩めるポイントとしてスコープの範囲があります。ECMAscript6から、let命令により関数スコープではなく、ブロックス

日本国内でも随分使われるようになってきたSlack、みなさん随分使いこなしていると思うのですが、Slackも日々目まぐるしく進化してます。リリースを眺めたりするのが好きな筆者が「よく使う機能」や「これは便利だぞ」という機能を厳選して紹介します。 ※) 紹介しているのは、MacのクライアントAppを前提としています。 Slash Commands編 参照：Using slash commands – Slack Help Center みなさん、スラッシュコマンド使ってますか？ Slackでは殆どのことがスラッシュコマンドでできるといっても過言ではないくらい沢山のスラッシュコマンドがあります。ちょっと工夫すればオリジナルのスラッシュコマンドも作れるので楽しいですよ。 では、イチオシから紹介します１ リマインダー機能 たぶん、slackにリマインダー機能があることに気づいている人は少ないはず…

Google BigQueryはクエリで処理したデータ量だけ課金される。テーブルが大きくなれば大きくなるほど課金されてしまうのである。これではログを1つのテーブルに大量に挿入していると困ったことになってしまうように見える。 Google BigQueryでは、このような追記型のテーブルに対して、テーブルのサブセットを利用することで、クエリにかかるコストを削減できるTable Decoratorという機能がある。 Table Decorators - Google BigQuery - Google Developers この記事は上記記事の抄訳となる。 Table Decoratorを利用する 通常、BigQueryにはクエリ実行時に全てのカラムをスキャンする。Table Decoratorを使用することで、データのサブセットに対し、費用効果の高いクエリを実行できる。Table Decor

前回の記事、「Let's Encryptから無料・安全なSSL証明書を取得してNginxに設定するまで」で、Let's Encryptから無料のSSL証明書を取得する方法を紹介しました。 Let's Encryptは、2015/11/17現在ベータ運用中ではありますが、だからと言って発行されたSSL証明書に問題がある訳ではありません。 その証拠に、Let's Encryptから取得したSSLサーバ証明書をnginxに設定し、Qualys SSL Testで検査したところ、無事「A+」評価が獲得できました。 (※役に立つかわかりませんが、テスト結果の完全なスクリーンショットも置いておきます。サイズが大きいので注意 / 0.5M) ちょっと長いですが、設定の手順をご紹介します。 (どちらかというとQualys SSL TestでA+を取る設定についての一般的な話で、Let's Encryptの

はじめに 先日のGCP ja Nightはどーもありがとうございました。 『運用がQiitaだと？』と言うつぶやきもありましたが、まぁそれはそれで良いと思うんですよね。世の中の常識の運用なんてぶっ飛ばしていいと思う。運用から見えてくるいろんなモノを新しいテクノロジーで解決するってのも積極的にやらないとね。じゃないと開発だけにお株を奪われてつまんないでしょ？（笑） で、その中でうちの子が言ってた『データをアップデート出来ない？気にしなきゃいいんだ！』を詳しく解説したいと思います。 どういうデータをアップデートするのか？ そもそもBigQueryに入れているデータなんてアップデートするもの入れなきゃ良いんじゃない？ということもあります。が、うちの場合だと商品マスタなどを入れて他のデータとJOINすることがあります。 なんで商品マスタをアップデートする必要があるか？例えば某48人居るアイドルグル

GoogleBigQueryの問い合わせクエリー肥大化でメンテが大変なことになったので、人間のためのクエリーを書けるよう工夫する話です。データ収集基盤としてBigQueryを採用しています。スマホアプリやサーバで生成される全てのユーザ行動ログをfluent経由でBigQueryに投入してデータサイエンティストに自由に活用してもらっています。 データ収集基盤の仕様設計 BigQueryはGoogle様のクラウド技術を利用して100GByteのフルスキャンだって10秒で終わるイケてるサービスです。BigQueryをデータ収集基盤として運用すればReadが超高速なので、アプリエンジニアは行動ログを仕込むだけ、データサイエンティストは蓄積されたデータを利用してビジネスに活用とWin-Winの関係が築けるはずだ、と思っていたのですがそう上手くはいきませんでした。 問い合わせクエリー肥大化による業務効

最近APIのバリデーションを行うのにJSON Schemaを使おうという話をよく聞くのですが じゃあやってみようとすると、単体のJSONのバリデーションを行うことは出来るけれど それが実際の運用に適用できるようにするためには、 それなりに考えなくてはいけないようです。 JSON Schemaって? JSON Schemaは、文字の通りJSONのスキーマ定義を明確にするものです。 2014/09/07現在、IETFにdraft v4が3つに分割されて公開されています。 JSON Schema Core JSON Schema Validation JSON Hyper-Schema それで、単体のJSONファイルの確認ならばCoreだけで十分なのですが WebサービスのAPIを管理しようとなると、 JSON Hyper-Schemaのほうで定義されているlinksを使って、ひとつのURIに対

概要 Google Bigqueryをコンソール上から扱う時の手順についてまとめる ちなみに、下記のような時に恩恵が得られる 純粋にブラウザ開くのがめんどくさい時 環境 Mac OS X 10.10.5 セットアップ 参考： * Big Queryの使い方を10分で試してみる * BigQuery console api “Cannot start a job without a project id” CLIのセットアップ

BigQueryにデータをインポートする際はBigQuery Streamingを利用するfluentd-plugin-bigqueryがとてもとても便利ですが、BigQuery Streamingは来年から有料になります。 ストレージの課金が容量(GB)単位なのに対してBigQuery StreamingはInsertされた行数(0.01＄/10万行)単位で課金されるようになるのでデータの流量が多いサービスを運営している場合はその費用が気になるところです。 なのでfluentd-plugin-bigqueryと比べると自動化するのが少々面倒ですが、BigQueryにデータをバッチでインポートする方法を考えてみます。 BigQueryにデータをインポートする 例えばFluentdで集約したアクセスログを1時間毎に区切ってgzip圧縮して保存したファイルをBigQueryにインポートするとし

Page Visibility APIというものを使うと、タブが表示・非表示になった際にイベント発火できます。 対応ブラウザはこちら http://caniuse.com/#feat=pagevisibility もう大体大丈夫そうですね Javascriptでこんな感じで書くといいらしいです。 document.addEventListener('webkitvisibilitychange', function(){ if ( document.webkitHidden ) { // 非表示状態になった時の動作 } else { // 表示状態になった時の動作 } }, false); webkitvisibilitychange の部分はプリフェックスが不要なブラウザの場合は visibilitychange でいいようですが、こちらに対応しているブラウザについては追って調査します。

※ visibilitychangeへの言及を修正いたしました。 ※ iOS 8.1以降の変更かもしれませんが、いつの間にか、Safariをバックグラウンドに移したり、端末がスリープしたりするくらいでは、WebSocketが勝手に切られたりはしなくなったようですね...。何のために苦労してこんな記事を書いてしまったのだろう... はじめに iOS向けにWebSocketを使うWebアプリを書いていたら、端末放置中にロック画面になったのでロック解除してSafariに戻ってみたら...問答無用でWebSocketが切断されましたとさ、という目に遭ってムッとしてしまったので、せっかくなので色々とまとめてみようかと思いまして。 Safariを使う場合とUIWebViewでの埋め込みWebアプリでの両方について書いてみます。(後者は条件によって色々変わるかもしれませんが...) Safariの場合:

関連記事: VirtualBox+UbuntuにLEMP環境構築 nginScriptを試す(1):nginxをソースコンパイル 実はよくわかってないHTTP/2 ヾ(・ω<)ﾉ"　三三三●　ⅱⅲ コロコロ♪ ------------------- ↓ 余談はここから ↓------------------- nginScriptはさておき、 今後主流になっていくであろうhttp2に対応させてみようと思う。 SPDYの頃から概要は知っても、 提供する側でも使う側でも触れる機会がなかったので、 メリットデメリットについてそれほどわかってない。 ただ、とりあえず対応ぐらいでもメリットはありそうなので、 動かして確認ぐらいはしておこうと思う。 ヾ(・ω<)ﾉ"　三三三●　ⅱⅲ コロコロ♪ ------------------- ↓ 本題はここから ↓------------------- ngi

Android端末向けにアプリやwebサイトを開発するときに役立つツールと接続方法のメモ。 Vysor VysorはGoogle ChromeのアプリでPCに接続されたAndroid端末の画面をPC上に表示することができる。 ただし、Screan Recording機能を利用しているらしくAndroid4.4(Kitkat)以降の端末でしか使えないようだ。 特徴 表示するだけでなく、PC側から操作することができる。 文字入力をPCのキーボードを使ってできるのが非常に便利。 日本語の入力もPC側のIMEではなく端末側の機能を使うのだが可能。 Vysorを利用しながら、Android Studioから開発中のアプリを端末で起動することもできる アプリの開発中に使えば、アプリを起動して端末を手を持っていくことなく、PCの上で操作できてしまうので便利。 動作そのものは完全に端末側なのでエミュレータ