Redis Lua scriptingをatomicな処理とcache stampede対策に使った話
こんにちは。LINEでゲームプラットフォーム開発をしているKagayaです。この記事はLINE Advent Calendar 2017の18日目の記事になります。昨年新卒入社1年目で執筆した「マイクロサービスのためのプロジェクト生成ツールLazybonesを使ってみた」に引き続き、今年もAdvent Calendarの記事を書くことになりました。よろしくお願いします。 はじめに—RedisとLINE GAMEプラットフォーム LINE GAMEプラットフォームでは、インメモリNoSQLデータベースであるRedisをメインデータベースの1つとして利用しています。キャッシュとしての利用が多く、例えば、LINEやFacebookなどのアカウントで認証を行っているユーザのソーシャルデータ（プロフィールや友だちリストなど）のキャッシュに利用しています。基本的にはRedis Clusterとして利用
FUSEを使ってコマンドをファイルでラップする - tokibiブログ
少し前からFUSEに興味が湧いて色々作りたいものを考えていました。年末年始にある程度動くものができたので一旦まとめてみます。 github.com ちなみに数日前に同僚のharasouさんが cat するたびに内容が変わるファイル？を作った という記事を上げていて、内容がかなり被っているので二番煎じ感がすごいです。 何をするものか 大体GitHubのREADMEに書いていますが、以下のような設定ファイルをyamlで定義してnanafshiを使ってマウントすると、読み込んだり書き込んだりした時に内部でコマンドを実行するファイルが作成されます。 shell: /bin/bash services: - name: dir files: - name: example read: command: curl http://www.example.com/ - name: writable rea
読んでいないけれど、『読んでいない本について堂々と語る方法』を堂々と語ってみる - Unknown Error
先日、Engineering Manager Meetupのオフ会の一貫で、@aomoriringoさん、@ohbaryeさん*1、ujihisaさん、つよぽそさんと食事をした。このとき、一冊の本が話題になった。 それが、『読んでいない本について堂々と語る方法』である。 読んでいない本について堂々と語る方法 (ちくま学芸文庫) 作者: ピエールバイヤール,Pierre Bayard,大浦康介出版社/メーカー: 筑摩書房発売日: 2016/10/06メディア: 文庫この商品を含むブログ (15件) を見る これが名著であるということで、その場で即買いした。 このエントリではこの本について語る。 本題に行く前に最初に宣言しておこう。 タイトルにある通り、私はこの本を読んでいない。 読んでいない本を語るとは何事だ、けしからん、と思う方は、是非ここでお帰り願いたい。 本の構成 大きくは三部構成にな
SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
2020年こそ理解したい「因果推論」の勉強はじめました｜松本健太郎
あけましておめでとうございます。2020年もよろしくお願いします。 2019年は「データサイエンティストなのにデータ万能主義を否定している」的スタンスでのメディア露出が増えました。 発言に矛盾はないと思います。データ触っている人ほど、データに慎重ですよね？ 加熱するデータへの過度な期待を、少しでも冷ませられたら幸いです。しかしデータ自体への火は消していない。火を絶やすでないぞぉ。ただ、データ分析の全てを否定したわけではありません。 実は取材を受ける度に「これからは因果関係を発見する因果推論が重要」と主張してきました。2020年代はますます重要性が増すと考えています。 新年１発目のnoteは、その論拠をまとめてみました。 2020年代は因果推論がアツいと思う理由私がデータ分析を始める際、いきなり数字は触りません。まずは「目的」と「アプローチ」を定義するところから始めます。 目的（WHATとW
新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた
このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
DOTSプロトコルを使ってDDoS対策を自動化してみたい！ - Qiita
NTTコミュニケーションズアドベントカレンダー 12日目。 今日は、荒ぶるDDoS攻撃1からサービスを防御するための新しいプロトコル DOTS (DDoS Open Threat Signaling)を紹介します。 DOTSプロトコルについての詳しい日本語の記事は初めてなのではないかと思います。 DOTSとは？ DOTSとはIETFで策定中のDDoS対策のためのプロトコル DDoS対策の自動化と標準化を実現するよ OSSによる実装がでているよ この記事では、OSS実装である go-dots を使って、DOTSプロトコルの利用方法を紹介します。 これからのDDoS対策の話をしよう DDoS攻撃は2つの方向で脅威が進化しています。 大規模化: Arbor社によると、2016年のリオオリンピックでは、500Gbpsを超えるDDoS攻撃があったとのことです。IoTなどインターネットに接続される機器
perf, ftraceのしくみ - 睡分不足
Linuxのトレーサーであるperfやftraceのツールの使い方に関する情報は結構ありますが，構造に関してはあまり見つけられなかったため，ここに簡単に調べたことをまとめようかと思います．（ツールの使い方の説明はあんまりしないです．） この文章はLinux 4.15のソースに基づいています． 全体像 ftrace function trace tracepoint (static event) kprobe (dynamic event) その他のtracer trace-cmd perf PERF_TYPE_HARDWARE, HW_CACHE, RAW PERF_TYPE_SOFTWARE PERF_TYPE_TRACEPOINT PERF_TYPE_BREAKPOINT USDT (SDT Event) perf-tools perf ftrace straceとの比較 その他 pe
Multi PaxosをJavaで実装してみた - As a Futurist...
Java の練習と分散システムの理解のために、Multi Paxos の実装をしてみてた。16 ファイルで 970 行程度で一応正常系は動くものはできたと思う。そろそろ疲れたので切り上げ。コードはださないけど、やったことをまとめ。 実装方針 この記事を何度も読んで、この通りに実装した。それに尽きる。 Understanding Paxos もちろんPaxos Made Simpleも読んだけど、実装するにあたっては上の記事がきれいにまとまってて必要十分だったので助かった。特に Multi Paxos について丁寧に説明があるのでありがたかった。 まずは Paxos を実装 Paxos は単一の値の合意をとるためのプロトコルで、まずはここを実装した。上の記事通りに、Proposer/Voter/Arbiter の 3 Role を class で実装。一応分けたけど、Peer としてはどれも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
