巨大なデータを扱う場合のRedisの運用戦略 - Qiita
はじめに Read/Writeともに高速で，様々なデータの持ち方が可能なことでキャッシュDBとして人気のあるRedisですが，何も考えずに実運用システムで使用しているとデータが肥大化してしまい非常に扱いにくくなることがあります． 今回は，データの肥大化とともに顕在化する問題と，データの肥大化に対する戦略についてまとめたいと思います． データの肥大化時に顕在化する問題 何のキーが入っているか分からなくなる Redisはオンメモリ型のKVSであるため，データがある程度増えてくるとサーバのメモリ容量を圧迫し始めます． このような状態で，プロダクション環境に対して keys * などをやってしまうと，一時的にメモリ使用量が跳ね上がり，メモリ使用量を抑えるためにRedisがキーを削除したり，OOM KILLERにRedis Serverごと殺されてしまう可能性があるため，そういったコマンドはうてなく
真剣にRedisを使ってみようという気持ちになったのでRedisについて知っていることを書く - なんかかきたい
年末ですね。更新がおろそかになっていたので、たまにはちゃんとした話をしたいなと思い、前々から書こうと思っていたRedisの話を書いてみました。 検証に使用したRedisは3.2ですので、新しくバージョンが変わると以下の話は変わってくるかもしれませんが今のところそのようなことはしばらくなさそうです。 以下長々とRedisを本当に使えるように設定したり調べたり検証したりした内容を書いていきます。 いまさらですが Redisは構造データを持てるオンメモリデータベースサーバで、RDBとは違いますがHashやListなどのデータ構造を記録することができる高速なストレージサーバです。 オンメモリDBでHashを持つことができるので、KVSのように扱われることもあるのですが、memcachedと比較すると機能は多く、レプリケーションやAtomicなデータ処理なども可能です。 導入の前に Redisに限っ
あるエンジニアが「Kibela」というサービスを考え、リリースするまでのフローを全部教える - エンジニアHub｜若手Webエンジニアのキャリアを考える！
あるエンジニアが「Kibela」というサービスを考え、リリースするまでのフローを全部教える エンジニアがサービスのアイデアを思いつき、それをリリースするまでにはどのような過程があるのでしょうか。情報共有ツール「Kibela」が世に出るまでのフローを、起業した井原正博さんが詳細に振り返ります。 ヤフーやクックパッドでの開発を経て、ビットジャーニーで代表を務める井原正博（いはら・まさひろ／@ihara2525）です。プライベートで超長距離のランを楽しむかたわら、情報共有ツール「Kibela」の開発・運営を手がけています。 Kibela - 個人の発信を組織の力にする情報共有ツール 「Kibela」は僕自身が2015年に起業して立ち上げたサービスですが、この記事では、僕がサービスをいかに開発したか、その方法からリリースまでの過程を振り返りつつ、サービスの現在の状況までお伝えします。 「自分でもサ
Masahito Zembutsu
docker orchestration munin monitoring linux container serf hashicorp consul presentation automation resource monitoring docker swarm operations operation zabbix cloud computing swarm docker compose powerpoint プログラミング教育 compose nomad infrapre rancher iot cli server open source qpstudy rocky linux centos dockerfile cncf cloudnative programing education swarm mode containersig kubernetes arukas hands
Distributed architecture concepts I learned while building a large payments system
When building a large scale, highly available and distributed system, what architecture concepts do you need to use, in practice? In this post, I am summarizing ones I have found essential to learn and apply when building the payments system that powers Uber. This is a system with a load of up to thousands of requests per second, where critical payments functionality needs to work correctly, even
Rustに１００日触れてわかったこと - Qiita
Rustは「学習コストが高い？」「関数型プログラミング言語？」 と思っていた私が、実際にRustに触れてみて得られた知見をまとめました。 プログラミング言語の多くの課題を解決してくれる言語 Rustは「安全性」「速度」「並列性」を考慮して設計されています。 言語セマンティクスを強く定義し（Ownershipやlifetime 後述）、ネットワークコネクションなどのリソース管理全般に関するバグを、コンパイル時に発見してくれることで実現しているといえます。 最初はコンパイルが厳しくて「書いたコードはあってるはず...」 と、陥るほどに暗黙的な印象を感じます。コンパイルの厳格さは、人間が間違えないようにするために、静的に解析できる情報をなるべく多く与え、機械的に検証するためだと考えます。 ひと言でまとめると「コンパイルへの押し付け」です。 安全性に重きをおきながら、zero cost abstr
Exploring container security: Digging into Grafeas container image metadata | Google Cloud Blog
Exploring container security: Digging into Grafeas container image metadata Editor’s note: This is the third in a series of blog posts on container security at Google. The great thing about containers is how easy they are to create, modify and share. But that also raises the question of whether or not they're safe to deploy to production. One way to answer that is to track metadata about your cont
Mercari BI team - Data Analytics Summit 2018
How Mercari Analytics Team is defined and works.. Presented in Data Analytics Summit 2018 Event Page https://webtan.impress.co.jp/events/201804a2i
[小ネタ]ディレクトリ移動した際に自動で一時クレデンシャルを取得・設定する | DevelopersIO
こんにちは、AWS事業部の佐伯です。 同様の使い方をしてる方は多いかもしれませんが、今回はdirenvを使用してCLIでのAssumeRoleを簡単にする小ネタを書きたいと思います。 目的 権限の分離や請求情報の明確化のためAWSアカウントを分割している場合、全てのAWSアカウントにIAMユーザーを作成すると管理が煩雑になるため、IAMユーザーの管理はひとつのAWSアカウントにまとめ、その他のAWSアカウントへはスイッチロールで利用しているケースがあるかと思います。 しかし、各種CLIツールを使用するためには一時クレデンシャルをスイッチ先のAWSアカウントから取得し、環境変数に設定する必要があります。毎回AWS CLIを実行するのは面倒なので、今回はディレクトリ移動した際に自動で一時クレデンシャルを取得・設定し、楽をしようというのが目的です。 使用するツール direnv direnvは特
![[小ネタ]ディレクトリ移動した際に自動で一時クレデンシャルを取得・設定する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6135155a4de9035a33550843d5136f482918718b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Ftool.png)
Go(Un)Conference（Goあんこ）を開催しました！ - istyle Tech Blog
会社でGoばかり書いていて、気付いたらGoのイベントをやっていた inoues です。 今回は弊社内で開催致しました「Go(Un)Conference（Goあんこ） LT大会 1kg」のレポート記事になります！ どんなイベント？ Goあんこは社内での「Go Conferenceが人気過ぎて、全く抽選に当たる気がしない・・・」という話をキッカケに、それじゃ我々でイベントを開催してみよう！という心意気の元、誕生致しました。 基本的には、アンカンファレンスと銘打っている通り、参加者様のLTで成り立っているイベントです。 ひたすらにLTをやり、そして聞く、という非常に学びがあるイベントとなっています！ 第２回も5/25（金）に開催予定ですので、このレポートを読んで興味の出た方は是非ご参加を！ 当日レポート それでは当日のGoあんこの様子をレポートしていきます！ Togetterにもまとめてあります
Phrase-Based & Neural Unsupervised Machine Translation
Machine translation systems achieve near human-level performance on some languages, yet their effectiveness strongly relies on the availability of large amounts of parallel sentences, which hinders their applicability to the majority of language pairs. This work investigates how to learn to translate when having access to only large monolingual corpora in each language. We propose two model varian
Apache Flink とは？ - Qiita
「Apache Flink」は、分散ストリーム処理プラットフォームのひとつのOSSです。 同類のモノとしては、「Apache Storm」や「Apache Spark Streaming」などがあります（同じApacheで、さすがに同類のモノを出し過ぎだろう、と私も思っています）。 他のプラットフォームとして異なる特長は、以下になります。 高パフォーマンス＆低レイテンシ（真のストリーム処理が可能） 耐障害性に優れる（自動でイベント処理継続） ストリーム処理、バッチ処理の両方をサポートし、高レベルのAPIが提供されるAll-in-One構成 Flink Stack Flinkの全体像です。 ストリーム処理だけでなく、バッチ処理も可能であり、CEP（複合イベント処理）やML（機械学習）、SQLライクなAPIも提供しています。 この辺りは、Sparkと似ていますね。ただ、Sparkはバッチ処理か
Apache Flink の耐障害性はどんなもの？ ～Exactly once の振る舞い～ - Taste of Tech Topics
こんにちは、阪本です。 IoTやらデータ分析やらに関わる機会が増えて、大量のストリームデータに埋もれる（もとい、処理する＾＾；）ことが増えてきました。 しかも、関わっている業務的に、大概において、データ欠損は許されないという。。 そんなストリームデータを、高速かつ障害に強いアーキテクチャで処理しれくれるのが、Apache Flinkです。 アーキテクチャはこんな感じになっています↓ Apache Flink 1.2.0 Documentation: Distributed Runtime Environment Flinkの動きをざっくり書くと、 JobManagerはジョブを受け付け、1つ以上のTaskManagerに処理の実行を指示する。 JobManagerは処理中、各TaskManagerにチェックポイントトリガーを発行する。 TaskManagerはチェックポイントトリガーを受信
分散ストリーム処理エンジンあれこれ - Qiita
分散ストリーム処理エンジンの群雄割拠の時代 ストリーム処理を実現する分散プラットフォームが、大分増えました。 何が良いか／悪いかは、プラットフォームに求める内容や、関連するエコシステムにも影響するため、一概には言えないですが、Apacheで提供されているOSSとして、情報をまとめたものがあったので、ポイントをまとめたいと思います。 AN OVERVIEW OF APACHE STREAMING TECHNOLOGIES https://databaseline.wordpress.com/2016/03/12/an-overview-of-apache-streaming-technologies/ 特長 ストリーム処理といっても、位置づけが異なるものも一緒くたに書かれているので、位置づけを分類しながら、特長を整理してみます。 データ収集系 ログやイベントを収集するようなタイプ。 Flum
Vironとgoaをセキュリティのことは一旦忘れて試してみた - istyle Tech Blog
こんにちは、サーバーサイドエンジニアの佐々木です。 先日、株式会社シーエー・モバイルさんから発表されたこちらの記事は皆さん読まれましたでしょうか？ http://tech.camobile.com/entry/viron_20180201 弊社ではGoaを利用しているプロジェクトはSwaggerドキュメントを生成して社内連携していますので、これはもしかしたら親和性が高いのでは・・・！？と思い、使い始めの部分まで試してみたのですが、セキュリティ部分で初心者の方はつまづいてしまうのではないかと思いましたので、今回、セキュリティを使わずにサンプルとして簡単な画面表示をするまでの記事を書いていきます。 記事中のサンプルは以下のリポジトリにもコミットしてあります。 https://github.com/ginshari/sample-goa-viron また、Exampleについてはシーエー・モバイ
評価は時間ではなくジョブ・ディスクリプション＋インパクト。働き方改革を本気で実践する為に変えるべき事。 | みらいワークス
日本マイクロソフト株式会社 マイクロソフトテクノロジーセンター センター長 兼 サイバークライムセンター 日本サテライト 責任者 澤 円（さわ まどか） 氏 1969年生まれ。東京都在住。マイクロソフトテクノロジーセンター センター長 兼 サイバークライムセンター 日本サテライト 責任者。1993年立教大学経済学部卒業。生命保険会社のIT子会社勤務を経て、1997年マイクロソフト（現日本マイクロソフト）に転職。数々のセールス部門の管理職を歴任。2011年7月、あらゆるテクノロジーをすべての顧客セグメントに伝えるための組織であるマイクロソフトテクノロジーセンターのセンター長に就任。2015年2月より、サイバー犯罪の危険性について啓蒙するサイバークライムセンター日本サテライトの責任者も兼任。年間100回以上こなすプレゼンテーションはその卓越した技術で知られ、「プレゼンの神様」とも呼ばれる。20
MySQL 8.0登場！立ち止まることを知らない進化はこれからも続く。
ゴールデンウィークはいかがお過ごしされただろうか。今年は天気も良く、行楽日和が続いたように思う。 さて、先日MySQL 8.0が正式にリリースされた。少し時間が経ってしまったが、今回はMySQL 8.0の新機能について紹介したい。コミュニティ版のダウンロードはこちらから可能だ。 ひとつ前の正式バージョンはMySQL 5.7だったのだが、MySQL 8.0は非常に大きなリファクタリングが含まれており、5.x台のバージョン番号を捨て去ろうという話があった。そこで、次のメジャーバージョンは最初の桁を増やすということになったのだが、MySQL 6.0は過去に既に存在し、買収などの騒ぎで開発が頓挫してしまった経緯がある。7.xはMySQL NDB Clusterと被っている。というわけで、5.7の7の部分の次という意味合いもあって、8.0というバージョン番号を引っさげ、満を持しての登場となった。その
位置パラメーターの一括展開 $* $@ "$*" "$@" の違いを知れ!! - Shell Script Advent Calendar 2016 - ダメ出し Blog
位置パラメーターの一括展開 $* $@ "$*" "$@" の違いを知れ!! - Shell Script Advent Calendar 2016 - ダメ出し Blog Shell Script Advent Calendar 2016 の 15日目の記事です。 位置パラメーター (Positional Parameters) の紹介と、 その値をすべて展開する $*, $@, "$*", "$@" の違いについて解説します。 $*, $@, "$*", "$@" の違いを認識し使い分けできるかどうかは、 シェルをちゃんと理解しているかどうかの指標の一つと言えるのではないかと思います。 残念ながら、適切な位置パラメーター展開を用いていないシェルスクリプトが珍しくありません。 あなたのシェルスクリプトは大丈夫ですか? あなたの好きな◯◯のソースコードや配布物に付属のシェルスクリプトも要チ
AWS SDK for JavaScriptを使ってブラウザーからCognito User Poolsへサインアップしてみた | DevelopersIO
AWS SDK for JavaScriptを使ってブラウザーからCognito User Poolsへサインアップしてみた はじめに こんにちは植木和樹＠上越妙高オフィスです。ゴールデンウィークということで、普段なかなか触る機会のないサービスを使って遊んでいます。 本日は先日発表されたCognito User Poolsを使ってみました。外部の認証基盤を使うことなく、AWSだけでユーザー管理や認証ができる優れものですね。 [新機能] Amazon Cognito に待望のユーザー認証基盤「User Pools」が追加されました！ ｜ Developers.IO 準備 Cognito User Poolsの作成 User Poolsは上記、諏訪さんのブログを参考に設定しておきます。今回はaws-cliで作成しましたが、aws-cliだと（現時点だと）細かいattributeの設定ができない
#観察スケッチ の超優秀な参考作例と、観察の対象を広げる方法｜ヤマシタ マサトシ
#観察スケッチ が流行ったおかげで企業さんからもいくつかお声がけいただけたりしていて嬉しいのですが、先日MdN公式さんが観察スケッチの記事を書いてくれました。（ちなみに特に取材とかはされておりませんので未承諾ですがリンク貼ってくれているしオールOKです。） こうして観察スケッチがちょっとしたコミュニティになるくらいに盛り上がってきたので、SNSで観察スケッチをあげてくださった方と話したりもしています。 で、肝心の僕のスケッチは全然アップしないのは何でか？と思われているようなので、ちょっと回答しておきます。 まず、僕は発端になった人物なので教科書的な存在になってしまう可能性がありまして、見本を提示することで皆さんがそれに縛られる＝枠を作ってしまうのがもったいないと考えています。 工夫の余地、参加の余地を残したい。だからあえて現時点の僕のスケッチはあげていない、というのが大きな理由です。（いま
Dockerfile を書くベスト・プラクティス — Docker-docs-ja 17.06.Beta ドキュメント
Docker は Dockerfile の命令を読み込み、自動的にイメージを構築できます。これはテキストファイルであり、特定のイメージを構築するために必要な全ての命令が入っています。 Dockerfile は個別の命令セットを使い、特定の形式で記述します。基本は Dockerfile リファレンス で学べます。新しく Dockerfile を書こうとしているのであれば、そのリファレンスから出発しましょう。 このドキュメントは Docker 社が推奨するベストプラクティスや手法を扱っており、Docker コミュニティが簡単かつ効率的に Dockerfile を作成できるようにします。この推奨方法に従うことを強く勧めます（実際、公式イメージを作成するには、これらのプラクティスに従う 必要 があります）。 多くのベストプラクティスや推奨する手法は、 buildpack-deps の Docker
Goのクロスコンパイル環境構築のためのシェルスクリプト
build-crosscompile-env.sh 0Y���U �U #!/bin/sh # Environment list # $GOOS $GOARCH # darwin 386 # darwin amd64 # freebsd 386 # freebsd amd64 # freebsd arm # linux 386 # linux amd64 # linux arm # netbsd 386 # netbsd amd64 # netbsd arm # openbsd 386 # openbsd amd64 # plan9 386 # plan9 amd64 # windows 386 # windows amd64 set -e OS=("darwin" "darwin" "freebsd" "freebsd" "freebsd" "linux" \ "linux" "li
SELinuxの利用とポリシー作成
SELinuxってどういう特徴があるものなの? というくらいの人むけにモジュールを作ったりメンテしたりする話を紹介するスライド
UI Crunch#13 娯楽のUI by任天堂 に行ってきた_SplatoonUIで狙ったグラフィックなデザインについて - mazcomemo
みんな大好きSplatoonの時間だぞ！ 前回の正木さんに続いて、Splatoon1,2のUIデザインを担当した橘磨理子さんの発表、「SplatoonUIの狙い」。 私自身もめっちゃやっていて大好きすぎるゲームなのでちょっと冷静に聞くように頑張った。多分なんか気持ちが溢れちゃってると思うけど。 SplatoonUIデザインの狙い 主に前作Splatoon1のUIを作った話を中心に話してくれた。まずゲームタイトルは今までの任天堂既存のタイトルの続編ではなく、新規のタイトルであったこと。新規タイトルで重要なことはやはり新鮮なことだったという。そのなかでもUIはゲームの世界観を邪魔せずにプレイヤー情報を見せるための影の立役者にならないといけないかったと思う。そこでたどり着いた結論が「グラフィックとして新鮮なデザインにするか」だったそう。 これは私の思い出なんだけど、イカが発売される前のことをよく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラマーになりたいのですが、大学に行く価値はありますか？
GitHub - CU-CloudCollab/docker-build-aws-example: Example of how to safely pass AWS credentials into the Docker build process
Observability, Service Mesh and Microservices
レガシーPHPで require_once とかいう呪いを退治できるかもしれない
鱒缶。 on Twitter: "アルカションのデュネット。 コニャックの効いた大人なお菓子♥️ https://t.co/06fDoBaZF0"
yuuk1 on Twitter: "Lambda + CodeDeploy へ〜 / “Implementing safe AWS Lambda deployments with AWS CodeDeploy | AWS …” https://t.co/LM8Gm9ohi4 #lambda #codedeploy"
Istioと共にマイクロサービスに立ち向かえ!
登壇専用ページ
AROMAS of INDIA - Kanda, Ochanomizu/India cuisine [Tabelog]
Taichi Nakashima on Twitter: "“Migrating a monolith to Kubernetes // Speaker Deck” https://t.co/QR4EFGNaaT"
infra-workshopを紐解いて、もっと活発なコミュニティにするためにAI？を適用して分析
SELinux System Administration, Third Edition - Third Edition | Packt
Serverless Componentsとは何か？サーバーレスなアプリケーションの何を解決するのか - Qiita
GitHub - trailblazer/trailblazer: The advanced business logic framework for Ruby.