RedisとElastiCacheを分かりやすくまとめてみた - Qiita
はじめに 今までなぁなぁにしてきたRedisをいまさらながらに勉強してまとめました。 Redisって聞いたことあるけど中身はよく知らないとか、プロジェクトでなんとなく使っているけど実はよく分かっていないなどの人向けのページです。 NoSQL Redisの前にまずはNoSQLから。 背景 ビッグデータの登場により、従来のRDBだけでは充分な処理ができなくなってきたことがNoSQL登場の背景にある。 ビッグデータの定義は色々ありますが、ここでは3V(Volume/Velocity/Variety)を満たすものをビッグデータと呼びます。 VolumeとVelocityの問題を解決するためにNoSQLが必要 Volume(大量データ)とVelocity(秒単位で大量データ)に関する問題を対処する場合、スケールアップ(メモリ増加、コア数増加、SSD化)とスケールアウトの2通りの方法がある。 しかしな
Amazon S3へのデータバックアップと世代管理設定 - Qiita
「重要なデータはクラウドバックアップ！」的なことが当たり前になりつつあるご時世ですが、バックアップデータのバージョン管理（世代管理）やライフサイクル設定の記事は意外と少ないです。今回はクラウドバックアップしているデータを復旧させるときにどの時点まで戻せるか（RPO）を考慮して、Amazon S3 へデータバックアップを行う場合の設定をお試ししたいと思います。 今回のゴール 毎日定時にサーバ内のデータをAmazon S3へバックアップし、５世代前まで保存する環境を構築する。（古い世代のデータは古い順に自動的に削除していく） 完成イメージ 前提条件 定期的にAmazon S3へデータバックアップできるサーバもしくはNAS がある ※今回はEC2を使います バックアップ先として利用するのはAmazon S3（Standard） 設定概要 [1] Amazon S3 のバケットの作成および世代管理
csvkitの使い方まとめ - Qiita
はじめに csvファイルをデータ分析のために簡単にハンドリング・クレンジングしてくれるためのオープン・ソースのツール pythonからインストール可能 公式ページのドキュメントが揃っているので、本格的に使うならそっちをチェックしてください。 インストール pipが使えるなら、下記1行でインストール可能 $ ls /usr/local/bin/*csv* /usr/local/bin/csvclean /usr/local/bin/csvgrep /usr/local/bin/csvlook /usr/local/bin/csvsql /usr/local/bin/in2csv /usr/local/bin/csvcut /usr/local/bin/csvjoin /usr/local/bin/csvpy /usr/local/bin/csvstack /usr/local/bin/sql
MySQL(InnoDB)でのDeadLock調査 - Qiita
最近MySQLでDeadLock問題にハマったのでその時の調査メモ 背景 とあるバッチプログラムで多数のBULK INSERT/UPDATEを行う処理の検証を行った際、 並列数を上げるとDeadLockが発生するという問題に直面。 一処理で同時に発行するSQLが多すぎてアプリのログからは原因が追いきれなかった。 （＜この時点でアプリの処理やログ出力を見直す必要がありそうだが、それはひとまず置いといて ^^;） その原因調査に役立った情報やMySQLの仕様などを備忘。 原因調査 まずはロックの原因を特定するためにInnoDB ロックモニターを有効化 mysql> SHOW ENGINE INNODB STATUS; -- (省略) -- ===================================== 2017-09-30 06:06:40 0x7f215046a700 INNOD
新人の方によく展開している有益な情報 - Qiita
新人の方によく展開させていただいている有益な情報をまとめておきます。今後も展開することがあるかもしれないため情報をまとめております。 あらたな、有益な情報がありましたら、随時追加してまいります。 有益な記事・論文・書籍等を執筆・紹介していただいた皆様に感謝申し上げます。 ちなみに、本記事に記載されている情報は、お困りごと・お悩みごとをお聞きしたとき・気づいたときに、そのお困りごとに対して参考になりそうなものだけを展開していました。この情報を一気に展開していたわけではございません。 コードリーディングについて [1]ソースコードを読むための技術 https://i.loveruby.net/ja/misc/readingcode.html [2]派生開発推進協議会 関西部会 スペックアウトチーム，「派生開発におけるスペックアウト手法の提案」，派生開発カンファレンス2015，2015 http
基本的なシステム構成図を理解するためのAWS基礎をまとめてみた - Qiita
はじめに 最近、AWSのシステム構成図を見ることが多くなり、AWS上で動いているシステムのシステム構成図を理解できるようになるために個人的に知っておきたいと思ったAWSの用語・サービスをまとめてみました。 私自身も勉強がてら作成したので、わかりづらい部分も多くあると思いますが、AWSのサービス全くわからん→なんとなく雰囲気把握した、となっていただけたらと思います。 2018年10月に新しくなったAWSアーキテクチャアイコンを使用しています。 サーバ・クライアントなどの説明についてはここではしていませんが、以下の記事でとてもわかりやすくまとめてくださっています！ 超絶初心者のためのサーバとクライアントの話 知っておきたい用語 リージョン AWSがサービスを提供している拠点（国と地域） リージョン同士はそれぞれ地理的に離れている（例えば日本とオレゴンとか） 日本はap-northeast-1（
FirebaseでiOSのプッシュ通知を実装 - Qiita
これにより、iOS アプリで Firebase を稼働させるために必要なライブラリが、Firebase 向け Google アナリティクスとともに追加されます。 ・ ポッドをインストールし、.xcworkspace ファイルを開いて Xcode でプロジェクトを確認します。 2回目以降も、インストールを使用すると、依存性でエラーになる事が多いです。 証明書を発行編に移ります プッシュ通知を送るために作成するもの・しておくことは以下の７つあります。 CSRファイルの作成 ※初回作成すれば後は同じものを使いますので改めて作成不要です 開発用証明書(.cer)の作成 ※初回作成すれば後は同じものを使いますので改めて作成不要です AppIDの作成 端末の登録 プロビショニングプロファイルの作成 APNs用証明書(.cer)の作成 APNs用証明書(.p12)の作成 1. CSRファイルの作成 キー
混沌を極めるWindowsのssh-agent事情 - Qiita
どうしてこうなった。 何の話？ WindowsでのSSH-AGENTとSSHの話です。 この記事での用語: SSHとssh, SSH-AGENTとssh-agent この記事では、SSH-AGENTと書いたときにはカテゴリとしてのSSHエージェントを意味します。 ssh-agentと書いたときには、実行プログラムとしてのssh-agentコマンドを意味します。 同様に、SSHと書いたときにはカテゴリとしてのSSHクライアントを意味します。 sshと書いたときには、実行プログラムとしてのsshコマンドを意味します。 SSH-AGENTって？ SSH-AGENTは、秘密鍵での署名を代行1してくれるツールです。 SSH-AGENT に秘密鍵をロードしてしまえば、あとはパスワード(パスフレーズ)入力なしでSSH認証できる agent forward機能を使うことで、SSHした先でさらにSSHすると
10分で理解するPacker - Qiita
Packer とは サーバーイメージを作成するためのツールです AWSであればAMI、Azureであれば arm を作成します Vagrant を開発している HashiCorp社 が開発しているツールなので使用感は Vagrant と同じような感じです 構築済みのサーバーイメージをAMIとして作成しておき、これをベースとしてインスタンスを立ち上げるのはよくあるパターンだと思います ※ "ゴールデンイメージ" というインフラパターンらしいです ただ、このAMIがどうやって作られたか？がわからなくなりがちなのですが、Packerを使うことでAMI構築手順を全てコード化することができます TL;DR json ファイルに定義内容を記述し、$ packer build hoge.json を実行するだけで定義内容の通りに自動でサーバーイメージを作成してくれます インストール 以下に従って OS
AWS Client VPN 設定メモ - Qiita
先日、試行錯誤しつつ設定する機会があったので、すでに同種の記事は多数出回っていますがメモとして残しておきます。 1. AWS Client VPN について AWS の説明ページ、 AWS Client VPN とは によると、 AWS Client VPN は、AWS リソースや、オンプレミスネットワーク内のリソースに安全にアクセスできるようにする、クライアントベースのマネージド VPN サービスです。クライアント VPN を使用すると、OpenVPN ベースの VPN クライアントを使用して、どこからでもリソースにアクセスできます。 です。 AWS リソースに安全にアクセスできる OpenVPN ベースの VPN クライアントを使用 が大事なポイントですが、 オンプレミスネットワーク内のリソースにも安全にアクセスできる というのも場合によっては重要なポイントになってきます（後述）。 ま
Alternative Controller for HHKBのススメ
概要 Alternative Controller for HHKBとは、Happy Hacking Keyboard(HHKB)のコントローラを入れ替えることで全てのキーをプログラマブルにできるコントローラのこと。 キーボード自体をプログラマブルにすることで、OSあるいはAutoHotkeyやKarabinerなどのソフトウェアに依存せずどの環境でも同じ動作をさせることができるようになる。 Alternative Controller for HHKBには、HHKB Professional, Professional 2, Professional 2 Type-S, Professional JP, Professional JP Type-Sに対応するモデルがある。HHKB本体はいずれもBluetooth非対応モデルだが、いくつか制約事項はあるもののBluetooth対応させること
「SSHホスト鍵が変わってるよ！」と怒られたときの対処 - Qiita
SSHでは初回接続時に接続先ホストの公開鍵を保存しておき、次回接続時にホスト鍵を比較して前回と同じホストに接続したかを確認するような仕組みになっています。そのため、IPアドレスの振り直しやOS再インストールなどでホスト鍵が変わってしまった場合、次のようなエラーメッセージが出てSSH接続が失敗してしまいます。 $ ssh example.com @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
ssh-addできなかったときへの対処 - Qiita
Windowsのgit bash上でssh-addしようとして、Could not open a connection to your authentication agent.と出たのでメモ。Windowsのお話です。 ssh-agentを起動するコマンド, ssh-agentを打ってからじゃないとssh-addできないということ（おそらくWindowsだからって話）なんだけど、Windowsだと更にひとくせあって、$ eval `ssh-agent`じゃないといけないらしい。 下記を、Windows7, Git bash上で実行して解決しました。 $ ssh-add ~/.ssh/id_rsa_bitbucket # ssh-addしようとするも、失敗。 Could not open a connection to your authentication agent. $ ll ~/.
bashでカッコを駆使して例外処理してみる - Qiita
Bashで少し細かい例外処理やtry-catch文っぽいことをしたかったのでメモ trapでいいんじゃないの？ trapを使うことで、コマンドがエラー復帰した際や、 Ctrl-Cで強制終了された際に実行される処理を定義できます。 #!/bin/bash finalize(){ echo "Finalization" exit 1 } set -e trap "finalize" ERR 2 コマンド１ コマンド２ コマンド３ コマンド４ しかし、こういう書き方は以下の欠点があると思ってます。 処理途中のコマンドで、エラー復帰を無視したい場合のコーディングが複雑 エラー処理の振る舞いを、処理ごとに変えたい場合にわかりづらくなっていく １点目に手っ取り早く解決するなら、下記のようなコードを書けば、 いいですが、直感的に理解しづらくなります（と私は感じました）。 #!/bin/bash fina
Dockerで未使用オブジェクトを消す「prune」オプションの整理 - Qiita
概要 Docker で不要なものを消すガベージコレクション（garbage collection ）は、prune 系のオプションを使う。 prune 系オプションを使うと、使っていない Docker オブジェクト（コンテナ、イメージ、ネットワーク、ボリューム）をまとめて削除できる。コンテナが停止してからの時間を指定できる --filter "until=24h" の指定で、更に活用しやすくなる。あるいは --filter "until=2020-06-01" のように、日時の指定も可能。 なお「prune」の意味とは、不要なものや余分なものを、削る、刈り取る、取り除くといったもの。 停止して24時間経過したコンテナと、使っていないイメージおよびネットワークを消す $ docker system prune -a --filter "until=24h" ... Are you sure
【ECS】ecs-cliを使ってECSタスクを作成・実行する - Qiita
今回はみなさん大好きコンテナ 関連のお話です。 ecsの操作に特化したecs-cliコマンドを使用してECRへイメージのプッシュ・ECSタスクの作成・実行する方法を説明します。これらの実行自体はGitHub Actions上で行いますので、GitHub Actionが有効になっている方は試してみてください。 定義ファイル ECS用のdocker-compose ローカル開発用とECS用にdocker-composeファイルを分けるので、docker-compose.ymlとは違うファイルに設定を書きます。 version: '3' services: app: build: . # ECRからプルするためにECRのレジストリ情報を先頭につける # DockerHubからプルする場合はレジストリ情報は不要 image: $ACCOUNT_ID.dkr.ecr.$REGION.amazonaw
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IPythonの使い方 - Qiita
Serverless Framework on Azure 試してみた - Qiita
RDS(Mysql)のMaxConnection数 - Qiita
terraform import したものを取り消したい - Qiita
