サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
災害への備え
www.soudegesu.com
AWS CodeCommitを使うプロジェクトに参画する機会があり、使い方を備忘録としてまとめようと思います。 CodeCommitからgit cloneしたいAWSコンソールからCodeCommitを選択し、リポジトリの Clone URL メニューからURLをクリップボードにコピーをします。 その後、 git clone ${URL} をするとリポジトリをcloneできるかと思いきや、CodeCommitの場合には事前にもうひと手間必要なのです。 credentialsとgit configの編集まず、リポジトリはCodeCommit上にあるので、AWSリソースへのアクセス権限が必要です。 AWSコンソールのIAMのメニューからCodeCommitへアクセス可能なユーザのアクセスキーを取得し ~/.aws/credentials に記載します。 1[${プロファイル名}] 2aws_a
前回の記事 では画面遷移の仕方を紹介しました。 画面間でデータのを受け渡しをする方法を紹介します。Nuxt.js というか Vue.js の仕様も含まれています。 画面間でデータを渡す画面間でデータの受け渡しをする方法はいくつかあります。URLのクエリパラメータで渡す方法やパスパラメータによる方法、またフレームワーク側でデータを保持する方法などです。Nuxt.js においてこれらのやり方をまとめてみました。 クエリパラメータを使うURLのクエリパラメータとしてデータを取得したい場合には $route オブジェクトの query プロパティから取得ができます。 以下のように pageName=next というデータを nuxt-link から渡します。
初めてPythonを触る方に 「Pythonで開発する時にIDEは何を使えば良いでしょうか?」 とよく聞かれます。 手元でささっと動かすだけであれば、自身の手に馴染んだIDEを使ったり、エディタにPythonのプラグインをインストールするのが手っ取り早いでしょうが、初心者の方には やりたいこと(作りたいもの)を聞いてから、用途に応じてオススメのエディタを伝えています 。 今回はいくつかあるPythonのIDEの中で、初心者向けのものと、個人的に考えるユースケースを紹介します。 IDEとはそもそもIDEは Integrated Development Environment の略であり、日本語では「統合開発環境」と呼ばれています。 そもそもプログラミングでは実行可能なプログラムを完成させるまでに、プログラムを記述し、コードをコンパイルし、実行し、デバッグするというおおまかな流れがあります。I
以前の記事 SeleniumでFirefoxの複数タブを同時に開く時にポップアップブロックされる問題に対処する では、ちょっとニッチなFirefoxでSeleniumを動かす時のTipsを紹介しました。 今回はSeleniumのコードを書く時のTipsを紹介します。 Seleniumは動作が早すぎる本来人間が行う操作をSeleniumが肩代わりをしてコードを実行することで高速に操作するわけですが、そこでうっかり見落としがちなのは 「待ち」 です。 例えば、ボタンをクリックなどの何らかのイベントをトリガーとして、ブラウザは通信や画面の描画をします。 ブラウザが処理している間、人間はブラウザ動作の完了を待っています。一通り画面がさわれそうになったら 「あ、触れそうかな」 と判断して、次の動作をします。 これと同じことをSeleniumでも実現する必要があるのです。 Seleniumは人間の操作
Jupyter Notebook はPythonの開発環境として良く利用されますが、デフォルトではコード補完が有効になっていません。 そのためパッケージのimport時には少し困ってしまいます。今回はJupyter Notebookでコード補完をする小ネタを紹介します。 コードを自動補完したい!IDEを使う上で、コーディングをサクサク進めるためにコード補完は重要な機能です。 IDEや人によって オートコンプリート と言ったり、 自動補完 と言ったり、 インテリセンス と言ったり表現は様々ですが機能としては一緒です。 Jupyter Notebook でコーディングするときに自動補完が有効になる方法を調査したので、備忘録として残しておきます。 方法その1: IPCompleter.greedy を使うまず一番簡単な方法を紹介します。 任意のNotebookファイルを開き、以下のマジックコマン
プログラミング言語 Rust を学習する必要がでてきたので、 環境構築手順をまとめたいと思います。 今回はMacOS X上で Homebrew を使ってインストールする手順になります。 Rustupをインストールするまずは、 rustup をインストールします。
MySQL のメジャーバージョン 8 が 2018/4 にリリースされました。 今回はPacker+Ansibleで MySQL8のAMIを作成しようとして苦労したところをまとめます。 MySQL8のAMIを作りたい普段、AWSを利用する上ではRDSを使うことが多いので、MySQL5.x系を選択することになります。 今回はMySQL8を使った研修を社内で実施するため、MySQL8のAMIを作る必要がありました。 環境情報今回は以下のような環境で実施しています。 CentOS 7Ansible 2.6.1Packer 1.1.3 playbookのサンプル先に結論を書きます。 ansible playbookのサンプルは以下のようになりました。 なお、今回はメインのタスク定義の部分だけとし、その他の部分やPackerは冗長になるので割愛しています。 1--- 2- name: downloa
matplotlibはpythonでデータの可視化をするときに重宝しますが、ドキュメントがパッと見わかりにくいので、取っ掛かりが難しいです。 たまにデータの可視化をするのですが、 matplotlibの調べ物に時間がかかるときがあり「なんか時間がもったいないな」と感じていました。 今回はmatplotlibのドキュメントを読みつつ、matplotlibのpyplot APIをいろいろ試し、自分向けにまとめました。 実行環境実行環境は以下になります。 mac OS (High Sierra 10.13)Python 3.6.1matplotlib 2.2.2jupyter 1.0.0numpy 1.14.5pandas 0.23.1また、今回作成したグラフは こちら にpushしてあります。 pyplotの思想を理解するグラフ描画を始める前にpyplotの思想を理解しました。 いきなりSam
仕事がらpythonを使って、データのコンバータを作成することも度々あるのですが、pythonのdatetimeを使った文字列から日時への変換 や タイムゾーンの変更 を毎回ネットで調べているので、いい加減覚えないと業務効率上差し支えそうです。 今回は自分の備忘録的な意味も込めて書こうと思います。 なお、Pythonでは日付時刻の処理を行う場合に datetime や date、 time などの型を使って処理をしますが、今回は datetime を使います。 環境情報今回のPythonの実行環境は以下になります。 python 3.6pytzjupyter notebook epochtimeからdatetimeepochtimeを表す 数値型 から datetime に変換します。 epochtimeはUnix時間とも言われますが、世界標準時の1970年1月1日午前0時0分0秒からの経
様々なプロジェクトで仕事をするにあたって、AWSのAMI(Amazon Machine Image)を多くつくるようになりました。 今回はPackerプロジェクトの個人的なベストプラクティスをまとめました。 作成したリポジトリはじめに、作成したリポジトリを以下に晒しておきます。 soudegesu/my_packer_best_practiceまた、前提条件は以下とします。 作成対象はAMI(Amazon Machine Image)プロビジョニングには Packer と Ansible を使うインスタンスのテストには Sererspec を使うPackerやAnsible、Sererspec自体の解説は割愛します。 Vagrantを使ってローカル環境でデバッグできるようにしておくAnsible Playbookの書き始めの頃は、可能であればローカル環境上に Vagrant と Virtu
fish との出会いこれは本当に偶然の出会いで、 「『大きなスクリーンにソースコードを映して、周囲からいろいろヤジ飛ばされながら、ナビゲーターとドライバーとでペアプロする』あのあれ、なんだったかな?確か頭の方が"fish"みたいな音じゃなかったかな?」と音を頼りに 「fish プログラミング」 というキーワードで検索したところ、fish shell がヒットしたのであった。 仕事用もプレイベート用Macもzshを設定していて、個人的にはそれなりに満足していたのですが、色々zshにインストールしていたこともあって、起動やキー入力に若干もたつきを感じていたのもalternative factでしたので、ちょっと試してみようかなと思ったのが始まりです。 fishとはfish のfishは Friendly interactive shell の略でユーザフレンドリーさを売りにしたUNIX she
CloudWatch LogsにはロググループをS3にエクスポートする機能がついています。 しかし、エクスポート機能には同時実行数制限があるので、 今回は Step Functions を使ってS3へのログのエクスポートを実現しました。 モチベーションログをS3にエクスポートしたいCloudWatch Logsのコンソールは特定の文字列を含むログを検索するのは得意ですが、ログの集計や可視化には向いていません。 S3にログを集積し、そこをDWHにしてETL処理を施して可視化したりするのが事例としてよく見かけるので、 今回は Cloudwatch LogsのいくつかのログストリームをS3にエクスポートしたい と考えました。 Subscription Filterが使われている、、だと!?CloudWatch LogsからS3へログストリームを転送する簡易な方法は Kinesis Firehos
Route53でCertification Managerのドメイン検証ができるようになった DNS を使って AWS Certificate Manager の検証を簡単に の記事にも記載があるように、2017/11に AWS Certification Manager(以下ACM) のSSL証明書取得の際の検証手順に Route53のDNS検証 が追加されました。実はこれは、ACMで取得したSSL証明書の 取得 だけではなく 更新 においてもとても大きな利点があるので、今回はそれを紹介します。 SSL証明書"発行"の違いE-mail検証は手間がかかる従来、ACMにてSSL証明書を取得する際のドメイン検証の方法は、Certificatioin Managerで証明書発行依頼を出した後、受信したE-mailの本文に記載されている一時リンクを踏んで承認ボタンを押す、という手続きを踏んでいまし
今回はAmazon Linux から Amazon Linux2 への移行をする機会があったので、 プロセス数やファイルディスクリプタ数といったリソース制限の変更に関して備忘録として残しておきます。 なお、以降の手順は公式の Amazon Linux2 のAMIをそのままブートした後に試しています。 ソフトリミットとハードリミットまず、最初によく聞くソフトリミットとハードリミットの確認しましょう。 Linuxではユーザやプロセスごとに利用できるリソースを制限することできます。 これらには ソフトリミット と ハードリミット の2種類が存在します。 ソフトリミットはユーザの現在の設定値を指し、ハードリミットはユーザ側での変更可能なソフトリミットの上限値を意味します。 ログインユーザへの設定limits.confを書き換えるLinuxへのログインユーザへの設定は /etc/security/l
以前書いた「 Spring Bootを1.5から2へマイグレーションするステップとポイント 」 にて、 Datadogに対してメトリックを送信するの仕組みを micrometer-registry-datadog に変更したのですが、 Javaアプリケーションのメトリック取得がいい感じだったので、今回はそれを紹介します。 Micrometerって何Micrometer はJVM上で動くアプリケーションのメトリックを取得するためのライブラリです。 各種モニタリングツールとの連携が可能で、2018/05時点では以下のモニタリングツールに対応しています。 AtlasDatadogGangliaGraphiteInfluxJMXNew RelicPrometheusSignalFxStatsDWavefrontこれらのモニタリングツールと対になるライブラリを使用することで、取得したメトリックを容易
パーティションを日次で追加するここから具体的な手順を説明します。 hoge テーブルには以下のような�操作をすることにしました。 最初に一定量のパーティションを作成しておくパーティションの追加はプロシージャで実施する日次で�パーティションの最後に+1日ぶんのパーティションを追加する�一般的に 「パーティションの追加は一定量をまとめて実施した方が良い」 と言われています。 私の場合、システムの運用要件や、格納するデータの想定量を設計に加え、左記を踏まえた�負荷試験も実施したところ、オンラインでの日次パーティション追加でもパフォーマンス上問題がなかったため、上記の対応方針にしました。 �テーブル作成とパーティションの指定以下のようなクエリを発行し hoge テーブルを作成します。 加えて、パーティション名のルールは p + yyyyMMdd として、create_at カラムでRANGEパーテ
このページを最初にブックマークしてみませんか?
『www.soudegesu.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く