Docker コマンドチートシート - Qiita
# 稼働中のコンテナに入る $ docker-compose exec hoge_app bash # stop $ docker-compose stop # docker-compose管理下のコンテナを削除し、紐づくボリュームも削除 $ docker-compose rm -v # キャッシュを使わずにビルド $ docker-compose build --no-cache # コンテナを一括削除 $ docker rm `docker ps -a -q` # 全てのボリュームを削除 $ docker volume rm $(docker volume ls -qf dangling=true) # イメージ一覧 $ docker images -a # イメージ一括削除 $ docker rmi `docker images -aq` $ docker rmi -f `docke
Airflowを使用してDWH向けデータパイプラインを作る - Qiita
前提 GCP内でのデータパイプラインで、DWHはBigQueryを使用 DWHバッチ処理のパターン バッチ処理ベースのDWHデータパイプラインは 複雑なことをしない限り以下のパターンでほとんど網羅できると思われる。 GCSからCSV等のファイルロード（DROP-CREATE-INSERT） GCSからCSV等のファイルを整形してロード（PREP-DROP-CREATE-INSERT） 最新マスタ等のデータ更新（TRUNCATE-INSERT） 蓄積テーブル、サマリのデータ更新（DELETE-INSERT） あとはデータパイプラインとは直接関係ないが、運用系として以下の処理パターンもある バッチ処理の開始と終了時のメール通知 GCS内でのファイル移動（退避） Airflowでのデータパイプラインの作成方法 Airflowはpythonを使用して、DAGと呼ばれるジョブの固まりを定義したファイ
GCS上のファイルを結合する - Qiita
Google Cloud Storage (以下GCS) 上のファイルを結合して、新しいファイルを作成する 複合オブジェクト を紹介します。 gsutil compose GCS上のファイルの結合を簡単にできるのが gsutil compose commandです。 例えば、以下の3つのファイルを結合して、 compose.txt を作成する場合は1commandで達成できます。 gs://cpb100demo1-input/1.txt gs://cpb100demo1-input/2.txt gs://cpb100demo1-input/3.txt gsutil compose gs://cpb100demo1-input/1.txt gs://cpb100demo1-input/2.txt gs://cpb100demo1-input/3.txt gs://cpb100demo1-in
チーム力向上のためのエトセトラ - Qiita
この半年間、久しぶりに開発チームのマネージャ的な立場もやることになったので、「ふつうの受託開発チームのつくりかた」以来、工夫したことをまとめておきます。「ふつうの受託開発チームのつくりかた」未見のかたはぜひそちらも見てみてください! チームに名前を付ける 私の受け持つチームは伝統的に「ラスカル」の名を付けるようにし、チームのアイデンティティを保つようにしています。チームメンバも本当は出来るだけ長く担当してもらいたいのですが、大きなSIerだとそれが難しいこともあります。 通常のプロジェクトチームだと、サブシステム名くらいで呼ばれることでしょう。これは、そのプロジェクトが終わったらチームも終わり、で帰る場所も無くなることを意味しますし、愛着をもって働くことは難しくなります。 メンバが多少入れ替わっても、チームは継続する"モーニング娘。方式"であれば、またいつか戻ってくることもできるし、OBと
[作業記録] 野良GCPプロジェクトを組織に移行する - Qiita
これはなんですか [作業記録] Cloud IdentityでGCPの組織をつくる の続きです。 Gmailアカウントで作っていたプロジェクトをCloud Identity組織に移行しました。 Cloud IAMと請求の権限周りの追加削除作業がちょっと怖かったので注意が必要です。 作業内容 プロジェクトと請求先アカウントを移行し、権限を設定する を参考に移行設定をしました。 野良のプロジェクトに組織管理者を追加する 請求管理者 オーナー 組織管理者としてプロジェクトを開き、Gmailアカウントの権限を削除する (怖い) 請求管理者 オーナー プロジェクトを組織に移行する プロジェクトに組織管理者を追加する Gmailアカウントでコンソールに入り、 [お支払い] > [アカウント管理] を開きます。組織管理者を請求先アカウント管理者に追加します。 [IAMと管理]を開きます。組織管理者をプロ
![[作業記録] 野良GCPプロジェクトを組織に移行する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/85c8d0b595306fb605b4ad1cdf32a0d7fff21f63/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU0JUJEJTlDJUU2JUE1JUFEJUU4JUE4JTk4JUU5JThDJUIyJTVEJTIwJUU5JTg3JThFJUU4JTg5JUFGR0NQJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgyJUI4JUUzJTgyJUE3JUUzJTgyJUFGJUUzJTgzJTg4JUUzJTgyJTkyJUU3JUI1JTg0JUU3JUI5JTk0JUUzJTgxJUFCJUU3JUE3JUJCJUU4JUExJThDJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iYmI1N2Y4ZWUyOTk4MmFkYWJjM2FlMDdjMTkyZDgxOQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBIaWtvc2FidXJvdSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NzUyNWVlNGE3MjJkNDZkOTk3ODY4OWIzMDk1N2IwZTc%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D0e9e202ef940f31c54fc31fab3824242)
Cloud Composer Tips - Qiita
皆さんこんにちは。@best_not_bestです。 今年はCloud Composerを利用することが多かったため、そこで得たTipsをまとめたいと思います。 なお、以下記載のコードはPython 3での動作を想定しております。 サポート対象のPythonバージョン 2.7.15と3.6.6となります。 https://cloud.google.com/composer/docs/concepts/python-version タスク失敗時のロギング/Monitoring検知 タスクが失敗した時のロギングへのログの落ち方がなかなか分かりにくいです。 AirflowExceptionをraiseするタスクを用意し、これを各タスクの後にone_failedで実行させ、この時のメッセージを検知するのがシンプルかなと思います。 サンプルプログラム #!/usr/bin/env python #
Bash Scriptの作法 - Qiita
はじめに チーム開発でシェルスクリプト（特にBash Script)を書く際に守るべきルールをまとめます。 シェルスクリプトのコードレビューをする際等にお役立てください。 スクリプト名 -区切りの小文字英数字（いわゆるkebab-case）をつける。拡張子は.sh. これは特に理由があるわけではないので_区切りでもよいし、チーム内にzshやfish等の他Shell愛好家がいる場合は拡張子は.bashでも良い。どちらにせよチーム内では統一しておかないと混乱の元となる。 改行コード LFを使用する。CRLFだと動作しないので書く際に間違うことはないが、Windows上のgitのautocrlf設定によってはご丁寧にCRLFでチェックアウトされてしまう。 避けるためにはgit config --global core.autocrlf inputとするか、.gitattributesをレポジトリ
Cloud Composer を使ったワークフロー開発に便利なコマンドまとめ - Qiita
Web UI からポチポチしていると日が暮れるのでコマンドラインから開発できるように調べたまとめ デプロイ gcloud composer environments storage {dags,plugins} import を使ってファイルをアップロードする。うちではディレクトリ構造を合わせて作って以下のようにデプロイしている。 不便なことに {dags,plugins} ディレクトリを丸ごとアップロードすることができず、--source でサブディレクトリを指定しないといけないため、find | xargs でサブディレクトリ一覧を作ってから import している。 find "composer/dags" -maxdepth 1 -mindepth 1 | xargs -t -P4 -I{} \ gcloud composer environments storage dags i
非エンジニアのチームが開発手法として有名な「スクラム」を導入して1年経ったので振り返ります - Qiita
こんな方に読んでもらいたい 以下のような課題を抱える責任者・マネージャー・リーダーの方に読んでもらえると嬉しいです チームメンバーがいつどんな仕事を何のためにしているかわからない 進捗どう？と聞いてしまいがち 目標のためにあれもこれもと仕事が増え、残業が当たり前の組織になってしまっている 目的や目標に対して、全員のベクトルが揃っているかが不安 確認や報告のMTGが多い 以下のような課題を抱えるメンバーにも読んでもらえると嬉しいです 自分の仕事量や成果を上司が把握してくれているかわからない このタスクは何のためにやっているかわからなくなるときがある 目的や目標に対して、どう向かっていくのか解像度高く見えてこない なぜスクラムを導入したのか SCQAで記載します 状況提示(Situation) 以前より僕たちは毎日朝会を実施していました 今日やることを発表し、確認し合っていました 複雑化(Co
マネジメントって何すればいいの〜？1年間マネジメントに向き合ったのでまとめを書きます - Qiita
はじめに こんにちは！Supershipの永田ゆにこです！「Supership株式会社 Advent Calendar 2016」の20日目を担当します（^o^）今年は会社のやつに参加するぞ〜！ これからマネジメントやらなきゃいけない人や、同じように困ってる人にぜひ読んでほしい！めちゃくちゃ長いです。 前置きと振り返り さて、これまでは二年連続でGitに関することを書いてきました。Gitが使えるデザイナーブランディングをしていたんですね〜。いまやデザイナーの人がGit使うのは普通になってきた印象です。便利すよねえ。 去年の書いたのはこれ Gitとわたしとデザイナーと 〜2015年Gitの思い出〜 その前書いたのはこれ デザイナーがこうやってGit覚えて大好きになったよ♡ てな感じで少し前はデザイナー&ディレクターをしていたのですが、最近はだんだんプロデューサー&マネージャーぽい感じに変わっ
エンジニアリングマネージャ/プロダクトマネージャのための知識体系と読書ガイド - Qiita
本記事は、Engineering Manager Advent Calenderの１日目です。 はじめに エンジニアリングマネージャ(EM)と呼ばれる職務を設置する企業が増えてきました。 私たちの主催したイベントEOF2019でも700名近い方に参加していだき、また多くの方にご協力いただき成功裏に終わることができました。 EM Meetup/EM.FMなどのムーブメントの中心の一翼を担わせていただき、その高まりを感じる一方で不安も感じます。このエンジニアリングマネージャという職務は非常に多岐にわたるケースが存在していますし、必要だとされるスキルもまちまちです。そして、多くの場合、その企業のステージや状況ごとに求めるものは違います。また、求めていることを明文化することすらされていないケースも存在します。 このことから、エンジニアリングマネージメント自体が一時的な潮流として消費され、消えていっ
マネージャー・リーダーの私にとって有益な知見が得られた書籍 - Qiita
はじめに マネージャー・リーダーの私にとって有益な知見が得られた書籍を、簡単な所感とともに、まとめておきます。 随時、更新していく予定です。 ここに示した書籍は、マネージャー・リーダーの経験を得た後に、自分の経験を頭に置きながら、読んでみたほうがよいと思います。 経験がない状態で、ここに示した書籍を読んでも、得られる気づきなどは少ないと思います。 書籍は、「以下の順で読むとよいかもしれない」という順に並べてみます。 また、おまけとして、以下の情報もまとめてみました。 マネージャーとして意識的に実行していること マネージャーの立場で工夫してみたこと 書籍ではなくメンバから学んだこと 書籍一覧 「先端技術者のためのトラブルシューティング技術―組込みシステムの品質問題をこの一冊で原因究明」，金子 龍三 金子龍三さんの講演は楽しい、刺激がある。経営者やPMは、是非一度話を聞いてみるみよい。トラブル
マネージャーの役割を引き継ぐときに、メンバから聞いた”継続して欲しいこと” - Qiita
はじめに 昔(2018年12月くらいに）、体制変更で業務が変わるかもしれないので、マネージャーの役割を引き継ごうとしました。 今まで取り組んだことで、価値のないこと（価値を感じてもらえていないこと）は自分がいなくなれば、自然とやられなくなります。 今まで取り組んだことで、価値があることでも、やる人がいなくなれば、やられなくなる可能性があります。 そこで、メンバに『私が抜けても継続して欲しいことある？』と質問してみました。 自分が取り組んだことで、メンバに価値があったこと／価値を感じてないことがよくわかり、有益でした。 自分は価値があると思っていたのに、意見がなかったこともあります・・・ 継続してほしいこと一覧 情報共有 みんなが見えるところに日報を書く 日報を利用し困っていることの打ち上げ チームまたいだ全体の情報共有会 協力会社リーダも情報共有会に参加 slack（Mattermost）
Google Cloud Platform Cloud Billing IAM を軽く説明 - Qiita
Cloud Billing IAM とは Cloud Billing IAMとは、Google Cloud Platform(GCP) の請求情報となる請求先アカウントに対する役割を制御します。 請求先アカウントにはクレジットカード情報等お支払い情報が設定されています。お支払い情報は、GCP の使用を始める際に設定する必要になります。 Cloud Billing IAMは、Cloud IAM の設定画面ではなく、お支払いの画面で設定します。（一部はCloud IAM で設定します。） コンシューマーが無料の@gmail.comからGCPを利用する場合は、特に意識することなく自分（ユーザー）がプロジェクトオーナーであり、請求先アカウント管理者となります。 G Suite や Google Cloud Identity を使って複数ユーザーを管理する場合、組織のアカウントの請求先アカウントを１
Terraform(google provider) で Service Account に Role をバインドするときの罠 - Qiita
Terraform(google provider) で Service Account に Role をバインドするときの罠TerraformcloudsqlServiceAccountGoogleCloudCloudRun Cloud Run から Cloud SQL へのコネクションを作るには Service Account によって承認を通す必要がある。Cloud Function と同じアプローチ。 https://cloud.google.com/sql/docs/mysql/connect-run?hl=ja 前例の記事などがなかったので雰囲気で手を動かしてたらがっつりハマったので備忘録を残していく。 Service Account を作る Terrafrom で Service Account のリソースを作ると以下のような感じ。 resource "google_clou
Terraformを使ってCloudFunctionsのzip化とdeployを行う方法 - Qiita
CloudFunctionsをTerraform化する際にハマったのでメモ ハマったポイント deployする時のzip化をどうするか どうやって、ソースの更新があった時のみdeployされるようにするか TerraformでCloudFunctionsをdeployする時に同じ名前のzipファイルだとdeployされないというissueが上がっている 解消方法 zip化 terraformのarchive_fileを使うとzip化をterraformで出来る ソース更新の取得 ソース更新があった際にだけzipファイル名を変えればdeploy出来るので、zipファイル名にmd5をつけることで対応 サンプルコード 以下の用なterraformのコードで対応出来た # archive_fileを使うことでterraform plan時にzipファイルがローカルに作成される data "arch
Terraform で GCP の組織設定・共有 VPC・VPN 作成 - Qiita
内容 これまで GCP を手動構築していた範囲を、Terraform で IaC 化したので、その内容を記載する これまで手動(Webコンソール, gcloud, etc.)でやっていた内容 (Terraform コード化対象) 構築内容 前述の「これまでやっていた内容 (Terraform コード化対象)」のリンク先内容を実施する 内容は下記で、記載済み内容については説明を省略し、追加するものは補足を記載している箇所がある 組織の作成と共有 VPC 構築 ホストプロジェクト作成 サービスプロジェクト作成 共有 VPC Subnet の設定 [追加] 組織のポリシー追加 [追加] 権限の追加 HA VPN 自宅ラボ向けに HA VPN を構築する 自宅ラボ向けに設定Config例を出力する (EdgeRouer向け) VPC Service Controls サービス境界の作成 限定公開
Google Cloud のログ設定 Cloud Logging の概要と一部設定など - Qiita
はじめに Cloud Logging について使い始めるのにまとめたのでその内容を記載する 一部設定についても実施してみたのでその内容も記載する (Logging Storage/オンプレ収集エージェント(fluent-plugin-google-cloud)など) Cloud Logging とは ドキュメント： https://cloud.google.com/logging/docs/basic-concepts?hl=ja Google Cloud のオペレーション スイート サービスの一部 ログのストレージ、ユーザー インターフェース（ログ エクスプローラ）、ログをプログラムで管理する API から構成される Logging では、ログエントリの読み取りと書き込み、ログのクエリができ、またログのルーティングと使用方法を制御可能 ログの種類 ドキュメントとその先のリンク先を参考に表
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
gcloud でプロジェクトの切り替え設定 - Qiita
Cloud Runを使うならこれだけ知ってると得した気分になる - Qiita
