BigQueryの日付テーブルにおける、日付指定リファレンス - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
BigqueryのSchedule queryを細々活用している話 - Qiita
この記事はGoogle Cloud Platform その２ Advent Calendar 2018の8日目の投稿です。 はじめに 今年はBigqueryに様々な機能が追加されました。 UIも新しくなり、大きく変わったなぁと今振り返ると感じます。 やはり今年のBQのアップデートの一番の目玉はBQMLかと思いますが、 個人的には痒いところに手が届くSchedule Queryも非常に気に入っています。 Schedule queryとは クエリを定期実行してくれるBQの機能です。 BQのUI上で完結できるからプログラミングしなくてよくて便利 使い方 ※ 旧UIでしか使えません UIにSchedule Queryというボタンがしれっと追加されてます。 ボタンを押すと下記のような感じ 任意の値を設定してください。 テーブルを指定するときは日付分割テーブルにすることもできます。 その際は、 tab
Google Cloud Platformを社内プロキシ環境で使う - Qiita
gcloud config set proxy/address proxy.local gcloud config set proxy/port 8080 gcloud config set proxy/username xxx gcloud config set proxy/password password gcloud config set proxy/type http_no_tunnel proxy/typeはhttp, http_no_tunnel, socks4, socks5と指定できるので、うまく繋がらない場合は指定して試してみてください。 bq BigQueryを使う際にも設定が必要です。 gcloudと同様に環境変数を設定してればBigQueryのbqコマンドも使えます。 kubectl GKEでKubernetes使いますよね。 kubectlも環境変数設定してれば
BigQuery でデータ追加が意外と難しかったのでメモ - Qiita
結論 × オペレーションが難しい ⚪︎ ドキュメントが難しい きっかけ それまでログに対して SELECT による集計等はやっていましたが, 直接 BigQuery のコマンドを使用してのデータ追加はやったことがありませんでした. 今回追加作業をするにあたって 「MySQL とかみたいに INSERT バッチとかですぐ終わるでしょ」と高を括っていました. Google Cloud SDK インストール SDK をインストールすることによりコマンドライン上から BigQuery コマンドを実行できます. https://cloud.google.com/sdk/ これは普通にダウンロード & インストールなので大丈夫. bq コマンドのドキュメントを読む https://cloud.google.com/bigquery/bq-command-line-tool?hl=ja SDK インスト
Cloud Pub/Subを使ったMessageのPublishとSubscribe - Qiita
GCPのCloud Pub/Subを使ってMessageのPulishとSubscribeをしてみる。 Cloud PubSubについては以下の公式ページに記載されている。 https://cloud.google.com/pubsub/overview 意訳したものを以下にまとめる。図などは公式ページから引用。 Cloud Pub/Subはスケーラブルでフレキシブル、そして信頼性のあるエンタープライズのメッセージングミドルウェア。多対多の非同期メッセージグングによってセキュアで高可用性のあるアプリケーションを開発できる。 パブリッシャーアプリケーションはメッセージを作成しTopicへメッセージを送信する。 サブスクライバーアプリケーションはTopicからメッセージを取得するためにサブスクリプションを作成する。 1対多や多対1、多対多のコミュニケーションが可能である。 Pub/Subのメッ
KPTの意見を引き出す質問例（メモ） - Qiita
KPTの意見を引き出す質問例 振り返りの参考に。 Keep 今後も続けたいことは何ですか？ どんな良かったことがありましたか？ なぜ、うまくいった/よかったのでしょうか？ 他の人にちょっと自慢したいことや、褒めてもらいたいことはありますか？ 他の人の「ここがよかったと」いうところはどこですか？ 前と変えてみたところはありましたか？ Problem 気になることや、困ったことはありましたか？ 何かガマンしていることはありますか？ 「もっとできた」と思っていることは、どんなことですか？ チームで決めたルールで、守れなかったことはありましたか？ 目標の到達をさまたげることは、どんなことですか？ ムダと感じることは、どんなことですか？（7つのムダ「未完成の作業のムダ」「余分な機能のムダ」「再学習のムダ」「引き継ぎのムダ」「タスク切り替えのムダ」「遅れのムダ」「欠陥のムダ」。『リーン開発の本質』より
OAuth 2.0 + OpenID Connect のフルスクラッチ実装者が知見を語る
認証は単純な概念で、別の言葉で言えば本人確認です。Web サイトにおける本人確認の最も一般的な方法は ID とパスワードの組を提示してもらうことですが、指紋や虹彩などの生体情報を用いた本人確認方法もありえます。どのような確認方法だとしても (ワンタイムパスワードを使ったり、2-way 認証だったりしても)、認証とは、誰なのかを特定するための処理です。開発者の言葉でこれを表現すると、「認証とは、ユーザーの一意識別子を特定する処理」と言えます。 一方、認可のほうは、「誰が」、「誰に」、「何の権限を」、という三つの要素が出てくるため、複雑になります。加えて、話をややこしくしているのは、この三つの要素のうち、「誰が」を決める処理が「認証処理」であるという点です。すなわち、認可処理にはその一部として認証処理が含まれているため、話がややこしくなっているのです。 認可の三要素をもう少し現場に近い言葉で表
一番分かりやすい OpenID Connect の説明 - Qiita
はじめに 過去三年間、技術者ではない方々に OpenID Connect（オープンアイディー・コネクト）の説明を繰り返してきました※1。 その結果、OpenID Connect をかなり分かりやすく説明することができるようになりました。この記事では、その説明手順をご紹介します。 ※1：Authlete 社の創業者として資金調達のため投資家巡りをしていました（TechCrunch Japan：『APIエコノミー立ち上がりのカギ、OAuth技術のAUTHLETEが500 Startups Japanらから1.4億円を調達』）。 2017 年 10 月 23 日：『OpenID Connect 全フロー解説』という記事も公開したので、そちらもご参照ください。 説明手順 （１）「こんにちは！ 鈴木一朗です！」 （２）「え！？ 本当ですか？ 証明してください。」 （３）「はい！ これが私の名刺です！
一番分かりやすい OAuth の説明 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 過去三年間、技術者ではない方々に OAuth（オーオース）の説明を繰り返してきました※1,※2。その結果、OAuth をかなり分かりやすく説明することができるようになりました。この記事では、その説明手順をご紹介します。 ※1：Authlete 社の創業者として資金調達のため投資家巡りをしていました（TechCrunch Japan：『APIエコノミー立ち上がりのカギ、OAuth技術のAUTHLETEが500 Startups Japanらから1.4億円を調達』）。Authlete アカウント登録はこちら！ ※2：そして２回目の
Amazon SQSを使う前に知っておきたい基本的なこと - Qiita
はじめに Amazon SQS + Amazon Lambdaを利用して実装を行ったのですが、恥ずかしながらSQSの基本的な仕組みをきちんと理解せずに実装をすすめたため、途中でハマったり、当初の設計を変更するハメになりました。 僕と同じような状況に陥る人が今後出ないように、勘違いしていたところや、気をつけるべき点を説明します。 ドキュメントを読む 公式のドキュメントはこちら 全て取得できることを保証しない / 重複取得もありえる 超基本的なこと、その1です。 SQS APIからメッセージを取得する際は、最大で10件まで同時に取得可能ですが、 ( 詳しくはこちら ) 例えば、キューにA,B,Cというメッセージが3件だけある状態で、SQS APIから10件メッセージの取得を行った場合に、Aのメッセージのみを10件取得する、というケースも普通にありえるのです。 複数のサーバーにメッセージを保存
VPCの構成まとめ - Qiita
仮想上に構築されるネットワーク領域。 サブネット VPC内をさらに分割しらネットワーク領域、インスタンスはこの中に所属する。 ルートテーブル ネットワーク用語を使わずに説明するのは難しいですが、、 サブネットとVPC内での通信（ネットワークトラフィック）を関連付ける道標のようなもの。 インターネットゲートウェイ(以下IGW) VPCとVPC外のインターネットを繋ぐ門のようなもの。 ElasticIP インスタンスに付いているネットワークインターフェイスと固定のPublicIPアドレスをひもづける。 ネットワークACL(以下ACL) サブネットへのネットワークアクセスを制御する。 セキュリティグループ(以下SG) インスタンスへのネットワークアクセスを制御する。 インスタンス（EC2、RDS） 必ずどこかのサブネットに所属する仮想上のサーバー。 ロードバランサ マネージド型サービスの為、EC
AWS LambdaのVPCアクセスに関して少しだけ解説 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS LambdaのVPC内リソースへのアクセスが可能になるアップデートが行われました。これは昨年のre:Inventで発表のみされていたものの、その時点ではまだ使えず非常に多くの人がそのリリースを待ち望んでいた機能です。基本的な内容はこちらのブログ記事を参照頂くとして、ここではいくつかキーとなるポイントを簡単に紹介したいと思います。 概要 ブログを読んでもらえばわかるのですが簡単に説明すると、これまでAWS LambdaのファンクションはVirtual Private Cloud(VPC)内にあってパブリックなIPを持っていないAW
アジャイル開発を支えるためのCI/CD - Qiita
アジャイル開発での何度も行われるプロダクトリリース アジャイル開発は早いサイクルが回っているチームでは１週間のうちに何度もリリースを行います。 リリースを何度も行うメリットは 開発中も常に動く状態のアプリケーションが確認できること 壊れたときにすぐに気がつけること 変更箇所を他の人もすぐ取り込むことが出来ること マネージャや顧客に対して常に進捗をデモという形で見せれること 他にも色々 このようなものがあります。 そもそもビッグバンリリースはテストも大変ですし、問題が起こったときに、どの箇所に問題があるかを調査する範囲を調べることが大変です。 バグの修正に掛かる時間の大半を占めるのがバグの調査時間になります。 半日以上かかって調査ししたバグが、１行のコード修正で終わってしまうこともよくあります。 細かくリリースをすることで、壊れた場合にそのコミットの変更の中におかしなところがあったと気がつく
Windowsターミナルソフト + Rlogin が最高すぎる！！ - Qiita
長らく Putty（パティ） を使っていました（ssh-keygenが梱包されていて便利なので）。ところがこの Putty 開発も終わってるしシングルウインドウもあり使いづらいなと思っている人もおおいのでは？と思うんですよね。そこで。Rlogin に！ ダウンロード先 本家ここからダウンロード。 Rlogin 使ってみた wikipediaをみると「RLoginは1998年の開発から始まる10年来のソフトウェアであり、定番ターミナルエミュレータ(Tera Term, PuTTY, Poderosa)のいいとこ取りをした統合的な端末ソフトに仕上がっている。実行プログラムはPuTTYと同様、EXEファイル1つのみとなっている。」とあるので枯れたプログラムでいい感じ（いい意味で）。 これが欲しかった TeraTem, Putty だとコピーバッファにある文字列を「マウスの右クリックでペースト」す
AWSの学習・情報収集で使えるサイト一覧 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 4月に入社した新入社員が、ビジネス基礎研修を終え、すでにOJTという名の現場教育・作業が始まっている企業もあるかと思います。 AWSに新しく取りくんでいこうと考えている初心者・入門者の方の手助けになるように、AWSを勉強・学習して業務として使っていくにあたり、参考となる資料を入手出来るサイトや困った場合にAWS情報を調べられるサイト等をコメント付きで整理したいと思います。 Amazon Web Services 公式サイト AWS クラウドサービス活用資料集 AWSの各種サービスを活用するために役立つ日本語資料が管理されていま
AWS(クラウド)超入門 第1回 - Qiita
はじめに この記事は【eLV】AWS(クラウド)超入門 第1回のハンズオン資料です。 他の勉強会などで参照頂いたり、そのまま流用(直リン歓迎)して頂いて構いません。 問題点や間違いがあればお手数ですがコメント頂ければ幸いです。 AWSを知ろう AWSって？ アマゾンウェブサービス(AWS)は、2006年に登場したシェア約34%[^1]を誇るクラウドサービス。 起源はアマゾン(ショッピングサイト)のビジネス課題を解決するために生まれたITインフラ。 自社で培った膨大なサービスを一般に提供。 初期費用なし、最低利用期間なし、無料枠あり。 無料枠だけ利用して即解約も可能。 個人利用からエンタープライズまで様々な規模で利用可。 利用料について 基本的には従量制課金(使った分だけ) クラウドサービス料金 無料利用枠の設定あり AWS 無料利用枠 見積もりツールを利用すればある程度は予測可能。 AWS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bigqueryの日時に関係する関数全部試してみた ①Date編 - Qiita
gcloud ツールで Pub/Sub を行う - Qiita
BigQueryへCSVファイルをロードする際、どこまで気を利かせてくれるのか - Qiita
脱cron!Rundeckでジョブスケジューラを構築 - Qiita
