GAE/pyな環境でDatastoreにアクセスしていますが、GCEやローカル環境からアクセスしたくなることもあります。 方法は2つくらいあると思います。 GAEのRemote API (remote_api_shell.py) Google Cloud Datastore API (gcloud-python) 他にもアプローチはありそうですが。。 Google Cloud Datastore RPC APIのラッパーライブラリ GAEのTask Queue など。 Remote APIを使う Accessing App Engine with Remote API 標準の機能としてRemote APIがあります。 gcloud sdkでpython sdkを入れる？とremote_api_shell.pyにパスが通っていると思います。 さらにGAEのapp.yamlに

Google Cloud Datastoreは一般的なRDBMSに比べると使えるクエリの柔軟性がありません。特にGAE初心者が困惑する点の一つが、SQLのCOUNT関数相当の機能が用意されていないことです。 「正確な件数なんて大抵の場合不要な情報だろう」というのがGoogleの中の人の考えなのかもしれません。実際、GoogleのプロダクトはGoogle検索にせよGmailにせよ件数表示が適当なものが多い気がします。その方針を貫き通せるならそれが一番いいような気もしますよね。 とはいえ、Datastoreを使っていてCOUNT関数が欲しくなるときもあるでしょう。できるだけ労力をかけず、かつできるだけGoogleさんにお金を払わずにDatastoreクエリの件数を取る方法について調べてみました。 統計用のkindを利用する 特定のkindのおおよその総件数を知りたい場合、Datastoreの統

curl コマンド、ちょくちょく使うけどオプション忘れてまう ってことで備忘録 -o <file>: ダウンロードしたデータをファイルとして保存 long option は --output curl で URL 叩いて、ファイル名を指定してダウンロードしたいときは 小文字 の o。 wgetだと 大文字 の -O でダウンロードファイルの指定になるから毎回迷う。やってられん。 curl は 小文字 で指定。 ちなみに wget で小文字の -o はログファイルの指定。やってられん。 -O: 指定した URL の内容をそのままファイルとしてダウンロード long option は --remote-name ...は？ この記事を参照してくださってた記事で書いてあったオプション← 上で紹介した -o のように、このオプションを使ってもファイルダウンロードになる。 た・だ・し！ このオプショ

経緯 datastoreからexporterでRDBにデータ移行。 その際にdatastoreの該当のkindから移行先のDBのテーブルに同じレコード数が移行できているか確認したい。 問題 GAE datastoreを参照するdatastoreViewではselect count(*) ...が出来ない 対応方法 datastoreViewで表示されるデータをスクレイピングしてカウント 面倒だったこと 現状のdatastoreViewはデータを非同期で読み込んでいるのでスクレイピングが困難 古いdatastoreViewでパラーメータにlimitとoffsetを渡しながらページ遷移してカウントしていった。 しかもlimitは200が上限... 旧datastoreView スクレイピングのサンプル googleのログインはEメール入力してから遷移してパスワード入力の２段階になる。 Mech

インデックス作成 まず、MySQLで下記のHOGEテーブルのHOGEカラムにインデックスを作成してみます。 HOGEテーブル | hoge | CREATE TABLE hoge ( ID int(11) NOT NULL, HOGE text NOT NULL, VERSION int(11) NOT NULL, PRIMARY KEY (ID) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

Help us understand the problem. What is going on with this article?

ところがこのcron_job.shが1分以内に処理が終わらない場合、1分後には同じスクリプトが2重で起動されてしまうので、その防止方法について考える。 こういう場合ジョブの実行開始時にロックファイルを作成して、ロックファイルがあったら後追いのcronでは実行しちゃだめよーという方法がポピュラーらしいが、なんか面倒に感じる。 一番簡単かも？な多重起動防止機構付きのcrontabワンライナー ということで、簡単な方法を求めていたら、pidofコマンドを使ってジョブの実行状況を確認する方法だとワンライナー的に書けて一番便利そう。これでええやん。

概要 無料でサイトの脆弱性チェックできるツールのOWASP ZAPを使ってみて 脆弱性対応をしてみたというお話である。 OWASP ZAPのダウンロードは下記 https://github.com/zaproxy/zaproxy/wiki/Downloads 使い方 ところどころが日本語化されているので比較的に使いやすいかもしれない クイックスタートより攻撃対象URLを入力して攻撃！ 対象のサイトがどこかの外部サイトのものやCDNなどを使用されている場合は攻撃する前にURLの指定を外したほうが良い。 発生した脆弱性 X-Frame-Optionsヘッダーの欠如 「クリックジャッキング」攻撃を防止するために下記を追記することで対策できる。 他のサイトからiframeによるアクセスができないようにするために行う内容である。 .htaccessなら

問題 Mockeryでoverloadを使うことで、比較的依存度の高いクラスをテストすることができるようになります。Mockeryについては下の記事を参照ください。 PHP - Mockeryでメソッドをoverloadするサンプル（別メソッドでMockを作成する） - Qiita Mockeryを使って Hoge クラスをテストする HogeTest クラスを作成し、phpunitを実行したところ、次のようなエラーに出くわしました。 1) path\to\HogeTest::fooTest Mockery\Exception\RuntimeException: Could not load mock path\to\ClassUsedInTest, class already exists class HogeTest extends \TestCase { /** * @runInSe

AmazonLinuxは初期状態ではSSHでパスワードログインできない いくつもインスタンスを作成した経験からですが、インスタンス作成時に必ずSSHの設定がリセットされるようです。例えば、SSHでパスワードログインを許可していたインスタンスから作成したAMIがあります。そのAMIから作成したインスタンスにSSHでパスワードログインしようとしても、SSHの設定が初期化されているため、一度ec2−userアカウントと作成した鍵でログインする必要があります。 設定手順 SSH設定ファイルのバックアップ

いままでいろいろTwilioの機能を紹介して来ました！ 今回はTwilioで着信機能！その中で、もっとも活用されている「IVR（自動応答システム）」を作ってみたいと思います。 IVRとは？ どこかに電話をかけた際に、〇〇の場合は1を、△△の場合は2をなど、自動的に音声による案内、もしくは応答してくれるシステムを言います。 詳しくはこちら。 http://ja.wikipedia.org/wiki/自動音声応答装置 て、今までこのようなシステムを開発するためにはいろんなことを考えなくちゃならなかったですね。 システムの開発もそうだし、設備はどうする？回線は。。いろいろ複雑だったはずです。 そこで、Twilioを使えばPHPやrubyなど、一枚のスクリプト且つ短いコードでこのような自動応答システムの開発ができるようになります。 ソースコードから。 <?php require("twilio-p

select from_unixtime(round(unix_timestamp(created_at) div (10 * 60)) * (10 * 60)) as timekey from table group by timekey; Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

こんにちは、 @haeena です。 この記事は NTTコミュニケーションズ Advent Calendar 2017 の14日目のようです 2017年10月にリリースされた Grafana 4.6より、Grafana自体にannotationを記録する事ができるようになりました1。今回はGrafanaのannotation機能を利用して、試験の結果のグラフをしこたま生成していこうと思います。PNG画像のexportもDashboardのSnapshotもあるよ。 この記事ではAPIを利用してannotationを付けていきますが、Dashboardから直にannotationをつけると上図のような感じになります 2 モチベーション パフォーマンス系の試験をしたくなった 計測系のsetupは楽にしたい Grafana + Prometheusが好き 見栄えのよい画像を生成したい時もあるじゃ

電話とインターネットを簡単に繋いでくれるTwilio。 非常にありがたい存在ではあるけれども、使い始めるにあたってとっつきにくいところも。 自分が始めるときに理解に時間がかかった点、もたついた点を残しておくので、 これから始める人の敷居が少しでも下がれば幸い。 "Voice"と"Client"の違いが分からない問題 Twilioを始めようと思って、公式サイトをとりあえず眺めていると、 「Twilioには3つの機能があります」と出てくる。"Voice", "Client", "SMS"。 SMSはまぁ分かる。電話に対してメッセージ送れるんでしょ？（使ったことないけど） 問題はVoiceとClient。 機能一覧を見ると、一言一句同じなわけで…。なんなのさ？ とりあえず以下の認識があれば困らないと思う。 Voice -> 一般の電話も扱えるよ！ Client -> ブラウザやスマホアプリからも

技術者向けというより利用者向けの記事になります。ターゲットとして今までパスワード認証だったけど、これからセキュリティを考慮して公開鍵認証に切り替えるよ、でも切り替えに必要な作業は個人で行ってねと言われて途方に暮れている人向けです。 急ぎの方は、 秘密鍵と公開鍵の生成 秘密鍵の登録 公開鍵の登録 動作確認 を読んで、実行してもらえれば大丈夫です。 sshの認証方式としてはよく使われるパスワード認証の他に公開鍵認証というものがあります。 公開鍵方式では「公開鍵」と「秘密鍵」の2種類の鍵を使って認証を行います。この2つの鍵は基本的にファイル（実体としてはただのテキスト）として扱われます。sshの場合はパスワードの代わりに秘密鍵を用いる感覚（場合によってはもっとお手軽な感覚）で使うことができます。もちろん、パスワードと同じように秘密鍵は厳重に管理する必要があります。 パスワード認証に比べたメリット

この記事はGoCon 2016 springで話す内容を圧縮するためのものです。 WebサービスのAPI仕様を記述したりするためのそれなりに有名な仕様について、筆者(@vvakame)の私見を述べていく。 なお、Google Trendの結果を見ると…。 仕様を調べてSwaggerを選択する事にしたのは1年弱程度前のはずなので、もし "今はそれもうできるよ！" とかあったらコメントなどで教えてください。 RAML RESTful API Modeling Language なので、手書きを前提にしている。 YAMLで頑張って仕様を書く。 Spec APIs Explorerっぽいものもあるっぽい。 総評 比較的広く使われているようでパワを感じる。 まず仕様が先というスタイルなのがめんどくさそう。 YAMLなのがちょっとイヤ。 RAMLからGoとJavaScript(TypeScript)向

まとめ Laravelの.envではいくつかの文字列が特別扱いされて文字列ではない値に自動的に変換されます。機能としては前からあったようですが、公式ドキュメントにその記述が追加されたのは2018年3月末のこのコミットの模様。2018年4月2日現在では日本語版には反映されていません。 .envの記述 env()ヘルパーの値

AWS Lambda + API Gatewayで今流行りのサーバーレスなWebサービスを使ってみる機会がありました。 Lambda関数を管理コンソール上でインライン編集をしていたのですが、ある時間違えてソースをいじってしまい、関数、ひいてはAPI自体が動かないということに...。 ソース管理は大事！！ということを身にしみて感じたので、Lambdaのソース管理を行う方法を調べました。 AWS SAM (AWS公式) Serverless Framework ２つの方法があることを見つけたのですが、AWS SAMは現時点でAPI GatewayでのCORS対応が行えないようなので、Serverless Frameworkを使用してLambdaのソース管理を行うことにしました。 （ローカルでServerlessのプロジェクトを作成し、gitでソース管理を行う。） Serverlessで、Lam

はじめに AWS Lambdaが2016年2月11日に待望のVPCアクセスをサポートしてから1ヶ月とちょっと経ったわけですが、その特性や気をつける点については以前こちらで簡単にまとめました。今回は実際にVPCアクセスを利用しようとして上手く行っていない場合にチェックすべきポイントについて簡単にまとめます。 といっても基本的にはAWS Lambda固有の話ではなく、VPC周りの確認が主になります。 なお、VPCの件以外にもAWS Lambdaの挙動などハマりがちなポイント、確認すべきポイントについて先日のJAWS DAYS 2016で登壇した際にまとめたのでこちらも合わせて参照ください。 本投稿は個人によるものであり、所属する企業や団体に関係するものでも代表するものでもありません AWS Lambdaにおけるネットワーク的な制限 まず、AWS LambdaでVPCアクセスを有効にしたにも関わ

はじめに Amazon SQS + Amazon Lambdaを利用して実装を行ったのですが、恥ずかしながらSQSの基本的な仕組みをきちんと理解せずに実装をすすめたため、途中でハマったり、当初の設計を変更するハメになりました。 僕と同じような状況に陥る人が今後出ないように、勘違いしていたところや、気をつけるべき点を説明します。 ドキュメントを読む 公式のドキュメントはこちら 全て取得できることを保証しない / 重複取得もありえる 超基本的なこと、その1です。 SQS APIからメッセージを取得する際は、最大で10件まで同時に取得可能ですが、 ( 詳しくはこちら ) 例えば、キューにA,B,Cというメッセージが3件だけある状態で、SQS APIから10件メッセージの取得を行った場合に、Aのメッセージのみを10件取得する、というケースも普通にありえるのです。 複数のサーバーにメッセージを保存