はてなブックマーク

これは TECHSCORE Advent Calendar 2019 の7日目の記事です。 Amazon Simple Storage Service という名の通り、S3 は提供されているサービス内容は非常にシンプルなのですが利用時の用途が多岐にわたります。 利用用途が多岐にわたるという事は、注意して管理しないとカオスに陥る可能性があり、「一時的に置いているつもりだった」「そのうちに対応するつもりだった」という野良データがいつの間にか業務に組み込まれてしまい簡単に手が出せなくなる事態に発展する場合もあります。 私が普段利用している AWS アカウントの中で最も運用歴の長いものにも、何やらよろしくないデータが存在することが分かりました。 AWS を適切に利用出来ているかコストの面から調査をしている担当者から「S3 のストレージ利用量、勢いよく増加している理由は何？」と聞かれて即答できず、調

こんにちは、中西です。 好きなエディタは何ですか、と聞かれるとVisual Studio Code(以下、VS Code)と答えますが、 フォーマットをエディタに任せると、想定外の形になることがあります。 以下がHTMLを標準設定のままフォーマットしたときの例です。 整形されているため、きれいなコードになっていますが、 やはり自分が好きな形で整形されてほしいものです。 今回はVS Codeのフォーマッタを自分好みに設定してみよう、という記事になります。 ====実施環境==== ・Windows 10 ・Visual Studio Code version 1.37 フォーマッタの設定 1. インデントの数と種類を変更 最初に、自動挿入されるインデントを調節してみます。 標準設定ですと半角スペース4つ挿入されますが、この数を変更してみます。 画像内で赤の丸で囲んだSpacesを押し、 In

データベースにアプリケーションから接続する場合、多くの方がコネクションプーリングを行っていると思います。 Spring Bootの場合はデフォルトでHikariCPが有効になっているため、知らずにコネクションプーリングを利用しているということもあると思います。 コネクションプーリングは、SQL発行時に既存の接続確立済みのコネクションを使いまわすことによって、 データベースへの接続処理を省き、パフォーマンスを向上させるものですが、実際どれくらい効果があるのか、計測してみました。 コネクションプーリングの種類 コネクションプーリングの方式は大きく分けて「クライアント型」「サーバ型」の2種類があります。 よく使われているのはクライアント型で、HikariCPのようにアプリケーションがコネクションをプールします。 サーバ型は、アプリケーションとデータベースの間にコネクションプーリングを行うサーバを

これは TECHSCORE Advent Calendar 2019の25日目の記事です。 横田です。転職して3カ月程ですが前職までは Oracle や SQL Server を中心に触っていました。本格的にPostgreSQLを使うようになったのが今回始めてのため、SQL Server の言葉を借りて説明している箇所が有ります。予めご了承ください。 今回は、PostgreSQL 11 で実装された付加列Index (※) を中心としたパフォーマンス関連のお話をしたいと思います。商用DBと比較してしまうとOSS-DBに無い機能が多かったりするのですが、近年はパーティショニングやIndex機能の充実化など、溝を埋めていこうとする姿に感銘を受けました。なのでDBを使う側も実装されたものを使いこなせる様になろうと思います。 ※「付加列Index」はSQL serverで同機能の呼び名です。機能の

これは TECHSCORE Advent Calendar 2018 の7日目の記事です。 こんにちは、土屋です。 今年1月に AWS Lambda が Go のサポートを開始しましたね。 Gopher たちが賑わう中、私も Go のアプリを Lambda で作りたいなあと思い、 AWS SAMを使って環境構築をしてみました。 環境構築はチャチャッと終わらせたい！と思いつつも、実際にSAMを使ってみると、自分がやりたいことを実現する方法がわからず、調べるのに意外に時間がかかってしまいました。 そこで今回は「先に知ってればもっと工数削減できたなー」と思った、AWS SAM に関する小ネタを4つをまとめました。 ※AWS SAM は公式ドキュメントの Benefits of Using AWS SAM に書かれている通り、AWS CloudFormation の拡張です。本記事の内容は、Clo

これは TECHSCORE Advent Calendar 2019 の 23 日目の記事です。 こんにちは。松本です。 社内向けに作成した ITP（Intelligent Tracking Prevention） に関するドキュメントを再編集し、ブログ記事として以下に公開します。対象は、ITP 1.0 から ITP 2.3 に加え、2019/12/10 に発表された Preventing Tracking Prevention Tracking までとなります。 WebKit のソースコードに目を通すところまでは出来ていないので、あくまでも WebKit ブログから読み解ける内容が中心となります。 前提知識（用語など） まず、ITP に関連して頻出する用語をピックアップして解説します。 WebKit WebKit（ウェブキット）は、HTML や CSS などで記述されたドキュメントを解釈

これは TECHSCORE Advent Calendar の13日目の記事です。 Privacy Sandbox は Google が提唱する 広告についての技術的な取り組みです。Google の Chrome ブラウザの開発チームのブログで以下のように書かれています。 Chromium Blog - Potential uses for the Privacy Sandbox we outlined our vision for an initiative aimed at evolving the web with architecture that advances privacy, while continuing to support a free and open ecosystem. プライバシーを向上させながら自由でオープンな (広告の) エコシステムを引き続きサポートす

これは TECHSCORE Advent Calendar 2019の22日目の記事です。 Introduction(はじめに) アルゴレイヴとは アルゴレイヴ(Algorave)というものをご存じでしょうか？アルゴレイヴとはAlgorithm(アルゴリズム)とRave(皆で楽しむこと)を組み合わせた造語です。音楽や映像をプログラミングで即興的に作り上げるライブコーディングという技術を使用し、ライブコーダーが様々なアルゴリズムから生成された音楽を流すイベントのことを指します。2011年イギリスで最初のイベントが開催され、現在世界で広がりつつあります。日本でも度々開催されています(algorave.tokyo) ライブコーディングとは ライブコーディングとは即興的にプログラムを書き/編集しながら、音楽や映像を奏でるリアルタイム・パフォーマンスのことです。作りこんだものではなく、偶然性や即興性

これは 😺TECHSCORE Advent Calendar 2019😺の3日目の記事です。 横田です。2019/11/15に開催された日本PostgreSQLユーザ会が主催するPostgreSQL Conference Japan 2019 に参加しました。このカンファレンスでは15のセッションが展開されていましたが、国産の分散RDBMSであるTsurugi(劔)が非常に気になったので、Tsurugi(劔)に絞って書いていきたいと思います。 国産の分散RDBMS/ProjectTsurugi(劔) 【Tsurugi（劔）ってなんだ？】 国産OSS-DBとして日経にも載ったDBエンジンの開発Projectです。分散構成になるので、シングルで動いているPostgreSQLと比べて導入と運用管理の難易度は難しくなると思います。ストアドプロシージャの互換性については怪しそうですが、SQLはP

※3つの方式ともに、シリアライゼーションには他の仕様を選択することも可能ですが、一般的なものを記載しています いずれかの方式に統一することもできますが、大規模なシステムに於いては、マイクロサービス間通信にgRPC、フロントエンドとの通信にGraphQL、外部公開するAPIにOpenAPIといったように、ユースケースに応じて使い分けるのも良いと思います。 gRPCを利用してみた感想ですが、パフォーマンスもさることながら、OpenAPIと比べて仕様が単純な分、IDLを元に生成される雛形（スタブ）の品質が高く複数言語での利用をスムーズに行うことができそうだと感じました。 gRPCの呼び出しスタイル gRPCの呼び出しスタイルには、単項RPCと3つ（サーバ/クライアント/双方向）のストリーミングRPCがあります。 詳しくはRPC life cycleをご覧ください。 本記事ではServer str

PostgreSQLの「effective_io_concurrency」という設定をご存知でしょうか？ PostgreSQLのドキュメントには、 「PostgreSQLが同時実行可能であると想定する同時ディスクI/O操作の数を設定します」 とあります。 とりあえず有効にしておけば同時実行でなんか速そう！という印象をうけるのですが、そんなことはありません！ PostgreSQL9.6以下の場合はオフにした方がパフォーマンスが良いケースが多いと思います。 今回はなぜオフにした方が速いのか、みていきたいと思います。 ※PostgreSQL10以降で実装されたパラレルビットマップヒープスキャンにはあてはまりません ※常に「オフ」が最適設定ということではありません。システム構成・データ傾向次第です ※検証環境はCentOS7、PostgreSQL9.6です effective_io_concurr

はじめに ご無沙汰しております。田中です。今回は jq と JMESpath について書きます。 AWS CLI の返り値の JSON は、以下のように --query オプションに JMESPath を指定して処理できます。 # 名前が test- で始まる最新の AMI の id を取得 $ aws ec2 describe-images \ --filters Name=state,Values=available Name=is-public,Values=false \ --query "Images[?starts_with(Name, 'test-')] | sort_by(@, &CreationDate) | reverse(@)[0].ImageId" "ami-xxxxxxxxxxxxxxxxx"

こんにちは、松浦です。 最近業務にて gRPC を使ったアプリケーションの開発をしています。開発をしていて少し困るのは、動作確認を行うのにどうやって gRPC サーバの RPC メソッドを呼び出すか、という点です。REST のエンドポイントの場合、curl やブラウザや Postman のようなアプリケーションでリクエストを送れましたが、gRPC の場合は、新たなツールを導入する（あるいは、クライアント側のテスト用コードを書く）ことになります。そこで、業務の効率化も兼ねて、お手軽に動作確認を行うのにどのようなクライアントツールがあるのか、調べて、触って、まとめてみることにしました。 前提 本記事では CUI のツールのみを取り上げます（GUI ツールもいくつかありますが、記事の分量と余力の問題で今回は取り上げません……）。 動作確認を行った環境は Mac (OS X 10.14.4) です

こんにちは、松浦です。 シナジーマーケティングでは Kubernetes のマニフェスト管理については kustomize を主に利用しています。今回は、 kustomize にまつわる内容を扱います。 kustomize には、 kustomize build 時にリソース定義の生成を行う generator (ConfigMapGenerator, SecretGenerator)や、変換処理などを行う transformer (コンテナイメージ名やタグを変える images やラベルを各リソースに付与する commonLabels など)が用意されています。デフォルトの状態でも十分に使い勝手の良いものですが、ときに generator や transformer の振る舞いに変更を加えたり、新たに処理を追加したいこともあるかもしれません。そのような場合にどういう手段が用意されているの

WEBアプリケーションサーバを構築する際、ELBやApacheやnginxなど何らかのリバースプロキシを前段に置くケースは非常に多いと思います。 今回は、筆者が各種リバースプロキシで1回ずつ位ハマった気がする、KeepAliveタイムアウト問題について解説します。 まずはHTTPにおけるKeepAliveについて簡単に説明します。 HTTP1.1の持続的接続(Persistent Connections)の根幹をなす機能で、1つのTCPコネクションで複数のリクエスト、レスポンスをやり取りする仕組みです。 このような機能が求められた背景には、TCP接続時の3Wayハンドシェイクのような負荷の高い処理を減らしたい、という目的があります。 単純化したシーケンス図で表すと、以下のようなフローになります。 KeepAliveタイムアウト サーバー側は次のリクエストを待つ際、いつ送られるかわからないリ

こんにちは、ゲスト参加の中山です。 まもなく Chrome や Firefox にて 3rd-party Cookie の扱いが変更される見込みです。 SameSite 属性（draft-west-first-party-cookies-07）への対応により Cookie にクロスサイト利用か否か（= 3rd-party Cookie 利用か否か）の明示を要求 明示的な SameSite 属性なしで Set-Cookie された値は 3rd-party Cookie として利用できなくなる これにより Cookie の目的の透明性 + ユーザーへのコントロール提供 + CSRF への対策を実現 仕様には HTTP Cookie Header 送信時の振る舞いについて定義されてますが 3.2. Semantics of the "SameSite" Attribute (Non-Normat

家の窓を閉めきっていると空気が悪くなりますが、一体どんだけ空気悪いのかなんとなく気になっていました。 とはいえ計測器は高額。センサーモジュールを探して自作することにしました。 寒い時期ですが、二酸化炭素濃度がわかれば最短の換気もできるかもしれません。 完成品はこちら とりあえず、どういったものになったか先に出してしまいます。 ユニバーサル基板に各モジュールをはんだ付けして、クラフト紙でケースを作りました。 使用する部品 Arduino Nano 互換機 MH-Z19 (二酸化炭素センサー) 約2,100円 0.96インチ 128x64 OLED ディスプレイ 約300円 購入先などは後に載せておきます。 接続方法 見たままです。 クリックして、拡大して見てください。 MH-Z19 は、ブレッドボードなどのピッチとは合っていないようなので、若干"ハの字"になるかと思います。 また↑に示されて

こんにちは。 TECHSCORE BLOG初参戦の中西です。 これは😺TECHSCORE Advent Calendar 2018😺の16日目の記事です。 皆さんはテスト駆動開発という言葉をご存知でしょうか？ 開発に携わっている方は、一度は耳にしたことがある言葉だと思います。 今回は新人の私がテスト駆動開発を一から学ぶにあたり、基本的なところですが調べたことをまとめてみました。 これからテスト駆動開発について調べる人の参考になれば幸いです。 テスト駆動開発を学ぶきっかけ 私は開発の新人として、ソフトウェアのテスト業務から始めました。 テスト業務に関わる中で、得た知識を開発で活かせないかと考えるようになりました。 そこで先輩からアドバイスされたのが、テスト駆動開発です。 自分が身に着けたテストの知識を開発に活かせるこの方法は、私にとってまさに理想的な存在で、 調べてみようと強く思い、この