タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
パフォーマンスを考慮したIndex定義設計 | TECHSCORE BLOG | TECHSCORE BLOG
これは TECHSCORE Advent Calendar 2019の25日目の記事です。 横田です。転職して3カ月程ですが前職までは Oracle や SQL Server を中心に触っていました。本格的にPostgreSQLを使うようになったのが今回始めてのため、SQL Server の言葉を借りて説明している箇所が有ります。予めご了承ください。 今回は、PostgreSQL 11 で実装された付加列Index (※) を中心としたパフォーマンス関連のお話をしたいと思います。商用DBと比較してしまうとOSS-DBに無い機能が多かったりするのですが、近年はパーティショニングやIndex機能の充実化など、溝を埋めていこうとする姿に感銘を受けました。なのでDBを使う側も実装されたものを使いこなせる様になろうと思います。 ※「付加列Index」はSQL serverで同機能の呼び名です。機能の
はじめに AWS環境を構築する際、セキュアに保つためにAWS SecurityHubの『AWSの基本的なセキュリティのベストプラクティスコントロール』を活用しました。 今回は実際に運用して検出が多かったコントロール項目3選を紹介したいと思います。 AWSのドキュメントにすべての項目が詳しく記載されていますので参考にしてください。 1. IMDSv1の無効化 EC2起動時のデフォルト設定が「IMDSv1/IMDSv2を有効化する」となっています。 そのため、構築段階でIMDSv1の無効化の設定が漏れていることがありました。 IMDSv1と設定不備の組み合わせによるセキュリティ事故も発生していますので、不要であれば使わない方がよいと考えています。（気になる方は調べてみてください。） コントロール項目 [EC2.8] EC2 インスタンスは IMDSv2 を使用する必要があります 2. 保管中の
Google が提唱する「Privacy Sandbox」について | TECHSCORE BLOG | TECHSCORE BLOG
これは TECHSCORE Advent Calendar の13日目の記事です。 Privacy Sandbox は Google が提唱する 広告についての技術的な取り組みです。Google の Chrome ブラウザの開発チームのブログで以下のように書かれています。 Chromium Blog - Potential uses for the Privacy Sandbox we outlined our vision for an initiative aimed at evolving the web with architecture that advances privacy, while continuing to support a free and open ecosystem. プライバシーを向上させながら自由でオープンな (広告の) エコシステムを引き続きサポートす
AWS S3 コスト削減を目的に CSV から Apache Parquet に乗り換えるための下調べ | TECHSCORE BLOG | TECHSCORE BLOG
これは TECHSCORE Advent Calendar 2019 の7日目の記事です。 Amazon Simple Storage Service という名の通り、S3 は提供されているサービス内容は非常にシンプルなのですが利用時の用途が多岐にわたります。 利用用途が多岐にわたるという事は、注意して管理しないとカオスに陥る可能性があり、「一時的に置いているつもりだった」「そのうちに対応するつもりだった」という野良データがいつの間にか業務に組み込まれてしまい簡単に手が出せなくなる事態に発展する場合もあります。 私が普段利用している AWS アカウントの中で最も運用歴の長いものにも、何やらよろしくないデータが存在することが分かりました。 AWS を適切に利用出来ているかコストの面から調査をしている担当者から「S3 のストレージ利用量、勢いよく増加している理由は何？」と聞かれて即答できず、調
jq と JMESPath を同時に覚える | TECHSCORE BLOG | TECHSCORE BLOG
はじめに ご無沙汰しております。田中です。今回は jq と JMESpath について書きます。 AWS CLI の返り値の JSON は、以下のように --query オプションに JMESPath を指定して処理できます。 # 名前が test- で始まる最新の AMI の id を取得 $ aws ec2 describe-images \ --filters Name=state,Values=available Name=is-public,Values=false \ --query "Images[?starts_with(Name, 'test-')] | sort_by(@, &CreationDate) | reverse(@)[0].ImageId" "ami-xxxxxxxxxxxxxxxxx"
TECHSCORE｜知っておきたかったAWS SAM の小ネタ4選 | TECHSCORE BLOG | TECHSCORE BLOG
これは TECHSCORE Advent Calendar 2018 の7日目の記事です。 こんにちは、土屋です。 今年1月に AWS Lambda が Go のサポートを開始しましたね。 Gopher たちが賑わう中、私も Go のアプリを Lambda で作りたいなあと思い、 AWS SAMを使って環境構築をしてみました。 環境構築はチャチャッと終わらせたい！と思いつつも、実際にSAMを使ってみると、自分がやりたいことを実現する方法がわからず、調べるのに意外に時間がかかってしまいました。 そこで今回は「先に知ってればもっと工数削減できたなー」と思った、AWS SAM に関する小ネタを4つをまとめました。 ※AWS SAM は公式ドキュメントの Benefits of Using AWS SAM に書かれている通り、AWS CloudFormation の拡張です。本記事の内容は、Clo
PostgreSQL Conference Japan 2019 | TECHSCORE BLOG | TECHSCORE BLOG
これは 😺TECHSCORE Advent Calendar 2019😺の3日目の記事です。 横田です。2019/11/15に開催された日本PostgreSQLユーザ会が主催するPostgreSQL Conference Japan 2019 に参加しました。このカンファレンスでは15のセッションが展開されていましたが、国産の分散RDBMSであるTsurugi(劔)が非常に気になったので、Tsurugi(劔)に絞って書いていきたいと思います。 国産の分散RDBMS/ProjectTsurugi(劔) 【Tsurugi（劔）ってなんだ？】 国産OSS-DBとして日経にも載ったDBエンジンの開発Projectです。分散構成になるので、シングルで動いているPostgreSQLと比べて導入と運用管理の難易度は難しくなると思います。ストアドプロシージャの互換性については怪しそうですが、SQLはP
コネクションプーリングは実際必要なのか（PostgreSQL） | TECHSCORE BLOG | TECHSCORE BLOG
データベースにアプリケーションから接続する場合、多くの方がコネクションプーリングを行っていると思います。 Spring Bootの場合はデフォルトでHikariCPが有効になっているため、知らずにコネクションプーリングを利用しているということもあると思います。 コネクションプーリングは、SQL発行時に既存の接続確立済みのコネクションを使いまわすことによって、 データベースへの接続処理を省き、パフォーマンスを向上させるものですが、実際どれくらい効果があるのか、計測してみました。 コネクションプーリングの種類 コネクションプーリングの方式は大きく分けて「クライアント型」「サーバ型」の2種類があります。 よく使われているのはクライアント型で、HikariCPのようにアプリケーションがコネクションをプールします。 サーバ型は、アプリケーションとデータベースの間にコネクションプーリングを行うサーバを
※3つの方式ともに、シリアライゼーションには他の仕様を選択することも可能ですが、一般的なものを記載しています いずれかの方式に統一することもできますが、大規模なシステムに於いては、マイクロサービス間通信にgRPC、フロントエンドとの通信にGraphQL、外部公開するAPIにOpenAPIといったように、ユースケースに応じて使い分けるのも良いと思います。 gRPCを利用してみた感想ですが、パフォーマンスもさることながら、OpenAPIと比べて仕様が単純な分、IDLを元に生成される雛形（スタブ）の品質が高く複数言語での利用をスムーズに行うことができそうだと感じました。 gRPCの呼び出しスタイル gRPCの呼び出しスタイルには、単項RPCと3つ（サーバ/クライアント/双方向）のストリーミングRPCがあります。 詳しくはRPC life cycleをご覧ください。 本記事ではServer str
AWS Glueで作成したスキーマのtimestamp 型でハマった件 | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは。梶原です。 これは TECHSCORE Advent Calendar 2018 の8日目の記事です。 AWS Glue 東京リージョンでの利用開始から早や1年。 動かしてみないことには内容の理解も追いつかないだろうとは思うものの、何から手を付ければ良いものか。手頃なとっかかりが無いかと途方に暮れておりましたところ、社内の AWS 通からやってみたらと教えてもらったのがデータ分析基盤を作るというものでした。 ありがたい、是非やります、やらせてくださいーーー（＞＜） で、見事にハマったのです。エラーが起きて「さぁ乗り越えてみろ」と立ちはだかりました。 今回のブログでは Glue で作成したスキーマを Amazon Athena から timestamp 型でひたすらクエリを実行する内容でお届けします。 目次 環境と前提条件 あるべきフォーマットは謎。AWS 公式ドキュメントでは触
Visual Studio Codeのフォーマッタを自分好みに設定してみる。 | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、中西です。 好きなエディタは何ですか、と聞かれるとVisual Studio Code(以下、VS Code)と答えますが、 フォーマットをエディタに任せると、想定外の形になることがあります。 以下がHTMLを標準設定のままフォーマットしたときの例です。 整形されているため、きれいなコードになっていますが、 やはり自分が好きな形で整形されてほしいものです。 今回はVS Codeのフォーマッタを自分好みに設定してみよう、という記事になります。 ====実施環境==== ・Windows 10 ・Visual Studio Code version 1.37 フォーマッタの設定 1. インデントの数と種類を変更 最初に、自動挿入されるインデントを調節してみます。 標準設定ですと半角スペース4つ挿入されますが、この数を変更してみます。 画像内で赤の丸で囲んだSpacesを押し、 In
ついにReact18正式版が出ましたね！たくさんの新機能にワクワクしていますo(ツ)9 注目の機能であるuseTransitionやSuspenseについては既に多くのサイトで取り上げられていますので、今回はちょっと地味なuseEffectまわりの変更点を紹介したいと思います。 何がかわった？ useEffect自体が変わったわけではありませんが、StrictModeで開発モード時の動作が以下のように変わりました。 コンポーネントマウント時にアンマウント、再マウントされる アンマウント後のステータス更新の警告を廃止 一つずつ見ていきましょう。 1.コンポーネントマウント時にアンマウント、再マウントされる ちょっと何を言っているかわからないかもしれませんが、コンポーネントがマウントされた時、いきなりアンマウントされて、再度マウントされます。（開発モード時のみです！） この挙動の意図については
PostgreSQL effective_io_concurrency について | TECHSCORE BLOG | TECHSCORE BLOG
PostgreSQLの「effective_io_concurrency」という設定をご存知でしょうか？ PostgreSQLのドキュメントには、 「PostgreSQLが同時実行可能であると想定する同時ディスクI/O操作の数を設定します」 とあります。 とりあえず有効にしておけば同時実行でなんか速そう！という印象をうけるのですが、そんなことはありません！ PostgreSQL9.6以下の場合はオフにした方がパフォーマンスが良いケースが多いと思います。 今回はなぜオフにした方が速いのか、みていきたいと思います。 ※PostgreSQL10以降で実装されたパラレルビットマップヒープスキャンにはあてはまりません ※常に「オフ」が最適設定ということではありません。システム構成・データ傾向次第です ※検証環境はCentOS7、PostgreSQL9.6です effective_io_concurr
はじめに AWSで定期的なデータ連携バッチを書く方法の一つにAWS Step Functions(以下Step Functions)があります。Step FunctionsはAWS Lambda(以下Lambda)を始めとするAWSの様々なサービスを組み合わせたワークフローを記述できるサービスです。LambdaおよびStep Functionsはバッチ用のサーバを構築・管理する必要がなく安価にサービスを運用できるため、私のチームでも活用しています。 LambdaおよびStep Functionsにはそれぞれ制約があり工夫が必要となる場合もあります。例えばパイプラインを定義するためにASL(Amazon State Language)というDSLを使いますが、ASLで何ができるかを理解するには時間が掛かります。細かい書き方などはすぐ忘れてしまって、以前書いたのを探すのに苦労したりもします。こ
これは TECHSCORE Advent Calendar 2019の22日目の記事です。 Introduction(はじめに) アルゴレイヴとは アルゴレイヴ(Algorave)というものをご存じでしょうか？アルゴレイヴとはAlgorithm(アルゴリズム)とRave(皆で楽しむこと)を組み合わせた造語です。音楽や映像をプログラミングで即興的に作り上げるライブコーディングという技術を使用し、ライブコーダーが様々なアルゴリズムから生成された音楽を流すイベントのことを指します。2011年イギリスで最初のイベントが開催され、現在世界で広がりつつあります。日本でも度々開催されています(algorave.tokyo) ライブコーディングとは ライブコーディングとは即興的にプログラムを書き/編集しながら、音楽や映像を奏でるリアルタイム・パフォーマンスのことです。作りこんだものではなく、偶然性や即興性
ITP 1.0 から 2.3+α までの解説 | TECHSCORE BLOG | TECHSCORE BLOG
これは TECHSCORE Advent Calendar 2019 の 23 日目の記事です。 こんにちは。松本です。 社内向けに作成した ITP（Intelligent Tracking Prevention） に関するドキュメントを再編集し、ブログ記事として以下に公開します。対象は、ITP 1.0 から ITP 2.3 に加え、2019/12/10 に発表された Preventing Tracking Prevention Tracking までとなります。 WebKit のソースコードに目を通すところまでは出来ていないので、あくまでも WebKit ブログから読み解ける内容が中心となります。 前提知識（用語など） まず、ITP に関連して頻出する用語をピックアップして解説します。 WebKit WebKit（ウェブキット）は、HTML や CSS などで記述されたドキュメントを解釈
AWS Lambda Custom Runtime シェルを動かしてみた | TECHSCORE BLOG | TECHSCORE BLOG
これは TECHSCORE Advent Calendar 2018 の25日目(最終日)の記事です。 こんにちは、宮垣です。 テックスコアブログに投稿するのは約4年ぶりになりますが、よろしくお願いします。 さて、先日、AWS re:Invent 2018のKeynote Day2 で AWS Lambda に新機能、Custom Runtime がサポートされることが発表されました。 AWS Lambda がカスタムランタイムをサポート 今回は、この新機能を利用してLambdaでシェルを動かすテストをしてみたいと思います。 Custom Runtime を動かすためのチュートリアルが公式ドキュメントに用意されていますので これを参考にしながら、主にマネジメントコンソールを利用して実施していきます。 Tutorial – Publishing a Custom Runtime - AWS
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS 忘れがちなセキュリティ設定３選 - TECHSCORE BLOG
![[要移行] AWS WAF Classic (v1)が2025年9月30日で終了します | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/570e54f44a88ba2e7a9ac285e2f858d45eda2731/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-8cc2be5d32f2b7e78f85a99d463f3690%2F6213c0b16f198b77794266f22dc8eb5c%2Faws-waf)
gRPCのフロー制御を試してみた | TECHSCORE BLOG | TECHSCORE BLOG
React18であらためてuseEffectを考えてみる - TECHSCORE BLOG
AWS Step Functionsレシピ集 - TECHSCORE BLOG
Pythonで始めるアルゴレイヴ入門 | TECHSCORE BLOG | TECHSCORE BLOG
blog.goo.ne.jp/h-art_2005
natsuki2.lo.gob.jp
www.kawade.co.jp
www.asahi.com
note.com/minosuke_note
trafficnews.jp