AWSのSession ManagerとFargateを用いた踏み台サーバー構築のTips - KAKEHASHI Tech Blog
こんにちは。カケハシの Musubi AI在庫管理 チームで業務委託のエンジニアとして開発を行っております山田です。こちらの記事は カケハシ Advent Calendar 2021 の17日目の記事になります。 本記事では、AWS Systems Manager Session ManagerとAWS FargateでプライベートネットワークのRDSにアクセスするための踏み台サーバーを構築した際に、AI在庫チームが遭遇した問題の解決策や便利な設定をTipsとして紹介します。 上記技術スタックの選択を行うそもそものメリットや、実際の構築手順等の基本的な部分の情報に関してはネット上に多くの記事が存在するため、本投稿では導入当初参考にさせて頂いた記事を紹介するのみとします。 踏み台にSession ManagerとFargateを使用することのメリットやその背景に関しては、こちらの登壇資料で分
一週間で構築できる！ お手軽データウェアハウス
Legalscape (リーガルスケープ) アドベントカレンダー 2021 の 12/16 (木) のエントリです。 本日のエントリは、突貫工事的に一週間程度1で構築したデータウェアハウスについてお送りいたします。 データウェアハウス構築前夜 2021 年 6 月に予定をしている Legalscape 正式版リリースが刻々と迫り、みなが慌ただしく仕事をしている 5 月下旬、ビジネス上の様々な理由からユーザのアクティビティログを保持して分析・集計するデータ基盤、すなわちデータウェアハウスが必要になりました。 Legalscape ではそれまで、プロダクト上でのユーザの行動に伴って発生するアクティビティログはすべて (書籍の全文検索に用いているものと同じ) Elasticsearch クラスタにインデックスしていました。アクティビティログを利用する際は、このインデックスに対して Kibana
データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少し深く理解してみる - Qiita
概要 dbt（Data Build tool）を、前提知識となるデータエンジニアリングにおける現状を踏まえて、どういったツールであるかを説明します。dbtがデータエンジニアリングのあるべき姿としてデザインされており、共有されることが少ないデータエンジニアリングのナレッジを含むため、dbtを利用しない場合でも本記事の内容は有益な情報となっております。 dbtの概要については、下記の記事で整理しています。 データエンジニアリングの技術背景 ストレージコンピューティングの分離が可能なデータ処理エンジン（Spark、Presto等）がデータ分析基盤のデータストアとして用いられるようになってきています。従来であればデータレイクではデータの管理が困難であったが、レイクハウスフォーマット（Delta Lake、Hudi、Iceberg等）の開発によりデータレイクにACID特性を持たせられるようになり、デ
乱数チューニングによる動きのコク
乱数チューニングによる動きのコク 1. 一様乱数 いわゆるMath関数による乱数。 雑味や臭みが強く、そのままでは使い物にならない。 2. 雑味を取り除いた乱数 下処理として臭みや雑味を取り除いた状態。一様乱数特有の発作的なガタツキがないのがわかるだろうか？ 過去2フレームに、距離33%以内の重複数が出ないようになっている。 シャッフルやスロットのアニメ処理など、2連続で同じ数字が重なるとバグって見える表現に有効。 3. コクのある乱数 乱数の旨味が濃縮された状態。中心極限定理により、自然な風合いに濃縮されている。 加算式による天然の正規分布は、ボックスミューラー法の養殖された乱数と違い、加算回数で生産者ごとの味わいが出せる。 パーティィクルや自然シミュレーションと相性が良い。 4. 芳醇なまろ味を出した乱数 口に含んだ後に、豊かな香りが広がる乱数。移動平均により連続性を出すことで、揺らぎ
すき焼きの写真にすき焼きの3Dモデルを埋め込む方法 - KAYAC engineers' blog
この記事は Tech KAYAC Advent Calendar 2021の14日目の記事です。 こんにちは！意匠部のおばらです。 今日は、知っていても役に立たないかもしれない、 WEBページでの画像の変な使い方をご紹介しようと思います。 題して「すき焼きの写真にすき焼きの3Dモデルを埋め込む方法」です。 すき焼きの写真にすき焼きの3Dモデルを埋め込む方法 WEBページで読み込んでいるファイルは全部丸見え！ ブラウザのデベロッパーツール、便利ですよね。 特に Network や Source タブ。 読み込んでいるファイルがぜ〜んぶ丸見えです。 いけてるWEBサイトを見つけたら どうやって作ってるんだろう？ ふむふむ、3D部分はThree.jsで、モデルはglTFか〜 お、テクスチャはKTXを使ってる！ みたいに調べちゃいますよね？？ そう、デベロッパーツールは 覗く側としては、すご〜く勉
読書感想文の面白さ｜ヒロカズ
最近、文章を書くことが以前と比べて格段に増えた。noteで反応をもらえることが嬉しいので書くことは苦になってはいない。むしろ毎日の楽しみになっている。 さて、今回僕が伝えようと思うのは、読書感想文の面白さについてだ。 読書感想文というと、学校の宿題、という印象が強く、あまり面白そうなイメージがない、という人も多いと思う。しかし、この読書感想文、というものの奥深さに僕は少しだけ気づいてしまった。このことに気づくのが随分遅れたな、と今では少し後悔している。 読書感想文を書くとき、まず、何でもいいから、自分なりの一文で始めてみるというのが、とりあえずのやり方だと思う。例えば、「小学生にとって、職業のタネはどこに転がっているかわからないものだ」という一文で書き始めたとする。 すると、当然、その一文と意味合いが合致するもともとの文章を、読んだ本から拾ってきて、貼り付けたり、自分なりの見方を示しながら
[dbt] custom schemaを使って普段とは別のスキーマ下にデータモデルを作成する | DevelopersIO
大阪オフィスの玉井です。 今回は下記の機能を使ってみたので、ご紹介します。 dbtはどこにデータモデルを作るのか？ dbtはELTの「T」を担当するツールということで、分析に最適化されたテーブルやビューを簡単に構築することができる…というのは、dbtを調べたり触ったりしたことがある方はわかると思います。 では、その「分析に最適化されたテーブルやビュー」というのは、どのDB・どのスキーマに作られるのでしょうか。 ざっくりいうと最初の設定で指定した場所に作られる DBについては、Projectを作成するときに、対象のDWHの接続情報を設定しますが、そのときに指定した場所になります。ついでに、スキーマも合わせて設定できますが、こちらは接続情報として設定するのではなく、ユーザー毎に持つ「開発用の資格情報」として設定します。 「なんでこの設定こんな分かれ方してんの？」って思っちゃいますが、「どのスキ
![[dbt] custom schemaを使って普段とは別のスキーマ下にデータモデルを作成する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6172dee51c84ef7822379d7334691c90332d7023/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F08%2Fd72f41d6eb099a8fa0ef2791ad2b18a7.png)
クラシルでのSnowflakeデータパイプラインのお話＆活用Tips - dely Tech Blog
はじめに はじめまして。 クラシル開発部でデータエンジニアをしておりますharry(@gappy50)です。 この記事は dely Advent Calendar 2021 および Snowflake Advent Calendar 2021の9日目の記事です。 昨日はうっくんさんからのNotionでJiraを作ろう！というとても興味津々話でした！！ やっぱりNotionは色々できるのでいいですね◎ それと私のお話で恐縮ですが、昨日はSnowflakeのイベントSnowdayにてクラシルでのSnowflakeを活用したニアリアルタイム分析の事例についてお話をさせていただきました。 www.snowflake.com 今回はSnowdayでお話した内容のデータエンジニア寄りな詳細と、どのようにSnowflake*1を活用しているかを紹介させていただきたいと思います！ 最近のクラシルデータ基盤
BigQueryの未実行クエリは復活できる
そう、Cloud Audit Logs ならね。 本記事は、BigQuery Advent Calendar 2021 の 14日目の記事です。 皆様がBigQueryを日々活用されるなかで、こんなことでお困りではありませんか？ BigQueryの書き途中のクエリが消えた！ページ更新した・されてしまった！ そんなときでも、Cloud Audit Logsで監査ログ生成をしていれば安心です。本記事では、Cloud Audit Logsの概要と、実際に実行前のクエリを復活させる方法を紹介します。 Cloud Audit Logsとは？ 要はGoogleCloudサービスの監査ログを生成してくれるサービスです。 もちろんBigQueryの監査ログも生成できます。またBigQueryの監査ログは自動的にCloud Loggingへと転送されるので、コンソール画面から実行ログをすぐ確認できます。 さ
BigQueryスロット利用量の見積り - GiXo Ltd.
この記事は GiXo アドベントカレンダー の 12 日目の記事です。 昨日は、「プログラミング歴40年のおじさんが初めて本格的なPythonプログラム」を書いてみた でした。 本稿ではBigQueryにおいて計算リソースの単位として表現されるスロットについて、どのように利用量の確認・見積りを行うかについてお話をしたいと思います。スロットの見積り、難しいですよね。私は大層混乱しました。まだ混乱しているかもしれません。そんな難しいスロット利用量の確認・見積りについて少しでも役に立てばという思いで筆を執っている次第です。あるいは、どうせまた忘れてしまう未来の自分のためかもしれません。では始めます、よろしくお願いします。 定額料金で利用する際に特に気になるよね BigQueryを定額料金で利用する際にはスロットを100単位で任意の量だけ購入し、その購入量に応じて金額が決まります(最小100)。な
「タイムスリップしてない？」ドイツ・ローテンブルクで中世に迷い込んだ話｜果歩
もう5年くらい前になりますが、ドイツ語が必修だった大学生のわたしは、実力試しにドイツへ行くことにしました（ただの旅）。 今回は、そのときに寄ったローテンブルクという街で、中世に迷い込んでしまった話を書こうと思います。 まず、こちらがローテンブルクの町並み。ご覧の通り、とってもメルヘンチック。まるでおとぎ話の中の世界。町全体がこんな感じでかわいいのです。ん～～～最高！ 電車でミュンヘンからだと3時間半、フランクフルトからだと2時間半で行けます。 【ドイツ豆知識】ドイツの駅には改札がない！ ここでひとつ、ドイツ豆知識。ドイツの駅には、改札がありません！なので、切符を買ったらそのまま電車に乗り、車内で切符をチェックされることになります。 （なんだかタダ乗りできちゃいそうですが、ぜったいにしないように～！罰金がありますっ！）それではローテンブルクの様子をご紹介～！ ドアに刺繍ベスト？かわいい～。
ランダムをデザインする。｜泉水マサチェリー
ほとんど見なくなってたTwitterだけど、タイムラインを最新ツイート順にしたら、大分健康的な感じで少しだけ見直した。 こうしてみると、謎のルールやアルゴリズムでツイートが偏って表示されるのは割とストレスだったんだな〜と。 時系列にランダムに出てくる方が、なんとなく信用ができる。このランダムというのをどうやってデザインするかというのは、これからすごい大事な気がしている。 デザインされた時点で作為的じゃんとも思いつつ、先程の時系列〜みたいな、わかりやすいルール設定のデザイン。そういうのがないとなんだか息苦しくなってしまうような気がしています。 フェアなルール設定は至る所で必要になっている。 普段の仕事や生活でも大事にしたいです。
「フロー効率」をチームの常識にする - 『This is Lean』の内容をチームメンバーにレクチャーした話 - TechとPoemeの間
フロー効率性と「This is Lean」 あくまで自分の観測範囲での話ではあるのですが，2017年，ソフトウェアやITシステムの開発プロセス関連に興味がある人たちの間でホットだったキーワードのひとつが「リソース効率性とフロー効率性」だったと思います． 私自身，それまで「リソース効率性とフロー効率性」という概念は知らなかったのですが，9月にあった XP 祭り2017 での発表を拝見してから，自分の中では一気に火がつきました． 具体的に「リソース効率性とフロー効率性とは何か」という話は，その時の発表者である id:i2key さんの発表資料やブログのほうが詳しいと思うので，興味のある方はご覧いただければと思います． i2key.hateblo.jp Leanstartupをリーンにヤル #リーンスタートアップ from Itsuki Kuroda www.slideshare.net 簡単に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
