AWSのPrivateリソースに対してProxyを立ててアクセスするときに考えること
手法 いくつかあると思うが、今回の選択肢としては次が挙がった Public SubnetにEC2を構築し、そのEC2を経由してPrivate RDS（など）にアクセスする手法と、 ECS Fargate × SSMで構築し、ECSに対してSSM接続することでProxyとする手法。 Pros and Cons EC2 Pros（長所） 馴染みのEC2なので何かと情報が出回っており、直感で操作できる 構築難易度がECSに比べ低い。 Cons（短所） EC2 Fargateパターンに比べ、イケイケ感の低さや運用コスト（後述）の違いがある 運用担当者がEC2内にSSHユーザーの設定をユーザー毎に行わなくてはいけない sshのkey pairをどう管理するのか問題が控えている ECS(Fargate) Pros（長所） まず、イケている。 運用担当者はSSHユーザーの作成不要で、IAMユーザーさえ作
15分で読める「Go言語による並行処理」ポイントまとめ・上 - Qiita
Go言語による並行処理について自分なりにポイントをまとめていきます。 15分で読める「Go言語による並行処理」ポイントまとめ・上 15分で読める「Go言語による並行処理」ポイントまとめ・下 ※15分 = この記事の文字数(約7100字)/1分で読めるらしい文字数平均(400~600)の大体 並行性の概念 そもそも「並行性」とは 前提の話であるProcess,Thread,そして並行と並列の違いについては以下の記事がわかりやすかったです。 マルチスレッドと並行処理をわかりやすく説明します Process = 仕事の単位を表す概念 Thread = Processより小さい単位であり一つのプロセスにより所有、共通のメモリを参照 並行 = コンテキストスイッチにより複数処理を同時に行っているよう見せている 並列 = 完全に同時に処理 また書籍内では簡潔な一文で説明されています。 並行性はコードの
LINEの新しいセルフサービス型バッチデータ収集システム「Frey」の導入
こんにちは、Data Platform室Data Engineering 1チームの徐です。 Data Platform室では、大規模なHadoopクラスタを運用し、データ収集、分析、活用するためのプラットフォームを提供しています。Data Engineering 1チームのミッションの一つは、様々なストレージからのdata ingestionシステムを構築、運用することです。 本記事では、バッチ処理でデータ収集を行うシステムの概要を説明した後に、LINEのセルフサービスツールであるFreyをご紹介します。 課題： このシステムでもデータ収集のバッチ処理を実行・管理するという目的は果たせましたし、ユーザーとタスクの規模が小〜中程度であれば問題はありませんでした。しかし、LINEの全てのプロダクトまでスコープを広げるにつれ、次のような問題に躓くことが増えていきました。 コード記述（ステップ1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
