はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Dockerコンテナ・グレートジャーニー 皆さん、エンジニアとしては必須級の知識となっているDockerコンテナは使っていますでしょうか？ この記事ではDockerコンテナについて、仮想化とは何かという部分からDockerコンテナを実際に動かすまで、その全体像をイメージで掴めるように解説していきます。 Dockerコンテナを使ったことが無い方はもちろん、普段なんとなく使っている方も、この機会にDockerコンテナとは何なのかについて０から学ぶ、始まりの旅グレートジャーニーにご案内します。 本記事はグレートジャーニーの第１回、そもそも仮想

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最初に 今までMySQL workbench を使っていて「RedshiftのテーブルにCSVからインポートするだけ？　簡単でしょ」と思っていましたが、初心者には低いハードルではありませんでした。。。 エラーとの闘いと完遂までの軌跡を、自分用のメモも兼ねて引っかかった部分をまとめます。 前提 TeratermからEC2にSSH接続 EC2からRedshiftにログイン コピー先のテーブルは "CREATE TABLE" であらかじめ作成済 1. EC2から直接COPYするのが難しかった 最初に試したのは、EC2にCSVファイルを置いて、

※ 本記事ではざっくりとした理解を目的とするため、スレッドとプロセスとコア、非同期処理と並列処理と並行処理の違いについて詳細には取り扱いません。気になる方は下記の記事などをご参考ください。 async スレッド数もコア数も1 だから並列処理じゃなくない？　というツッコミは正解です。正確には並列処理ではなくて「非同期処理」といいます。フロントエンドのJavascriptから始めた方にはなじみが深いかもしれませんが、「非同期処理」と「並列処理」は全く違う概念なのでご注意ください。 処理の概要としては、最初に複数のリクエストを投げておいて、レスポンスが全部帰ってくるまで待ち、応答が揃ってから処理を再開します。 これにより、応答に 3~7秒(平均5秒)かかるスクレイピングを100回行う場合、同期処理なら500秒程度かかるところ、asyncを使った非同期処理なら7,8秒程度で実行できます。 （外部と