AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる『AWS Glue』のリリースが発表されました！ これまでの状況 AWSのデータ分析における各種サービスはこれまでに数多くリリース・展開されて来ていましたが、一連の流れで見てみると幾つかピースが欠けている部分がありました。 今回新たにリリースされた『AWS Glue』を適用する事で、その欠けたピースを全て埋める事が可能となります。 AWS Glueとは AWS Glueは、完全に管理されたETLサービスで、データストア間でデータを簡単に移動できます。 AWS Glueは、困難で時間のかかるデータの発見、変換、マッピング、およびジョブスケジューリングのタスクを簡素化し、自動化します。 AWS Glueは、使いやすいコンソールでデータを移動するプロセスをガイドし、データソースの理解

おはようございます！ AWS re:Invent 2016のキーノートを聞きながら本記事を書いています。 先ほど、フルマネージドのバッチサービスであるAWS Batchが発表されました！ AWS上で数十万のバッチ処理ジョブを簡単かつ効率的に実行できます。 フルマネージドのバッチサーバーがリリースされた事で、バッチサーバーの管理がいらなくなるかと思います。 Previewを以下のページから申し込めます。 AWS Batch (preview)

コンニチハ、千葉です。Amazon Athenaが発表されましたので、さっそく試してみました。これは、ほんとすごいです。 Amazon Athenaとは？ 詳細はAWSの公式ブログAmazon Athena – Amazon S3上のデータに対話的にSQLクエリをに記載されていますのでこちらを参照ください。 Amazon Athenaについて、上公式ブログから引用です。 Athenaは新しいサーバレスクエリサービスで、Amazon S3に保存された膨大な量のデータを標準SQLを使って簡単に分析できます。シンプルにAmazon Simple Storage Service (S3)に保存したデータを指定し、フィールドを定義して、クエリを投げると、数秒で結果を得られます。皆さんは、クラスタや他のインフラを構築したり管理したりチューニングする必要はなく、実行したクエリに対してのみお金を払うだけで

短く簡単に。 コード中の & #12436; っていうのは「ゔ」です（何故か変換できない） import re def make_function_hiragana(): re_katakana = re.compile(ur'[ァ-ヴ]') def hiragana(text): """ひらがな変換""" return re_katakana.sub(lambda x: unichr(ord(x.group(0)) - 0x60), text) return hiragana hiragana = make_function_hiragana() def make_function_katakana(): re_hiragana = re.compile(ur'[ぁ-ゔ]') def katakana(text): """カタカナ変換""" return re_hiraga

一般的なVIM入門記事などではあまり見かけない標準機能など、 その中でも人によっては便利かもしれないややマイナーな機能を紹介します。 インサートモード <C-@> または <C-a> 直前のインサートモードで入力した文字を再入力できる。 aと@では入力後の挙動が異なる <C-@>: そのままインサートモードを抜ける <C-a>: インサートモードのまま入力を続ける 例えばノーマルモードで5a<C-@>と入力すれば... 直前に入力した文字(例えば)が5回入力される。 ちなみに動きとしては<C-a>は<C-r>.でも代用できる。 <C-r><c-o>または<C-r><C-p> <C-r>や<C-r><C-r>とは異なり、.キーによる繰り返し処理ではキー入力のまま再現される。 例えば abcをヤンクする インサートモードにて<C-r><C-o>"で貼り付ける。abcが出力される。 defをヤン

アプリをインストールすれば、個人情報の登録などを一切行わずにボタン1つでVPNが使いたい放題になるのが「Betternet」です。インターネットを使う上で個人情報を匿名にしてセキュリティ保ったり、アクセスに地域的な制限があるウェブサイトなどを見られるようにするとのことなので、実際にiOS・Android・Windowsアプリや、Google Chrome拡張機能、Firefoxアドオンなどを使ってみました。 Free VPN Service by Betternet | VPN for Windows, Mac, iOS and Android https://www.betternet.co/ ◆Betternetはなぜ無料でサービスを提供できるのか？ 自分のIPアドレスを完全に隠した状態でブラウジングができたり、地理的な条件があり日本からは閲覧できないサイトでも見ることができるようにす

想造ノート ふじもったこと藤本高司が、想像から創造するブログ。<br />普段は自分の軸を明確にしつつ、ITが活用できるようになる「ITコーチング」セッションを提供しています。

はじめに AWSにはEC2やRDS、RedshiftなどVPCに対応したサービスが数多くあります。 これらのサービスを利用する場合、まずはVPCやサブネットを作成します。 VPCの作成ではIPアドレス(=CIDR)に何を指定するか迷う方が多いのではないでしょうか。 私がVPCとサブネットのCIDRを決める際に考慮しているポイントは、ざっと以下の通りです。 プライベートIPアドレス範囲から指定する VPNやDirect Connect利用時はオンプレミスとの重複に注意する VPCピア利用時はVPC間で重複できない 将来の拡張に対応可能なCIDRを選択する 最低でも/28以上が必要 CIDRブロックのうち、5IPは利用できない ELBを配置するサブネットは/27以上のCIDRかつ、少なくとも8個の空きIPを用意する それぞれの詳細をご紹介し、最後に優先順位をまとめます。 プライベートIPアドレ

AWSはAPIを重視しているため、原則としてAWS CLIは新機能のリリースと同時にその機能に対応します。 またSDKやマネジメントコンソールも、新機能のリリースとほぼ同時に利用できることがほとんどです。 CloudFormationはAWSの純正ツールになりますが、新機能のサポートタイミングはまちまちです。 なかなかサポートされないケースもあるのが現実です。 一方、Ansibleなどサードパーティーツールでの新機能サポートは遅れがちです。 AWSの新機能リリースのサイクルが早く多いため追いつくのが難しいというのが現実でしょう。 このため、「XXで構成管理はしているけどZZ機能をサポートしていないので、そこは手組で…」となりがちです。 ここがサードパーティーツールを利用する時のジレンマとなっています。 AnsibleからAWS CLIを叩く Ansibleの強みはモジュールが充実しており、

Zsh Line Editor ってご存じですか。 皆さん使っているであろう、「Ctrl-A で行頭に移動、Ctrl-E で行末に移動」とかのアレである。zsh の持つコマンドライン編集機能を ZLE（Zsh Line Editor ）と呼ぶ。ZLE でコマンドライン操作体系として Emacs ライクなものと vi ライクなものが選択できるようになっている。また、ZLE ではデフォルトで 4 つのキーマップ（キー割り当ての集合）が開放されている。 emacs（Emacs ライクなキーマップ） viins（vi のインサートモードのキーマップ） vicmd（vi のコマンドモードのキーマップ） .safe（カスタマイズが禁止されているキーマップ） これらとは別に main というキーマップがあり、ZLE では main に紐付いたキーマップをデフォルトキーマップとして使用する。 zsh では

description "sample" start on runlevel [2345] stop on runlevel [016] script exec bash sample.sh exec su -s /bin/sh -c 'exec "$0" "$@"' sampleuser -- bash sample.sh end script respawn

こんにちは。斎藤です。 手元でちょちょいと作ったプログラムや、 init スクリプトの無いOSSを daemon として動作させ続けたい事、ありませんか？そんなときに便利なのが Upstart です。daemontoolsの代わりとしても使えます。 今回は設定方法を中心に、解説していきます。 ※CentOS 6.3 (x86_64) で検証しています はじめに Upstart とは何か UpstartのWikiによると、"/sbin/init"デーモン(例えばSysVinit)を置き換えるものであり、イベントベースでタスクやサービスを起動・停止できるようにしたものである、と述べられています。また、特徴として、SysVinitと比べ「設定が簡単」「起動が早くなる」などが挙げられています。 Upstart のメリット 3つのメリットがあると、私は考えています。 起動・終了制御が容易 仮にABE

ども、大瀧です。AWS CLIでこんなワンライナーができた、というご紹介です。 アップロードしたSSL証明書を確認したい AWSのELBやCloudFrontは、いわゆるSSL Terminationと呼ばれるSSL/TLS処理機能があります。それらを利用する再にはSSLのサーバー証明書をアップロードするわけですが、証明書は年ごとに更新されたり扱うドメインが追加されたりするとあっという間に増えて行き、「この証明書なんに使うんだっけ」「上限数に行きそうなので古いのを消したいんだけど、どれだかわからない」といったことになりがちです。ところが、Management Consoleでは証明書一覧の画面が無く、また証明書のBODYを確認する手段もありません。 そこで、AWS CLIでワンライナーで証明書の一覧とBODY文字列を確認するコマンドラインを考えてみました。以下の通りです。 (AWS CLI

SSH がブツブツ切断されて困ります．一定時間使ってないとNAT的に、落ちますiptables の設定問題とも絡んでると思うけど，切断されると不便です SSHが切れない様にする 方法はいくつかあるが、どれもTCPパケットを見るモノ。なのでトンネルとか地下鉄では、次の設定はどれも，むしろ切断を助長するよね． ・サーバー側 ・クライアント側 ・ソフトウェア側 SSHサーバー設定が触れるときはサーバー設定を変える． サーバー設定を触れないときや共通設定にしたいときは、クライアント設定 SSHで設定がよく分からない人は端末接続ソフトたとえばPUTTYとかで設定 サーバー側 SSHサーバー側でクライアントの生存確認を出すには /etc/ssh/sshd_config ClientAliveInterval 10 ClientAliveCountMax 12 クライアント側 サーバー設定の代わりにSS