AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
「データを集める技術」、紙版・Kindle版の発売開始です。 - プログラマでありたい
一部先行発売していましたが、本日「データを集める技術」の発売開始です。紙版だけでなく、Kindle版も同時に発売の模様です。 データを集める技術 最速で作るスクレイピング&クローラー (Informatics&IDEA) 作者: 佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2016/11/29メディア: 単行本この商品を含むブログを見る 池袋のジュンク堂書店池袋本店さんには、私の直筆の汚い字のポップを置いています。是非、見に行ってください。またそれ以外にもAWS本・Rubyクローラー本にもそれぞれポップを書いていますので、暇な人は是非みてください。 お知らせ：SBクリエイティブ『データを集める技術 最速で作るスクレイピング＆クローラー』の著者、佐々木拓郎さんから直筆POPをいただきました。ぜひ店頭でご覧ください！ pic.twitter.com/CHIKVtmPpy— ジュン
必ずスパムと判定されるメールと、ウィルスの作り方 - プログラマでありたい
メール本文中に下記の文字列をいれると、対応しているスパムフィルターはそのメールをスパムとして判定されます。このコードは、GTUBE(Generic Test for Unsolicited Bulk Email)と呼ばれ、テスト用のコードです。 XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X GTUBE - Wikipedia SpamAssassin: The GTUBE 同様にウィルスにもEICARテストファイル（EICAR Standard Anti-Virus Test File）というテスト用のファイルを作ることが出来ます。空のファイルに下記の文字列を貼りつけると、あら不思議ウィルスファイルが作れます。（正確に言うとウィルスと認識されるファイルです。） X5O!P%@AP[4\PZX54(P
上級者向けの技術書が少ない理由 - プログラマでありたい
AWS本やクローラー本を出していると、「上級者向けの本は出さないのですか」とよく聞かれるます。残念ながら日本のIT業界向けの出版事情を考えると、なかなか難しいというのが正直なところです。 IT業界向け出版物の市場規模 難しい理由として、市場規模があります。IT業界で働く人の数は定義次第なので幅がありますが、100万人程度と仮定します。市場の規模は、この母数に対して1人あたり何冊買うかが上限となります。この段階で、コミックや一般書に較べて、著しく小さいことが解ると思います。 さらに初級・中級・上級とカテゴライズすると、この母数に対して更にフィルタリングすることになります。コミックだと対象年齢はある程度はあるものの、レベルによってフィルタリングすることはないですね。市場規模は下の概念図のとおり、上級者の市場は必ず初級・中級者の市場より小さくなります。 細分化されたカテゴリ この段階で上級者向け
結構知らないAmazon EBSの細かい話。主にEBSのネットワークの構造について - プログラマでありたい
先日、EBS（Elastic Block Store）のとある状況下での挙動について正確なところが知りたくて、改めて調べていました。その中で、AWSマイスターシリーズ ReloadedのEBS版を見つけたのですが、これが良い資料でした。今までEBSのネットワーク部分についてどういう構造になっているのか、正確に把握しませんでした。資料を読むことにより構造が解り、ボトルネックが発生した時にどう対処すればよいのか、より掴みやすくなりました。簡単にまとめてみたいと思います。 EBSの全体像 まずはEBSの基本構造です。当たり前といえば当たり前ですが、EBSはEC2ではなくその下のレイヤーのハイパーバイザにアタッチされます。アタッチ後にOSから認識させるという形になります。また接続の方式としてはネットワーク型ですが、利用者はネットワークを全く意識せずとも使えるようになっています。（SecurityG
Chefを支えるohai。プラットフォームの情報を取得するためのライブラリ - プログラマでありたい
最近、ちょくちょく起こるのが新着／ホットエントリーしたエントリーがはてなブックマーク入りした際に想定したカテゴリーと違うところに入るケースです。直近では、"Chefを支えるohai。プラットフォームの情報を取得するためのライブラリ"という記事を書いて、"暮らし"に入っておりました。暮らしを支えるライオンですかね。あ、見つめるか。 ということで、ブログのカテゴライズをするのであれば、自分であればどうするか考えてみました。カテゴライズ機能の鉄板といえば、ベイズ推定を使ったカテゴライズだと思います。対抗としては、SVM（回帰分析）があると思いますが、2値分析が得意なSVMよりポイント性のベイズの方がカテゴライズにはあっているような気がします。どちらも教師データ（正解データ）を用意して、学習させる手法です。具体的には、カテゴリーごとにそれにあう数千くらいの記事を用意して、特徴を抽出して覚えさせると
普通の人の為のパスワード運用の話 - プログラマでありたい
ID,Passwordの漏洩・アカウントハッキングなど、インターネットの世界も物騒になってきました。Yahooを始め身近なサービスの利用者も被害が出ているので、一般の方々でもID,Passwordの運用を考える必要が出て来ました。ここで言う一般の方々は、GmailやYahooを始め、10個程の会員制のシステムを利用している人のことを想定しています。 それでは、何をすれば良いのでしょうか？最低限、下記の３つをしてください。 簡単なパスワードを設定しない パスワードの使い回しをしない 2要素認証（２段階認証）の設定が出来るものは、必ず設定する 簡単なパスワードを設定しない 基本的なことですが、大切なことです。ところで、簡単なパスワードとは何でしょう？それは、辞書に載っている単語や数字の並び順の羅列です。流出したパスワードを調査した米国の事例がありますので、見てみましょう。 最も安易なパスワード
金融機関の口座集約アプリの危険性について - プログラマでありたい
先日、銀行口座の口座集約のとあるiOSアプリの記事について、危険だよなぁと何気なく呟いたら中の人からリプを貰いました。Twitterで呟いているのですが、文字だけでは解りにくいのでまとめてみます。ただ、そのアプリ固有の問題ではなく、構造的な問題なのでアプリ名は開示しません。（安全なので安心ですという論調は、どうかと思いますが。。。） 口座集約アプリの構造 口座集約のアプリは、アカウント・アグリゲーション(Account aggregation)サービスと言われています。サービスの実体は、複数の銀行の口座情報とID,Passwordを預かり、代行でログインして結果のhtmlを解析（スクレイピング）して利用明細や残高を集約するものです。口座とID,Password情報、解析エンジンをどこに置くかで、クライアント型とサーバ型に分類されます。 サーバ型アプリケーション まずサーバ型アプリケーション
ちょっと内緒にしたいスポットインスタンスの話 - プログラマでありたい
ちょっと内緒にしたいような気がしますが、知っていたら確実に得をするAWS EC2のチップスがスポットインスタンスの活用です。まずスポットインスタンスとは？AWSのインスタンススポットのページを読むと大体解りますが、簡単に説明するとAmazonで余剰のEC2のインスタンスを入札制で大幅に安い値段でを利用する仕組みです。デメリットとしては、スポットインスタンスのインスタンス価格が入札価格を上回った場合、情け容赦なくインスタンスがストップされることです。ということで、Amazonの推奨としては以下のように、通常のインスタンスを補完するような位置づけとなっています。 オプションのタスク 遅延可能なタスク コンピューティング能力を追加することで高速化できるタスク 他の方法ではアクセスできない大量のコンピューティングインスタンスが必要になるタスク しかし、制約があるものの圧倒的に安いです。オンデマンド
s3fsの何が悪いのか？ - プログラマでありたい
awsでシステムを組んでいると、一度は使ってみたくなるのがs3fsです。まずs3ですが、これはAmazonが誇るオンラインストレージです。容量の拡張も思いのままで、ほぼ無限の領域を使える夢のようなサービスです。一方で、現在のところAmazonのデフォルトのサービスでNASにあたるものは提供されていません。AWS上でシステムを組む上で、ここが制約になる場合があります。それであれば、s3をファイルシステムとして扱えば良いじゃないかというのが、s3fsプロジェクトです。 コンセプトが解りやすく、上手くいけばAWSのサービスを保管する素晴らしいプロジェクトに思えます。しかし、実際のところ中々運用ベースで使うのが難しいのが、このs3fsです。理由としては、遅い・安定しないの2点に尽きます。何故なのでしょうか？s3fsのアプリとしての成熟度の問題でしょうか？ということで、アーキテクチャレベルで考えてみ
運用視点でChef ServerかChef Solo + Knife Soloのどちらが良いか考えてみた - プログラマでありたい
ChefとFabric、どちらが良いか悩んでいるうちに、Chefが一気にブレイクしてしまった今日この頃です。と言うことで、Chefを中心に今後のサーバ構築・運用について考え中です。そこでまず出てくる問題が、Chef Server+ClientとChef Solo + Knife Solo、どちらの構成が運用しやすいかという点です。 状況を整理する為に、まずは簡単にChef Server, Chef Solo, Knife Soloの関係や役割をまとめて見ます。 Chef Server サーバーの状態を管理し、それに関する情報を保持しておくのがChef Serverです。Client側は個々のサーバにインストールされて、Chef Serverに司令を問い合わせて実行します。Chef ServerはDBやキューなどを持ち、少し複雑な構造です。同じカテゴリーの製品として、PuppetやFabri
Amazon Linux AMIにGit + Gitolite + Gitlabをインストールして、プライベートGitHubを構築する - プログラマでありたい
半年くらい下書きフォルダーにあったGitLabのインストール記事をサルベージしました。今回は、Amazon Linux AMIと最新のGitLab 4.1系でインストールしています。が、あまりに長く面倒くさいので、三行でまとめてみました。 GitLabはGitHubのクローンで、セキュリティー・ポリシー的にGitHubがNGな会社に最適 GitLabの中身は、Git + GitoliteをラッパーしたWebインターフェース インストールが死ぬほど面倒くさいので、後でAWSのPublic AMIとして公開するよしたよ →GitLabのPublic AMIを公開しました。 以下、手順です。気が長い人は読んでください。 ライブラリのインストール 素のAmazon Linux AMIを立ち上げたら、まずライブラリをインストールしましょう。一部sudoでやっていくと詰まるところがあったので、素直にr
Gitのフック機能で、リポジトリをAmazon S3にバックアップする - プログラマでありたい
Gitのリポジトリ運用の要となるのが、バックアップ運用です。一般的には、定期的なバックアップを仕込むといった運用をしている所が多いと思います。一方で、定期作業であれば最終バックアップから障害発生時点でのデータ消失という危険性はあります。ということで、プッシュごとにフルバックアップが取れれば理想です。それも利用者が意識しない形でないといけません。 #Gitなので分散リポジトリから復旧という話もありますが。 ということで、Gitのフック機能でAmazon S3にバックアップするパターン例です。やり方は簡単で、リポジトリ毎のhooksの部分に同期スクリプトを呼び出すコマンドを書けば良いだけです。 post-receive,post-update等に記載 #!/usr/bin/env bash /foo/var/sync.sh &ポイントは、&でバックグランドプロセスにした上で同期プログラムを呼び
Objective-Cで、プライベートメソッド・プロパティにアクセスし、ユニットテストを実行する方法 - プログラマでありたい
iPhone/iOSの開発をしていく上で、Objective-CでPrivate Methodにアクセスしたいなぁと思うことがあると思います。パブリックメソッドには、外部からのインターフェースのみを実装し、ロジック部分はプライベートメソッドに隠蔽するといったケースは多々あると思います。その場合、ユニットテストはプライベートメソッドに対して行う必要があります。 そもそもObjective-Cでのプライベートメソッドは、どう実装するのでしょうか？実はObjective-Cでは、厳密な意味でのプライベートメソッドは存在しないのです。一般的にはカテゴリーという機能を使って、実装ファイル（.mファイル）に宣言して代用します。次のサンプルのような感じです。 #import "ExampleClass.h" @interface ExampleClass(private) - (void) privat
本当に月額10円でレンタルサーバを始められるのか？ S3で静的サイト構築を検証 - プログラマでありたい
先日、Amazonのs3の宣伝サイトが、月額10円で始められるレンタルサーバというセンセーショナルなキャッチコピーと共に作られていました。 月額10円〜でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス（AWS） AWSのサービス群の中で、真に驚異的なものはS3だと確信している私にとっては、これを機会に是非S3の素晴らしさが広がって欲しいなぁと思っています。 Twitterやはてブの反応を見ていると、かなりの反響が出ているのでPR施策としては成功だったのではないでしょうか？一方で、はてブのコメントを見ていると、従量課金制怖いとか、クラウド破産とかの話が出てきています。はっきり言って心配無用なのですが、ちょっと整理してみました。 2012/08/15追記：クラウド破産が心配の方が、やっぱり多いようなので防ぐ方法を書きました。 クラウド破産を防ぐ為のAWS Billing A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
