社内re:capでAWSの進化の話と、少しエモい話をしてきました - プログラマでありたい
所属する会社のグループ全体で、3週連続でAWSのre:Inventのre:capするということで、アンバサダーとして登壇してきました。登壇者の中で一番の高齢者層だったので、新サービスの発表についてでなく、昔話からの振り返り的な話をしています。 S3の歴史からみる「強力な書き込み後の読み取り整合性」について テーマに選んだのが、2020/12/03に発表されたS3の「強力な書き込み後の読み取り整合性」についてです。個人的には今回の新サービスの発表の中で、一二を争うくらいの凄い改善だと思うものの、なかなかその凄さが伝わっていないのかなと思います。ということで、歴史的な経緯から。 結果整合性 はじめは結果整合性から。US Standardリージョンという耳慣れない言葉と一緒に紹介しています。いずれは最後に書き込んだ値になるけど、読み込むタイミングによっては最新の情報ではないかもというのが結果整合
ファイルストレージ・ブロックストレージ・オブジェクトストレージの違いと、AWSのストレージサービスとのマッピング - プログラマでありたい
こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症疑惑のある佐々木（@dkfj）です。 AWS使い始めてまず悩むことのベスト10の一つが、ストレージサービスの選び方です。AWSにはS3やEBSの他に、EFSやFSxなど多種多様なストレージサービスがあります。今回は、ストレージサービスの種類から、AWSのサービスの使い分けを説明したいと思います。 ストレージサービスの種別 一口にストレージといっても、用途に応じて幾つか分類できます。代表的なのが、ファイルストレージ・ブロックストレージ・オブジェクトストレージです。まずは、この３つの違いをみてみましょう。 ブロックストレージ まず一番イメージしにくいのが、このブロックストレージ。ブロックストレージは、ものすごくザックリいうとハードディスクのようなもので、ブロックと呼ばれ
技術者であることを諦めない - プログラマでありたい
だいぶ前にAWSのAmbassadorが集まっての懇親会がありました。年齢の話になって聞いていると、どうやら私が最年長グループでした。最年長！！おっさんです。私は42歳で、役割的な部分を考えれば、そうなるのも無理はないのかなという気がします。せっかくなので、ポエムっぽいブログエントリーを残しておきます。 SIerの中での技術者の生き方 技術者と書くのがよいのか、ITエンジニアと書くのがよいのかイマイチ解りませんが、ここでの技術者は、下記のように定義しておきます ※あくまでこの文脈の中だけの定義です。 主たる業務に対して、自身のもつITの技能・知識を持って業務を遂行している 業務で必要とされる技術の変化に追随しつづけている ここで重要なのが2つ目の技術の変化に対して追随し続けるという点です。一口にSIerといっても対象とする業種や業態によって必要とする技術は大きく違います。業務知識がとにかく
AWSのアカウントセキュリティ - プログラマでありたい
いま技術書典８に向けてAWSのアカウントセキュリティをテーマに執筆中です。（進捗1%） 執筆の元ネタと告知を兼ねて、私がAWSのセキュリティをどう捉えているか紹介します。 AWSのセキュリティの３要素 AWSのセキュリティをざっくり分類してと、次の３つで考えるのが良いと思います。 AWS上に構築するシステムのセキュリティ AWSアカウント自体の管理（≒IAMの設計・運用） AWSアカウントのガードレール設計 AWS上に構築するシステムのセキュリティについては、ネットワークであったりEC2やRDSなどを利用して構築したサーバ・ミドル・アプリなどがあります。マネージドサービスというAWSならではの要素がありますが、基本的な考え方は従来のオンプレと大きく変わらないと思っています。システムとして穴がない状態を、AWSを使ってどうやって実現するのかという問題です。 次にAWSアカウント自体の管理です
技術を伝えても、技術者の価値はなくならないという話 - プログラマでありたい
増田で、この記事が話題になっていました。 正社員に仕事を教えたくない 私は今年で契約が切れるパート。同じ部署に昨年、数歳年下の新入社員が配属された。 彼女は私が少ない仕事から数年かけて学び、また効率的に処理できるように試行錯誤して会得したノウハウを、たくさんの仕事の中でどんどん吸収している。これまで私しか使えなかったソフトも、ほぼ同じくらい使えるようになった。 この記事書いた人の仕事の内容はよく解らないので元ネタに対するコメントは差し控えます。一方で、これを見ていたIT系エンジニアのクラスタっぽい人々が、技術職にとっては技術を伝えると自分の価値が無くなるよなぁ的な発言をしているのを幾つか見たののが興味深かったです。なので、ITエンジニアにとっての技術と、それを伝えるということを考えてみました。前提として、ITエンジニアの技術についてです。製造業の技術流出は別の問題だと思うので、対象にしてい
#技術書典 の生産管理 印刷数の最適化を考える - プログラマでありたい
先日の技術書典7で、「AWSの薄い本 IAMのマニアックな話」という同人誌を出展しました。技術書典に参加して面白かったのが、どれくらい売れるのかを予想しながら印刷冊数を検討することでした。どういった検討を経て決定したのか、まとめてみました。 ２つのパラメーター 技術書典で考えるべきパラメータは単純に２つだけです。見込み販売数と印刷数です。見込み販売数は、サークルチェック数を中心に類推し、印刷数は自分で決めます。それぞれ、見てみましょう。 見込み販売数 まず頭を悩ますのが、見込み販売数です。これは自分だけでコントロールできるものでないので、いかに正確に読み解くかが勝負になります。幸い技術書典には、サークルチェックという機能があり、この数字を元にある程度の販売数を見通すことができます。更に、先人たちの知見の蓄積の結果、開催何日前にどれくらいのチェック数だったら、最終的にどこまでいくかの予想のモ
マルチAZ構成で単一AZの障害の影響を受けるのは何故か？ - プログラマでありたい
昨日の「AWSのAZの割り当ては、アカウントごとに違うという話」で宿題として残した、マルチAZ構成で単一AZの障害の影響を受けるのは何故かという問題について考えてみます。キーワードはELBです。 前提としてのELBの実装（の予想） マルチAZ構成での障害発生原因を検討する前に、まずELBの実装について考えてみましょう。5年ほど前に書いたELBの挙動からみる内部構造の推測です。 blog.takuros.net 旧ELB（CLB）をもとに書いていますが、ALBでも大きく変わらないと思います。要点としては、ELB自体は、AWSが管理するEC2インスタンス上で稼働し、バランシング先のAZにそれぞれ配置されているということです。図ではELBインスタンス（仮称）として表しています。そして、ELBインスタンスへの振り分けはDNSの名前解決で実現している点です。このアーキテクチャは私の個人的な予想ですが
初学者のAWSの学び方 - プログラマでありたい
先日、JAWS-UG 初心者支部#17 AWS勉強しNight！・AWS認定資格取得 虎の巻と立て続けにAWSの習得の仕方というテーマで登壇させていただきました。どちらの参加者もとても熱心で、AWSを学ぼう熱を感じました。 登壇資料 speakerdeck.com AWSの学び方 イベントの中で、複数の方のAWSの学び方が語られていました。聞いていると、だいたい一定のパターンがありました。 自分ごとにする（＝AWSを学ぶ動機付けを明確にする） 実際に手を動かす 解らないところは、都度資料を見つつ確認する 身につけた事をアウトプットする つまり勉強のための勉強にしないということですね。AWSは今では100を優に超えるサービスがあります。これを一から全部体系的に勉強しようとすると、膨大な時間が掛かります。そしてAWSのサービスは、下手したら自分が学ぶスピードより速く拡張していっています。という
サーバーレスで技術書の執筆環境を構築できる時代になっていた - プログラマでありたい
ブログでレポートするのを忘れていましたが、2月に開催されたJAWS Days 2019で"AWS本 我々はこうして「AWS本」を書いた！ 〜十人十色〜"というセッションに登壇していました。商業誌・同人誌のAWS本の作者たちが集まって、執筆について語るという内容でした。 同人誌の執筆環境 登壇者の皆さんの話は、執筆方法・テーマの考え方・同人誌（技術書典）を取り巻く環境・お金にまつわる話と、どれも非常に興味深かったです。その中で、個人的に衝撃を受けたのが同人誌の執筆環境です。本を書く工程として、企画に始まり執筆⇒校正⇒組版⇒製版といった工程があります。執筆から製版までのプロセスを支援するツールとしてRe:Viewという書籍執筆支援システムがあります。原稿書くだけであればMarkDown形式というのが多いのですが、スタイルの指定など表現力に難があります。そういった部分までサポートするRe:VIE
AWS認定ソリューションアーキテクト アソシエイトの対策本を書きました - プログラマでありたい
すっかりブログ無精になってしまいましたが、こんにちは。周りの人には、出す出すと言っていたAWSの認定試験対策本を書きました。「AWS認定資格試験テキスト AWS認定 ソリューションアーキテクト-アソシエイト」というタイトルで、既に書名を覚えるのは無理だなと諦めております。 目次 目次は、次のようになっています。 試験範囲を網羅するのはもちろんの事、本書では勉強の仕方や解答の解き方を重視しました。そのため1章を割いて、AWSを学ぶためのお勧めの教材・情報収集法、学習の進め方を解説しています。試験対策と銘打っていますが、実務でAWSを使う上でも同様のフローで大丈夫だと思います。 また13章でAWSのアーキテクチャの要であるAWS Well-Architectedの考え方を紹介しています。ここ読むと問題文の意図が解るようになっているので、解答の選択欄の絞り方が見えてきます。最後の14章で問題の解
エンジニアよ、越境しよう！！クラウド時代のエンジニア像 - プログラマでありたい
Amazon Web Services クラウドネイティブ・アプリケーション開発技法のAppendixとして、「クラウドとエンジニア」をテーマに、クラウド時代のエンジニアのあり方について少し書きました。その趣旨としては、次のようなものです。 従来は、アプリケーション・エンジニアとインフラ・エンジニアという役割で分業することが多かったです。しかし、API GatewayやLambdaのような新しいサービスが出てくる現状で、果たしてそれを扱うのは誰なのだという問題がでてきます。 図示化すると、次のような感じですね。 アーキテクチャが変われば、エンジニアの役割も変わる 今、Webの世界で一般的に見られるアーキテクチャはIntel LinuxサーバやWindowsサーバが普及してからのものです。せいぜい20年位の歴史だと思います。その前は、ホストを中心としたC/Sシステムなどが中心だったのでしょう
Swaggerとは何か？ - プログラマでありたい
最近、Swaggerという単語を聞く機会が増えていませんか？MicrosoftやGoogle,IBMが、REST APIの記述標準化を目指した「Open API Initiative」という団体を立ち上げ、そのベースをSwaggerを利用するということで一躍注目を集めるようになりました。しかし、Swaggerというものを調べるとツールの話やドキュメントの話が出てきて、何なのこれとなることが必定です。ということで、WebAPIとは切っても切れない関係のSwaggerの話を簡単にしてみます。 Swaggerとは？ Swaggerとは、一義的にはREST APIを記述する為の仕様です。当初から、Swaggerが標準の仕様になることを目指しますよと宣言していて、米国等ではデファクト・スタンダードとなっていました。それが、「Open API Initiative」が出来たことにより、実際に標準の仕様
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
オフィスグリコの規模 - プログラマでありたい
ふと気になったので、調べたメモです。 オフィスグリコって、ご存知でしょうか？富山の置き薬のごとく、企業内にお菓子を満載したボックスを置いて、定期的にやってくるグリコのおにーさん（？）が補充・代金回収する奴です。ポイントは、性善説に基づいた代金回収モデルです。商品を入れている箱は、ただの引き出しなのでお金を入れなくても開けれます。商品を取ったら、カエルさんの口の代金箱に入れるという仕組みです。タダ食いをしようと思ったら、幾らでも出来る仕組みです。 これがどれくらいの規模なのか気になって、ググると良い記事が出てきました。jp.reuters.com 2013年度で、売上が45億円です。注目すべきは、設置数。10万事業所に12万台の菓子ボックスと、1万7千台だの冷蔵庫とのことです。10万という数字は、全国のコンビニの合計数である5万件を軽く凌駕しますね。そして、代金の回収率は95%とのことです。
『Amazon Web Services パターン別構築・運用ガイド』を書きました - プログラマでありたい
たまに呟いていましたが、AWSを題材に『Amazon Web Services パターン別構築・運用ガイド』という本を書きました。今回は、所属している会社であるNRIネットコム株式会社の同僚たちと書いています。 Amazon Web Services パターン別構築・運用ガイド 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西秀和,佐藤瞬出版社/メーカー: SBクリエイティブ発売日: 2015/03/25メディア: 大型本この商品を含むブログ (1件) を見る 本を書いた理由 前回執筆した『Rubyによるクローラー開発技法』が好評だったこともあり、SBクリエイティブさんからAWS本を出さないかという打診を受けました。AWSは長年親しんできたこともあり、また仕事でもAWSに関する事業を進めている関係で、願ったり叶ったりでした。 一方で、やはり本を出すというのは大変です。私個人の問
Excel VBA+IEでのスクレイピング - プログラマでありたい
書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手を染めたのはこのExcel VBAスクレイピングでした。毎月定期的に所定のデータを観測するという仕事があって、面倒くさくて仕方がない私は記録用のExcelを魔改造して勝手に取得するようにしました。1時間くらい掛かってた作業も、ボタンポチになったので随分楽になったと記憶しています。（結局、ボタンを押すのも面倒くさくなって、毎日サーバサイドで動かすようにしましたが） スクレイピングの手始めにピッタリのExcel VBAスクレイピングです。環境の用意が簡単なので、ノンプログラマーでも
作って覚える転置インデックス、「検索エンジン自作入門」 - プログラマでありたい
先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作ることで理解するという、極めて硬派な本です。 「検索エンジン自作入門」とは？ 「検索エンジン自作入門」は、未踏IT人材発掘・育成事業にスーパークリエータに認定された山田浩之氏と、Senna/groongaの開発者の末永匡氏の共著です。検索エンジンについて語らせたら、日本でこれ以上の人たちはいないだろうという組み合わせです。ということで、内容は非常に濃いのですが、難しい内容を解りやすく解説されています。 一方で、扱っている内容は非常にマニアックです。下に目次付けておくので見て
『Rubyによるクローラー開発技法』を書きました - プログラマでありたい
勉強会やスライドで紹介していましたが、Ruby×クローラーという題材で、『Rubyによるクローラー開発技法』という本を書かせて頂きました。RubyとEmacsの鬼であるるびきちさんとの共著です。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る この本を書いた理由 そもそものキッカケは、るびきちさんのエントリーにある通り、SBクリエイティブの編集者さんが、クローラーの作成経験のある人を探していて、私の書いた「オープンソースのRubyのWebクローラー"Anemone"を使ってみる」を読んで打診してくださったというのが始まりです。 私自身も、Webからデータを収集して分析するということは、趣味として長年やってきました。一
あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマでありたい
最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。 「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
