「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
Heroku と Amazon Lambdaを連携して、バックグラウンドジョブを実現した - ボクココ
気にはなってたAmazon Lambda をようやく使えたのでシェア。 Heroku はご存知の通り、Web とは別のWorker プロセスを立ち上げようとすると、その分プランに応じて倍増する。バックグラウンドジョブがそこまでないシーンで、常にWorkerプロセスを立ち上げっぱなしにするのは非効率。必要な時に必要な時だけバックグラウンドジョブを実行できる環境がないのか、考えていた。そこで登場するのが Amazon Lambdaだった、って訳だ。Amazon Lambda の魅力は何と言っても便利なだけでなく、1 か月あたり 100 万の要求と最大 3.2M 秒のコンピューティング時間が無料である、という点にある。素晴らしい。 今回やりたいこと CSVなどのデータをアップロードして、それらを一括でHeroku Postgres の DBにデータを入れたい。それらの処理は時間がかかるので、バッ
SNSなどと連携できる公開鍵基盤“Keybase”の紹介 - Qiita
はじめに 最近、TwitterやGitHubなどと連携できる公開鍵基盤Keybaseに招待していただいたので、このKeybaseがどのようなサービスであるのかを、前提となる公開鍵暗号や公開鍵基盤などから順を追いつつ軽く紹介していきたいと思います。 共通鍵暗号と公開鍵暗号 暗号にはおおまかに二種類があり、共通鍵暗号（対称鍵暗号）と公開鍵暗号です。これらの特徴を次のようになっています。 共通鍵暗号 共通鍵暗号はDESやAESが有名で、次のような特徴を持ちます。 同じ鍵（秘密鍵）を使って暗号化と復号化1を行う 後述する公開鍵暗号に比べて一般に高速である あらかじめ、暗号通信を行う際に秘密鍵を安全な方法で共有する必要がある 公開鍵暗号 公開鍵暗号はRSAが有名で暗号化に用いる公開鍵と復号化に用いる秘密鍵の二つの鍵を使うのが特徴です。 復号化に専用の鍵を使うので、秘密鍵を安全な方法で共有する必要がな
AsciiDoc入門 - Qiita
AsciiDocとは AsciiDocはMarkdownなどのような軽量マークアップ言語の一つです。 利用例 Pro Git book - Github オライリーの書籍 Clojure Cookbook - Github Programming Scala Mastering Bitcoin - Github Open Government - Github O’Reilly Atlas Neo4j documentation - Github Git User's Manual なぜAsciiDocを使うのか 表現力と可読性 技術文書を書く場合HTMLは汎用性が高いが可読性が低い、一方Markdownは可読性が高いがテーブル記法がないなど表現力が乏しい。 AsciiDocは可読性が高く表現力もある程度高いので、技術文書等を書くには最適である。 表現力：HTML > AsciiDoc >
はてな×ドワンゴ合同ハッカソン@京都 - hariport
ハッカソン参加しました。 というわけで、ニコニコ静画の検索を使って 2 次元の嫁を探す Web アプリをつくりました。 フロントエンドの実装を担当していまして、 実はサーバ側でどういう処理が行われてるのか把握してません。 なので詳細な説明はしませんが、以下が成果物の概要です。 残念ながら受賞なりませんでした。 内部でディープラーニングによるタグ付けとか使ってるのでそのへんをもっと活かして、 人力タグにないバリューが生み出せればよかったですね。 今回は即席チームでしたが、役割分担が上手くいくメンバーで幸運でした。 最後の調整もメンバーが辛い状況を乗り越え見事にデモを動作させましたし、 チームの強みと面白さがあったと思います。 dwangohatena.connpass.com 楽しいハッカソンでした。主催の方々ありがとうございました。
はてな×ドワンゴ合同ハッカソン@京都 に参加してきました！ - たにしきんぐダム
先日開催された はてな×ドワンゴ合同ハッカソン@京都 に参加してきた！ dwangohatena.connpass.com お弁当もお菓子も飲み物も懇親会も無料だし 楽しかったし最高な感じでした 作ったもの github.com ニコニコ動画の検索をターミナルから出来る nicoterm というものを作ってみました. (シェルスクリプトをがっつり(?)書くの初めてでだいぶアレな感じ...) この nicoterm まだプロトタイプ程度の完成度で色々と追加したい機能があるので そこらへん整備したらまた改めて発表しようかと思っています. (コードもリファクタリングしないと見せられたものじゃないので...) 作るものを決める ニコニコの検索APIを使って コマンドラインからニコニコ動画を検索できるCLIクライアントでも作るかぁという感じにしました. (クソザコなのではてなの認証をコマンドラインか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Keybase