『Embulk』に見るモダンJavaの実践的テクニック ～並列分散処理システムの実装手法～
1. Hiroshi Nakamura Software Engineer Treasure Data, K.K. 『Embulk』に見るモダンJavaの実践的テクニック ∼並列分散処理システムの実装手法∼ 1 #ccc_cd4 / #embulk 2. #ccc_cd4 / #embulk Today’s talk Embulkとは > バルクデータ転送の難しさ > Embulkのアプローチ > アーキテクチャ概要 Java実装技術 > Java 7ネイティブ > Guiceによるコンポーネント間の接続 > ServiceLoaderによる拡張 > Jacksonによるモデルクラス、Immutable > Nettyバッファアロケータ、Unsafe 2 3. #ccc_cd4 / #embulk Embulkとは? - http://embulk.org/ > オープンソースのバルクデー
開発フロー研修 @ Wantedly - Qiita
Githubでの開発 - Issue, Commit, Pull Request, Mention, Code Reviewに関する基本的なルール ゴール 「 チーム で 長期にわたって 生産性を上げる 」 前提 みんながサービス・プロダクトについて自主的に考える組織 エンジニア全員がそれぞれオーナーシップを持ってよりプロダクトを良くすることを考える いわゆるPM職の不在 = コードは書かずに、マネージだけする人がいない これは組織による。(e.g. 外注やディレクター職の存在) けれど、Wantedlyは、多少変化しつつも、より良いサービスを生み出すために、役割の程度の差はあれ全員がプロダクトについて考え責任を持ったほうが良いと考えている。 理想型 図:「青と黄色」のチーム構成が従来の縦割り+統括チーム、「緑(金)色」のところが目指すべきマイクロサービスチーム マイクロサービスチームは、
コードで行うMySQLのアカウント管理 - クックパッド開発者ブログ
インフラストラクチャー部の菅原（@sgwr_dts)です。 インフラストラクチャー部のメンバーはオペレーションのため強力な権限のMySQLアカウントを使用していますが、サービス開発をするエンジニアも業務のためにサービスのDBの参照・更新権限を持ったアカウントが必要になることがあります。 セキュリティやオペレーションミスのことを考えると、すべてのエンジニアのアカウントをスーパーユーザーにするわけにはいかないため、都度適切な権限を付与していますが、手動での作業は地味に手間がかかります。 そこでクックパッドではMySQLのアカウント情報をコード化し、リポジトリで管理するようにしています。 gratanによるコード化 MySQLのアカウント管理はgratanという自作のツールを使って行っています。 gratanを使うとMySQLのアカウントをRubyのDSLで記述することができるようになります。
モノリシックなRubyからGoによるマイクロサービスへ | POSTD
過去9年わたりWebアプリケーションを開発してきたNiket氏（ @nexneo ）は、2013年からGoを使って作業をするようになりました。この講演では、彼がどのようにRubyのモノリシックアプリケーションを分解しつつ、Goで記述されたマイクロサービスへと至ったかについて説明しています。講演のスライドは、 speakerdeck.com/nexneo/joy-of-single-purpose-services-in-go で閲覧可能です。 Single purpose servicesというのは、単一の問題を解決するサービスのことです。 一般的に マイクロサービス としても知られています。 Niket氏は、学校側が親御さんたちと連絡したり成績表や出席を管理したりするための人気オンラインプラットフォーム、 Beehively の開発者です。BeehivelyはRubyベースのアプリケーシ
確率的に犠牲的 - steps to phantasien
Martin Fowler が Sacrificial Architecture と言い出した時は驚いた。“変化を受け入れよ” はどこにいったの。書き直しはダメと自分の中の結論が出たのは随分前のことだけれど、ひさしぶりに考え直してみる。 Sacrificial Architecture の論拠として Martin Fowler はいくつかのインターネッツ企業を例にとっている。でも一般化するには偏ってないか。それにこれら企業が面していたのはごく限られた種類の変化だ: 彼らはもっぱら性能不足と戦っていた。 機能の変化に強いコードは柔軟性の裏で性能を犠牲にしがち。機能の変化を捉えることに先鋭化した従来の Agility は性能要件の変化を必ずしもやり過ごせない。一方で存在感を増すスタートアップの世界では性能への期待が当たり前のように大きく変わる。だから Agile はあてにならない、堅牢なアーキ
#JavaDayTokyo 2015 に行ってきた - 日々常々
4/8 に行われた Java Day Tokyo 2015 に行ってきました。 20周年を迎えるJavaの記念イベントでもありました。 そんな場でなぜか話してきました。 昼イチのセッションでした。 タイムテーブル見ていただければわかると思いますが、裏番組もいいとこ……にも関わらず立ち見も出る状況でした。 若干ふわっとしたタイトルで釣りになっちゃったかなーと「Java9以降の話はしないよ！期待してた人は他のセッション行ったほうがいいよ！！」と言ったのですが、誰も出て行かれませんでした。みんな優しい。 ともかく、今までで一番緊張したセッションでしたが、時間も50分丁度でしたし、なんとか終わった時はすごくホッとしました。 …… で、自分のセッション終わってあとは他のセッションを楽しむだけ！ ……とはならず。 なぜかJava20周年記念セッションでLTしてました。 関西の技術力！ #JavaDay
2015/04 Mini Tech Talk（グリー社内勉強会） | GREE Engineering
開発PRチームの三木です。 グリーで毎週金曜日に開催している社内勉強会「Mini Tech Talk」、4月のラインナップをお届けします。 グリーの社内で、どのようなトピックでエンジニア間の技術的な交流が行われているか、雰囲気を感じて頂ければ幸いです。 (これまでのラインナップはこちらよりご覧下さい) 4月のラインナップ 毎月上旬にその月のラインナップを公開させていただきます 基本的にグリー社員が発表する勉強会ですが、他社からゲストスピーカーをお招きしてお話し頂く事もあります。 発表終了後に資料を公開いたします。ただし【社内限定】となっている発表については資料の公開はございませんのでご了承ください。 「開発環境の現在（いま）と未来 ー OpenStack による次世代開発用クラウド基盤を創るー」大山 裕泰(@user_localhost)最近話題の IaaS クラウド基盤 OpenStac
ScaleOut | Supership
2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。本件に関する詳細は、プレスリリースをご確認ください。 2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。 本件に関する詳細は、プレスリリースをご確認ください。
エンジニアが知っておくと便利なGoogle英語検索キーワード3選 | GMOメディア エンジニアブログ
こんにちは、山田コーダーです。 さて、皆さんはGoogleで英語検索する際どのようなキーワードを利用しているでしょうか？ そもそも「英語は苦手なので英語では検索しない」という方や「日本語だけで十分」という方もいるかもしれません。確かに “Rails”や “MySQL”といったメジャーなキーワードに関しては、日本語だけでも膨大な情報がWeb上に存在していることは事実です。が、Wikipediaによるとインターネットにおける英語の情報の割合は、日本語の10倍以上！ 少しこつを掴むだけで、文字通り桁違いの情報にアクセスできるので、普段英語で検索しない方は是非チャレンジして欲しいです。 それでは、私が普段よく利用する英語検索キーワードを紹介します。 その1. “how to 〜”「おいおい、ハウトゥーかよ！」と突っ込みたくなるかもしれませんが、私個人は冗談抜きでかなり頻繁に“how to 〜”を利
VideoShader をオープンソース化しました
昨年 iTunes ストアで公開し、オースチンの SXSW でもブースを持ってデモをした VideoShader ですが、このたび一周年を記念して、エンジン部分のソースコードをすべてオープンソース化しました。 https://github.com/snakajima/videoshader Instagram などが行っている写真のフィルター（「Toy Cameraフィルター」や「アニメフィルター」）は、複数のフィルターを組み合わせて実装しますが、カメラから入ってくる映像をリアルタイムで処理する際には、高速に動作するフィルターをパイプライン上に繋げて実行する必要があります。 数年前までは、高性能なパソコンでしか無理でしたが、GPU 性能の向上により、ようやくスマフォでもそんな処理が可能になりました。 VideoShader は、スクリプト言語 VSScript を使ってビデオパイプラインを
「Amazon Machine Learning」発表。クラウドで機械学習サービスを提供
Amazonクラウドはクラウド上で機械学習を提供するサービス「Amazon Machine Learning」を発表しました。 これはAmazon社内でデータサイエンティスト達が使っているのと同じものと説明されており、既存のデータ群から適切な機械学習モデルを作りだし（データからパターンを学習し）、そのモデルを新しいデータに適用して予測などを行っていくというもの。 高いスケーラビリティで日々何十億もの予測を行う能力を備え、リアルタイムに予測を生成できるとされています。 簡単に学習させられ、大規模処理も可能 Amazon Machine Learningのページでは、特長として5つの要素が示されています。 1つ目は、既存データをAmazon S3やRedshift、Amazon RDSなどから簡単に読み込んで学習させることができること。2つ目は、数秒でモデルを作成し、予測までできること。 3つ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Facebook の DB エンジニアが語る、InnoDB が優位性を失った理由 | Epitome
自己防衛的 - Strategic Choice
グリー特別講演：『チームラボ 踊る！アート展と、学ぶ！未来の遊園地』から学ぶ、スペシャリスト集団のプロジェクトの進め方 ～クリエイティブとテクノロジーの境界を超えて～ | GRE