新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
【46選】あのサービス・アプリのアーキテクチャ・プログラミング言語・フレームワークを大調査！〔2019年始版〕 - エンジニアHub｜Webエンジニアのキャリアを考える！
【46選】あのサービス・アプリのアーキテクチャ・プログラミング言語・フレームワークを大調査！〔2019年始版〕 今やWebやアプリを構築する技術選択は、フロントエンドからインフラまで各領域で多岐に及びます。気になるあのサービスが利用している技術は何か？ アンケート調査によるまとめの2019年新春バージョンです。 エンジニアHubでは2017年4月に、国内注目サービスのアーキテクチャ大調査を掲載しました。それからおよそ2年が経ち、インフラでもフロントエンドでも新しい技術が次々と登場しています。 そこで今回は2019年始版として、46のサービスが利用しているプログラミング言語やフレームワーク、インフラ等の環境をまとめました。選定理由も回答いただいたサービスは合わせて掲載しています。どういった見地から技術選定を行っているのか。ぜひ今後の参考にしてください。 （※本記事は、2018年12月のメール
マイクロサービスアーキテクチャとそれを支える技術 | さくらのナレッジ
最近では「マイクロサービス」と呼ばれる、機能毎に細かくサービスを分割して開発や運用を行うアーキテクチャの採用例が増えている。本記事ではこのマイクロサービスアーキテクチャや、それに使われる技術について紹介する。 マイクロサービスとは 近年、ITシステムの開発・運用において「Microservice（マイクロサービス）」というアーキテクチャを採用する例が増えている。マイクロサービスアーキテクチャは、簡単に言えばサービスを構成する各要素を「マイクロサービス」と呼ばれる独立した小さなコンポーネントとして実装するという手法で、2011年ごろから提唱されているものだ。 マイクロサービスについては、2014年に公開された「Microservices」という文書が有名だ（有志による日本語訳）。また、さくらのナレッジでも2015年に紹介されている。マイクロサービスの詳しい思想についてはこれら記事を参照してほ
メルカリは開発組織を拡大するためにマイクロサービスアーキテクチャを採用した（前編）。Mercari Tech Conf 2018
2013年から2017年のあいだ、スタートアップを含む2000以上の組織に対して、いかに組織のパフォーマンスを加速するかという聞き取り調査を行い、その調査結果をまとめたものです。 その調査結果のひとつにこのグラフがあります。 これは組織のエンジニアの人数とそのパフォーマンスを、組織の違いによって示したものです。 横軸がエンジニアの人数、縦軸はエンジニアあたりの1日のデプロイ数を指標としたパフォーマンスです。 これによると、パフォーマンスの低い組織はエンジニアが増えるとデプロイ数も減少しています。普通のパフォーマンスの組織はエンジニアが増えてもデプロイ数に変化はありません。 一方でパフォーマンスの高い組織はエンジニアが増えるほど指数関数的にデプロイ数が増えていきます。メルカリが目指しているのはここです。 これは単純にアーキテクチャをモノリシックからマイクロサービスへ移行するだけでは実現できま
分析と改善 Gunosyの大規模ログ解析を支える2つのアーキテクチャの裏側
2018年6月22日、Architecture Nightが主催するイベント「Architecture Night #1」が開催されました。単一のAPIではなく、複数のAPIが絡まって成立するような複雑性の高いアーキテクチャをどのように構成し、運用しているのか？ 各社が自社の知見を披露します。第1回となる今回は、Gunosyとサイバーエージェントの2社が登壇し、自社で用いられるアーキテクチャを紹介します。プレゼンテーション「Gunosyのログ収集基盤」に登壇したのは、株式会社Gunosy、開発・運用推進部 SREの茂木大夢氏。ニュースアプリGunosyのログ収集基盤で用いられる大規模アーキテクチャについて解説します。 グノシーのアクセスログ解析基盤 茂木大夢氏（以下、茂木）：「グノシーのアクセスログ解析基盤」というタイトルで発表させていただきます、茂木と申します。mgi166という名前でや
メルカリJP初のiOSリアーキテクチャは、なぜ「最高に楽しい」のか | mercan (メルカン)
サービスとビジネスを加速度的に成長させていくため、メルカリJPは今、2013年のアプリリリース以来となる「iOSリアーキテクチャ」に取り組んでいます。 アプリの機能を維持しながら、最先端のアーキテクチャに刷新していくこのプロジェクト。そこで今回、iOSエンジニアの山中大輔さんと齋藤暢郎さんに、マネージャーの多賀谷洋一さんがインタビューを実施しました。 歴史あるコードを前にしたエンジニアたちが「最高に楽しい状況」と語る理由とは？ 多賀谷洋一（Yoichi Tagaya）※写真左 2017年1月に株式会社メルカリに入社。メルカリUSのiOSアプリ開発を担当した後、エンジニアリングマネージャーとして開発組織の強化に従事。SwiftのDIフレームワーク「Swinject」の作者でもある。@yoichitgy 山中大輔（Daisuke Yamanaka）※写真中央 2015年3月にメルカリに入社。メ
プロジェクト全体のコードの行数からいい感じかどうか知りたい - mattak's blog
数年前のプロジェクトで100行未満のファイルをプロジェクト全体の95%にする。 という趣意でメンテしやすさを確保しようとした。 (テストやコードジェネレートしたものは除いて計測するような指標) speakerdeck.com これはわりと簡便で良い指標だと個人的に感じている. どんなプログラミング言語やアーキテクチャでもすぐに適用でき、ある程度プロジェクトの健康状態がそこからわかるからだ。 この話をすると、クラス感の依存関係をみたり、コミットログでの編集頻度などより複雑な解析しようと試みる人がいる. それはそれでとても良いのだけど、個人的にはこの指標の柔軟さ、簡便さ、費用対効果の高さが気に入っている. ファイル行数の分布グラフがばらついているプロジェクトは、だいたい何か設計や機能が失敗している. 昔どこかの勉強会で、行数が多いほどエンバグする可能性が高まるという当たり前の事実を聞いた。 実
BFF/SSRの話
Mercari Web / Frontend meetupで話した BFF/SSR の話です。
Androidアーキテクチャことはじめ ― 選定する意味と、MVP、Clean Architecture、MVVM、Fluxの特徴を理解する｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Androidアーキテクチャことはじめ ― 選定する意味と、MVP、Clean Architecture、MVVM、Fluxの特徴を理解する Androidアプリの開発において悩ましいアーキテクチャの選定。本記事では選定する意味を改めて整理し、 MVP・Clean Architecture・MVVM・Fluxといった最新の実例を紹介します。 はじめまして。Androidエンジニアの藤原聖（ふじわら・さとる／@satorufujiwara）です。 現在は株式会社サイバーエージェントで、エンジニアリングマネージャーを兼任しています。2017年で35歳になり、定年を迎えました（プログラマの定年については「体型を支える技術」などを参照）。 Androidアプリ開発には2010年から携わっていますが、今現在の関心事は何といっても公式開発言語に採用されたKotlin。そしてもう一つが、Androidの
［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！
［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！ Webのアーキテクチャ大調査の第二弾は「AI活用サービス」編。プログラミング言語や機械学習のライブラリをはじめ、フレームワークやツールの選定・設計もサービスによって異なります。ぜひ参考にしてください。 2017年4月に掲載したアーキテクチャ大調査の第二弾！ 今回は、人工知能（機械学習、深層学習、画像処理など）を活用したWebサービス・アプリを提供しているベンチャーを中心に、36のサービスで使用されているプログラム言語やフレームワーク、その他さまざまな開発ツールなどをヒアリングのうえまとめました。選定理由を記述いただいた12のサービスでは、それもあわせて紹介しています。 前回との違いは、当然ですがTensorFlowやKerasといった機械学習のライブラリが挙げられていること。また、技術領域もH
何故TimersのiOSチームではモダンアーキテクチャを採用しないのか - Tech Blog
明けましておめでとうございます！本年もよろしくお願いします！ 年末から猫を飼い始めてなるべく早く家に帰りたいかっくん(@fromkk)です。 最近iOS界隈ではMVC以外のアーキテクチャが流行ってますね。 ベースは昔からあるMVCですが、MVPやMVVM、VIPER、Clean Architecture等など... どれもメリット/デメリットあるかと思いますが、弊社のiOSチームではどれも採用せずに昔からのMVCでプロジェクトを進めています。 何故他のアーキテクチャを採用しないのか 一言で言うと学習コストが高いのが大きいです。が、それだけでも無いので細かく記述したいと思います。 学習コスト 先述しましたが今と違うことをしようとするとどうしても学習コストが高くなります。 また、一人ならいいですが複数人いる場合はチーム内の皆も同じく学習する必要があります。 個々人のスキルに差が合ったり、メンバ
［53選］国内注目のWebサービス・アプリを大調査！ プログラミング言語、フレームワーク、アーキテクチャの一覧【2017年】 - エンジニアHub｜Webエンジニアのキャリアを考える！
［53選］国内注目のWebサービス・アプリを大調査！ プログラミング言語、フレームワーク、アーキテクチャの一覧【2017年】 星の数ほど存在するWebサービスやアプリ。その裏側を覗いてみると、開発当時のトレンドや開発者の設計思想が見えてきます。53サービスのフレームワークやアーキテクチャ、開発効率化ツールを集めました。 国内だけでも星の数ほど存在するWebサービスやアプリ。その裏側を覗いてみると、開発当時のトレンドや開発者の設計思想が見えてきます。 今回は53サービス（追記を含む）のフレームワークやアーキテクチャ、開発効率化ツールを集めました。選定理由もお答えいただけたサービスについては、アーキテクチャを選んだ理由も紹介していきます。 C2C、コマース メルカリ、ココナラ、BASE、Tokyo Otaku Mode、STORES.jp、Snapmart、IQON 情報サービス グノシー、価
10分で振り返るソフトウェアアーキテクチャの歴史2017
CAMPFIRE iOS #1 - connpass https://yj-meetup.connpass.com/event/51735/ での発表資料です。 (2017/3/23追記): 各所からいただいたフィードバックに基づき、不正確な記述を修正しました。（Nyohoさん、あんざいゆきさん、かとじゅんさん、ありがとうございます） また、参考リンク集を追加しました。 ## 参考リンク ■ MVC Pattern http://heim.ifi.uio.no/~trygver/2003/javazone-jaoo/MVC_pattern.pdf ■ Understanding JavaServer Pages Model 2 architecture | JavaWorld http://www.javaworld.com/article/2076557/java-web-develop
#iosdc 2016 前夜祭 A-3 フルSwiftでバイクフリマアプリRIDEを作って得た学び - niwatakoのはてなブログ
twitter.com ファッションフリマアプリFRILを運営する株式会社Fablicは、この春に新サービス「RIDE」をリリースしました。 RIDEは一部ライブラリを除けばアプリ部分はすべてSwift 2.2で書かれたプロジェクトになっています。またWeb界隈で話題のフレームワークReduxのSwift実装であるReSwiftを用いた新しい設計を採り入れています。 このRIDEを実例として、本トークではSwift時代における開発手法についてお話します。 プロジェクトの構成やアプリの設計思想といったコードの話題はもちろん、CIやテストの進め方などチームで効率的に開発を進めるための工夫についてもお話する予定です。 iosdc.jp speakerdeck.com フルSwiftでバイクフリマアプリRIDEを作って得た学び 僕は緊張でビール我慢しているんですが会場からプシュっていう音が聞こえて
Swift/iosで開発するドメイン駆動~DDD(風)なモダンなアーキテクチャ - Qiita
はじめに Swiftでios開発をするときのアーキテクチャを考えてみました。 すでにいくつか良い記事があり、それらを参考に作るのもいいのですが、Web開発で慣れ親しんだDDDではどうなるのかと思い試しました。 結論からするとios開発では、DDDをそのままやるのではなく、あくまでDDDっぽくやるのが生産性が高そうです。 とても参考になるこちらの記事でもios開発に合ったMVVM風として実装しているし、私自身、原理主義的にやるよりもそのプロジェクトに合うように柔軟にやるのが好きです。 この記事では、以下のライブラリを使って、なるべく本質的な実装に専念できるようなコードにしたいと思います。 タイトルの「モダンな」は単にライブラリがモダンということです。 DDDに興味がなくてもこれらのライブラリの利用方法で多少なりとも参考になるかもしれません。 Bond Alamofire ObjectMapp
サーバレスアーキテクチャとは？ - プログラマでありたい
サーバレスアーキテクチャの整理です。少し前は、2-Tier Architecture（クラウドネイティブなアーキテクチャ）と3-Tier Architecture（従来のアーキテクチャ）という対比で論じられることが多かったです。しかし、API Gatewayの登場により、3-Tierな構造でもクラウドネイティブなアーキテクチャにしやすくなりました。ということで、サーバレスアーキテクチャ（ServerLess Architecture）と呼ばれることが多いです。 サーバレスアーキテクチャのパターン それでは、従来型のアーキテクチャ（旧3-Tier）と2-Tierパターン、API Gatewayを利用したサーバレスアーキテクチャをそれぞれ見てみましょう。 従来型のパターン（ アプリケーションサーバ・パターン） まずは従来型のアーキテクチャです。間にELBを挟んでAutoScaleにすることは多
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SimpleとEasyは違う / Simple is not Easy
知っているようで知らないWebサーバアーキテクチャ
サービスをつくりなおす決断をするとき