AWSでペタバイト級の大規模データを高速処理するには？ フロムスクラッチの開発事例から学ぶ
急成長中のスタートアップ企業は、多様なAWSサービスをどう選択・活用し、ビジネス課題を解決しているのでしょうか。本連載では、スタートアップ企業の中でエンジニアリングをリードしている担当者がそのアーキテクチャをひも解き、AWS活用術を紹介していきます。第1回はAWS SA直伝の技術トレンドをお届けしましたが、第2回からはいよいよ実際のスタートアップ企業による解説です。今回はフロムスクラッチCTOの井戸端洋彰氏が担当、テーマは「大規模データの高速処理」です。記事の最後には、SAによるポイント解説もあります。（編集部） 莫大なコストがかかるデータマーケティングの課題を解決するために みなさん、こんにちは。株式会社フロムスクラッチにてCTOを務めております井戸端洋彰と申します。簡単に経歴をご紹介させていただきますと、新卒で外資系コンサルティング企業に入社し、クライアント企業の基幹システムの設計や開
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか：セキュリティログ分析基盤活用入門（2）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。 セキュリティ業務における「ログ」と、その分析基盤の活用について解説する本連載「セキュリティログ分析基盤活用入門」。前回は、ログを活用するセキュリティ業務やログの果たす役割を紹介しました。 リクルートは、インシデントハンドリング、フォレンジックや脆弱（ぜいじゃく）性検査、マルウェア解析といった、多くの企業ではセキュリティ専業ベンダーにアウトソーシングする専門性の高いセキュリティ業務を内製化しています。2015年以降は「Recruit-CSIRT（Computer Security Incident Response
持続可能な開発を目指す ~ ドメイン・ユースケース駆動（クリーンアーキテクチャ） + 単方向に制限した処理 + FRP
この記事は、開発を持続可能にできるようなアーキテクチャとその適用方法を考察するものです。 骨子はできていますが、実装経験をフィードバックして詳細を若干変更するかもしれません。 勉強不足な点もあるので、意見を歓迎します。 開発においてよくある問題点 ビジネスロジックの本質が何だったか見失う。ソースコードのどこまでが業務上の関心で、どこからがそれを実現するための技術上の関心か分からなくなる。 入出力双方向の処理が散在して処理が追い切れなくなる。特にイベント処理でどこに飛ぶかわからないコールバック地獄になる。 初期化・つなぎ込み・統合者的オブジェクトが小さな機能単位で生まれて統一感が無くなる。 状態を持つ値が大量に散在して副作用を起こしバグを生む。 これらの問題の結果、小さな単位ごとに個人のノウハウで"良い"設計がされ、機能を追加しようとしたときにどういう方針で行えばよいか分からなくなる。 解決
【機械学習初心者向け】scikit-learn「アルゴリズム・チートシート」の全手法を実装・解説してみた - Qiita
scikit-learnのアルゴリズム・チートシートで紹介されている手法を全て実装し、解説してみました。 注釈 本記事シリーズの内容は、さらに丁寧に記載を加え、書籍「AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ」 として、出版いたしました。 概要 scikit-learn アルゴリズム・チートシート 【対象者】機械学習を使用したい方、初心者向けの機械学習本を読んで少し実装してみた方 scikit-learnの説明は英語で分かりにくいし、実装例もシンプルでなくて、よく分からんという方 【得られるもの】模擬データを用いて、各手法を使用したミニマム・シンプルなプログラムが実装できるようになります。 アルゴリズムの詳細な数式は理解できませんが、だいたい何をやりたいのか、意図と心、エッセンスが分かります。 アルゴリズムマップの手法をひとつずつ実装・解説します。
一人旅が捗るWebサービスを思いついたので、開発から公開まで全部一人でやってみた話 - Qiita
先日、ひとり旅のための宿検索サイト「ソロ旅ねっと」というサービスを公開しました。 ソロ旅ねっと ソロ旅ねっとは、複数地域、複数の宿泊予定日を自由に組み合わせて、一人宿泊が可能な旅館、ホテルを検索できるサービスです。 「どこかの金曜日に有給を取って北の方の温泉地に泊りで行きたい」、みたいな条件で、旅館、ホテルを簡単に検索できるようなサービスを目指しています。 このサービスをまじめに考えだしたのは2018年の12月初旬で、ソースを書き始めたのは同年12月の下旬頃です。 ソースコードの最初のコミットから３か月、最初のリリースからも約2か月が経ったので、これまでを振り返りつつ、宣伝もかねて、今回は、サービスを作ろうと思った経緯、サービスの中身の話などを、サービスの紹介と合わせてお話ししたいと思います。 なぜ作ろうと思ったか 僕は割と一人での旅行（特に温泉地）が好きで、年に数回、どこかの温泉地に赴き
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
Elasticsearchのデータ操作入門
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
Apache Spark で分散処理入門 - Qiita
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモ メモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscala、pythonの方がすっきりかけている気がじます。 これからも随時編集していきます Apache Spark とは 上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin
カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog
こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。 好きなたべものは焼肉とみかんです。 現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。 今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。 はじめに - カラムナフォーマットとは カラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
2. (C) Recruit Technologies Co.,Ltd. All rights reserved. BIG DATA Department自己紹介 ID: fetaro 名前: 渡部 徹太郎 所属: リクルートテクノロジーズ ビッグデータ部 略歴: 学生: 東京工業大学でデータ工学の研究 SIer 前半: 大手証券会社のオンライントレードシステム基盤 SIer 後半: オープンソース技術部隊 NoSQL, MongoDB 現職: 全社横断分析基盤: Oracle Exadata, Hortonworks 個社向け分析基盤: AWS EMR 趣味: 自宅サーバ、麻雀 エディタ: emacs派 1 AWS ビッグデータ ユーザ会
ビッグデータ処理データベースの全体像と使い分け
2. (C) Recruit Technologies Co.,Ltd. All rights reserved. BIG DATA Department自己紹介 {"ID" ："fetaro", "名前"："渡部 徹太郎", "所属"："リクルートテクノロジーズ ビッグデータ部" "研究"："東京工業大学で情報検索の研究（日本データベース学会）" "仕事"：{前職:["証券会社のWeb基盤", "オープンソース全般,主にMongoDB,NoSQL"], 現職:["リクルート横断のデータ分析基盤, "ExadataとHadoopの両刀使い"]} "エディタ"："emacs派" "趣味" ："自宅サーバ" "属性" : ["ギーク","スーツ"]} 1
Hadoopとリレーショナルデータベースは「何」が違うのか
書籍の中から有用な技術情報をピックアップして紹介する本シリーズ。今回は、秀和システム発行の書籍『Hadoopファーストガイド（2012年9月20日発行）』からの抜粋です。 ご注意：本稿は、著者及び出版社の許可を得て、そのまま転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 はじめに 近年、データサイズは増加傾向にあり、Webサイトを運営しているエンジニアやプログラマーにとって大規模データというのは身近なものになりつつあります。あなたの運営しているWebサイトではいかがでしょうか。たとえ今はリレーショナルデータベースで十分だとしても、今後も同じやり方で大丈夫だという保証はどこにもありません。 データサイズが増えてくると最初に問題となるのはバッチ処理です。データサイズが小さいうちは問題にならなくても、データサイズが増加してくると処理時
デジタル時代、ビジネス差別化に欠かせない「データ資産化」の要件とは？
デジタル時代、ビジネス差別化に欠かせない「データ資産化」の要件とは？：一般企業も待ったなし。「データはあるが生かせない」に終止符を IoT／ビッグデータの取り組みが本格化し、「大量データからいかに価値を引き出すか」「有効なアクションにつなげるか」が、企業収益を左右する一大要件となっている。だが、データを蓄積していても有効活用できていないケースは非常に多い。その真因とは何か？ データの蓄積基盤となるデータレイクにフォーカスしながら、「データを資産化できない」本当の理由を探る。 デジタル時代を勝ち残るカギ、「データの資産化」実現のカギとは？ IoT、X-TechなどDX（デジタルトランスフォーメーション）が各業種で進展している今、データ活用の在り方がビジネス差別化の一大要件となっている。大量の構造化データ／非構造化データに埋もれた価値を、いかに迅速に発見し、精錬し、収益向上の源とするか――すな
Apache Spark、Sparkシェルで手軽に分散処理
Apache Spark、Sparkシェルで手軽に分散処理：リアクティブプログラミング超入門（終）（1/2 ページ） 今回は、分散処理フレームワークの概要や、Apache Hadoop、MapReduce、Apache Sparkの概要を説明し、Apache Sparkの使い方を紹介します。 リアクティブプログラミング（RP）の概要や、それに関連する技術、RPでアプリを作成するための手法について解説する本連載「リアクティブプログラミング超入門」。Lightbend社のリアクティブ開発プラットフォームである「Lightbend Reactive Platform」を使用して、実際にリアクティブなアプリケーションを作成しています。 前回の記事では、Lightbend Reactive Platformの構成要素の一つである、マイクロサービス向けフレームワーク「Lagom」を紹介しました。今回は
Chrome拡張の高速な英語辞書ツールをつくりました(Mouse Dictionary) - Qiita
経緯 もともとMouseoverDictionaryという素晴らしいFirefox用辞書があったのですが、Quantumの登場とXULの廃止とともに使えなくなってしまったため、自分用にChrome拡張をつくった次第です。 ソースコード 実装に関わる技術寄りの用語: React, esbuild, chrome.storage.local, chrome.storage.sync, Cross-extension messaging, Hogan, debounce, resizable/draggable, intl.v8BreakIterator, deinja, クロスブラウザ, など。 ※詳細は「Mouse Dictionaryの技術的な話」をご参照ください https://qiita.com/wtetsu/items/2a5568cb0b5a38c003fb 使い方 インストール
株価予測WEBアプリを作ってみた(Python,Django,Heroku) - Qiita
1.PythonによるLSTMモデルの構築と株価予測 ここでは、Pythonを用いて、 - 株価データのスクレイピング - LSTMモデルの定義 - LSTMモデルの学習 - 株価予測 を行っています。 #def LSTM(NAME,epoch,s_date,e_date,batch): from . import brand_list from . import read_nikkei def LSTM(input): ############ #---LSTM---# ############ ############ ###1.importing Libraies and getting stock data import pandas as pd import datetime as dt import numpy as np import pandas_datareader.da
AWS 導入事例：株式会社 日本経済新聞社におけるビッグデータ活用事例 | AWS
日本経済新聞社（以下 日経）は、新聞発行を軸に、雑誌、電子メディア、データベースサービスなどを展開する複合メディア企業です。同社には『中正公平、わが国民生活の基礎たる経済の平和的民主的発展を期す』との社是があり、冷静かつ客観的なジャーナリズム精神を根幹に据え、情報の力による新たな価値創造を続けています。 日経は、複合メディアとして Web サイトの電子版、および日経電子版アプリなどのデジタルサービスに力を入れています。メディアサイトの多くが広告モデルにより収益化しているのに対し、日経は購読料が売上の多くを占めます。このため、メディアとしての信頼性や情報伝達力を計りサービスの発展に繋げるため、一人一人の読者との関係値を示す『オーディエンスエンゲージメント』が重要であると考えています。オーディエンスエンゲージメントに基づくサービスの改善施策では、旧来のアクセス解析で一般的に用いられてきたページ
TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン - ゆううきブログ
この記事は第1回ウェブシステムアーキテクチャ(WSA)研究会の予稿です。 cronのようなタイムスケジューラーにより、定期的に実行されるバッチ処理の課題を解決するアーキテクチャを最近考えている。 この記事では、単一のタイムスケジューラによるcronベースの手法に代えて、データに対してタイマーと処理を仕込むことでスケールさせやすい構造にできないか、という提案を試みる。 はじめに Webサービスにおいて、リクエストに対してHTMLのレスポンスを返却する以外のワークロードの多様化が進んでいる。 最近であれば、機械学習による時間周期による大規模なデータ処理が求められることも多い。 その他、月次の課金バッチ処理や、ランキングの定期更新など、一定の時間間隔で任意の処理を実行したいケースは多い。 このような定期的なデータ処理パターンは、SRE本[Bet17]の25.1節「パイプラインのデザインパターンの
ØMQを使ってMicroservice間をロスレスでデータを同期させるStrongZero - Qiita
対象読者 2つの疎結合なシステム間を、メモリを大量に使っちゃうような大がかりな仕組みなしで、ほぼリアルタイムにデータロスなしに同期させたい、そういうアーキテクチャが欲しい方。 動機 Microservicesを疎結合に保ちつつ、バッチ処理やレポート機能でのクエリの高速化のため、データを同期させたいことがままあります。このあたりの話は、テキストの「5章 モノリスの分割」に載っています。 あるサービスから、データを定期的に吸い上げて、別のサービス、ツールに送るデータポンプという仕組みがあります。 イベント駆動でメッセージを関連サービスに送るイベントデータポンプや、バックアップツールを使って高速にデータ転送するバックアップデータポンプが紹介されていますが、結果整合性だけどなるべくリアルタイム(Near Real-Time)で同期させたいとなると、イベントデータポンプな仕組みしか選択肢にはならない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析の下準備はつらい、三井住友銀行が新ツールで解消
