[B! Bigdata] shunmatsuのブックマーク

Apache Kafkaに入門した

Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）．バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal

shunmatsu 2020/09/10

リンク

大規模トラフィックを処理する、LINE公式アカウントのメッセージ配信機能リニューアルの舞台裏

大規模トラフィックを処理する、LINE公式アカウントのメッセージ配信機能リニューアルの舞台裏進化したLINE公式アカウントのメッセージ配信を支える技術 #1/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「進化したLINE公式アカウントのメッセージ配信を支える技術」に登壇したのはLINE OA Dev 1チーム・Software Engineerの岡田遥来氏。LINE公式アカウントのメッセージ配信について、2019年9月にいくつか

shunmatsu 2019/12/21

リンク

2019年版：データサイエンティスト・機械学習エンジニアのスキル要件、そして期待されるバックグラウンドについて - 渋谷駅前で働くデータサイエンティストのブログ

(Image by Pixabay) この記事は、以前の同様のスキル要件記事のアップデートです。正直言って内容的には大差ないと思いますが、今回は2つ新たな軸を加えることにしました。一つは「ジュニアレベル（駆け出し）」と「シニアレベル（熟練職人）」とで分けるということ、もう一つは「データ分析以外の業界知識（ドメイン知識）」にも重きを置く、ということです。というのも、空前の人工知能ブームが予想よりも長く続いていることで、人材マーケットを観察する限りではデータサイエンティスト・機械学習エンジニアとも求人数が高止まりしているように見えるのですが、その結果としてこのブログの過去のスキル要件記事で挙げたような「完成されたデータ分析人材（熟練職人）」に限らず「駆け出し」でも良いからデータ分析人材が欲しいという企業が増えているように感じられるからです。その一方で、かつては主にwebマーケティング業界

shunmatsu 2019/09/22

リンク

ブレインパッド社員が投稿したQiita記事まとめ（2019年3月～6月、画像認識、GCP、AWS、bigdata、DataScienceほか） - Platinum Data Blog by BrainPad

2018年1月より、ブレインパッドもQiita Organizationを始めています。社員が投稿した「Qiita記事まとめ」として、2019年3月～6月の記事をご紹介していきます！こんにちは、広報の中村です。 2018年1月からブレインパッドもQiita Organizationを開始しています！当社のデータサイエンティスト・エンジニアが投稿する技術トピックが、Organization ページにまとめて表示されます。本ブログに合わせて、Qiitaの方もぜひ一度覗いてみてください！ qiita.com 今回のブログでは、2019年3月～6月に投稿された記事をまとめてご紹介します！また、当社データサイエンティストがAWS 認定ビッグデータ – 専門知識の取得にむけて取り組んだ内容をシリーズでご紹介しておりますので、ぜひご覧ください！日付タイトル（リンク）カテゴリ 2019.03.

shunmatsu 2019/07/28

Bigdata

リンク

AWSの機械学習サービスの使い方

AWS上での大規模データ処理基盤の構築　各種疑問点解決のサポート技術的な課題にぶつかったときに、有償ではあっても、手軽に外部に委託して、その分野について詳しい専門家に相談することによって、迅速に課題を解決できるようなプラットフォームを構築することを目指して、まずは、AWS (Amazon Web Services) 上での大規模データ処理に関する、基礎的な知識を提供するWebサイトを運営しています。 AWS上での大規模なデータ処理を行う際に、どのような構成・アーキテクチャをとるべきかどのような設定をすべきか AWSの多数あるサービスのどれをどれと組み合わせて利用するのがよいかどの程度のパフォーマンスが出てどの程度の容量に対応できるかどの程度の費用で利用できるか上記のような、いろいろな疑問・質問が出てくるかと思いますが、基本的な解説やよくある疑問点の説明をまとめてあります。また、参

shunmatsu 2018/10/10

リンク

これなら使える！ビッグデータ分析基盤のエコシステム記事一覧 | gihyo.jp

shunmatsu 2017/09/16

リンク

デジタル時代、ビジネス差別化に欠かせない「データ資産化」の要件とは？

デジタル時代、ビジネス差別化に欠かせない「データ資産化」の要件とは？：一般企業も待ったなし。「データはあるが生かせない」に終止符を IoT／ビッグデータの取り組みが本格化し、「大量データからいかに価値を引き出すか」「有効なアクションにつなげるか」が、企業収益を左右する一大要件となっている。だが、データを蓄積していても有効活用できていないケースは非常に多い。その真因とは何か？　データの蓄積基盤となるデータレイクにフォーカスしながら、「データを資産化できない」本当の理由を探る。デジタル時代を勝ち残るカギ、「データの資産化」実現のカギとは？ IoT、X-TechなどDX（デジタルトランスフォーメーション）が各業種で進展している今、データ活用の在り方がビジネス差別化の一大要件となっている。大量の構造化データ／非構造化データに埋もれた価値を、いかに迅速に発見し、精錬し、収益向上の源とするか――すな

shunmatsu 2017/08/03

リンク

Treasure Data Service と Redshift のハイブリッドアーキテクチャ - トレジャーデータ（Treasure Data）ブログ

*トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 Treasure Data Service はそれ自身がデータの収集から可視化までの一気通貫したサービスですが，他の様々なサービスと連携することによって各々の分析ニーズにマッチしたアーキテクチャを構成することができます。今回は Amazon Redshift とのハイブリッドアーキテクチャ等の具体的なケースを見て，視野を広めていきましょう。バッチ処理 Treasure Data Service は標準ではHiveQLによってクラウドストレージに集計処理を実行することができるのですがこれはいわゆる「バッチ処理」という分類で，スケジューリングされたクエリが定時的にバックエンドで集計されるものです。以前紹介したダッシュボード（上図）：MetricInsights などでは独立したウィジェ