データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015
データ分析の話はそこかしこで行われてますが，それを俯瞰する話はあまりないようなので，ここらで一つ色々とまとめて喋りたいと思います．また，Treasure Dataで得た経験をもとに，機能だけでなくデータ分析基盤でよく要求される要素についても，いくつかの視点を交えて言及したいと思います． 話したいトピックリスト． データ分析の需要 データ分析の流れ データ分析基盤に使われるソフトウェア / サービス オンプレミス: Hadoop, Spark, Presto, Impala, etc クラウド: Treasure Data, BigQuery, Redshift, EMR, etc データ収集/同期: Fluentd, Embulk, Sqoop, etc ストリーム処理系: Storm, Norikra, Dataflow, etc キュー: Kafka, Amazon Kinesis,
AWS News Blog
AWS Weekly Roundup – Amazon MWAA, EMR Studio, Generative AI, and More – August 14, 2023 While I enjoyed a few days off in California to get a dose of vitamin sea, a lot has happened in the AWS universe. Let’s take a look together! Last Week’s Launches Here are some launches that got my attention: Amazon MWAA now supports Apache Airflow version 2.6 – Amazon Managed Workflows for Apache Airflow […]
エンジニアに「この会社はないわ」と思わせる面接のパターン - タオルケット体操
photo by DonkeyHotey 就職市場は売り手市場になりつつあるだとか、IT業界は人手不足だなどという話を最近はよく聞きます。 が、そういうわりにはマイナビだとかの斡旋サービスが出す雇う側視点の面接ガイドみたいなものが幅を利かせていて、雇われる側が面接の時にどういう基準で会社を選別しているのかみたいなおはなしは見かけない気がします。当たり前ですが、雇われる側にとっても面接とは擬似的にその会社の人間を体験する場（インターンほどではないですが……）なので、実際にやりとりをしてみたところで魅力に欠けるような会社であれば、志望を取り消します。逆お祈りメールです。 そんなわけで、プログラマーが面接を受けて「この会社こわ、入るのやめよ」っておもうような基準についてのお話ってみかけない気がしたので、エンジニア仲間と駄弁ってて出てきた話題だとか独断と偏見から出てきた考えだとかを書きなぐろうと思
HTTP2 の RFC7540 が公開されました - Block Rockin’ Codes
Intro 今朝、ついにずっと策定作業が行われていた HTTP/1.1 の後継仕様である HTTP2 と、 関連仕様である HPACK が、 RFC として公開されました。 ついに HTTP2 RFC 7540 出た！！ #http2study / “rfc7540.txt” http://t.co/CuaVul98l3— Jxck (@Jxck_) 2015, 5月 14 それぞれ番号は 7540 と 7541 になります。 RFC7540 - Hypertext Transfer Protocol Version 2 (HTTP/2) RFC7541 - HPACK: Header Compression for HTTP/2 ちなみに HTTP/2.0 ではなく HTTP/2 が正式名称です。(マイナーバージョンアップでの HTTP/2.1 などはありません) 二年半 HTTP2 の
リクルートからMITへ。ビッグデータ分析により人間の意思決定メカニズム解析に挑む数原良彦氏 - エンジニアtype | 転職type
リクルートホールディングスは2015年4月1日、新規事業開発機関「Recruit Institute of Technology」を人工知能の研究所として再編したと発表した。一方では米MITメディアラボとスタンフォード大学に客員研究員を派遣するなど、R&D拡張の動きが活発だ。 弊誌では今回、昨年12月よりMITに出向し、ビッグデータ分析の世界的権威であるアレックス（サンディ）・ペントランド教授とともに研究を進めている客員研究員の数原良彦氏に話を聞くことができた。 数原氏は、2008年に慶應義塾大学大学院の修士課程を修了し、同年NTT研究所に入社。以来6年間、情報検索と機械学習に関わる研究開発に携わった後、昨年9月にリクルートに加わった。 数原氏はどのような思いを持ち、どのような研究をしているのか。そのミッションと構想を語ってもらった。 人工知能は意思決定をどこまでサポートできるのか？ 数原
StormとKafkaによるリアルタイムデータ処理
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるがもう少し具体的な話を知りたい方、これから開発予定があるような方を想定しています。 StormとKafka Stormは簡単に言うと、リアルタイムに流れてくる大量のデータを処理するための分散システムです。Twitterのメッセージの分析など
Rails Tutorial以前 - Web系エンジニア入門レベルを達成するには - - 国境の南
Webエンジニアになりたいと思って、まずはじめに取り組んだのはRails Tutorialだったのだけれど エンジニアを志して半年程経ったこのタイミングで色々と思う所があって、 同じ轍を踏む人が少しでも減ればと思い 初学者が効率的にWeb系エンジニアとしての入門レベルを終えるにはどうすればいいのかという形でまとめる そもそもRails Tutorialとは ちょっとしたサイトを作ったことがあって(=HTML, CSSを使える） 入力した数字の素数判定が出来る程度のプログラミング能力があれば*、 とりあえず解説を読み下して、TwitterモドキをRailsで作れる丁寧なチュートリアルサイトのこと railstutorial.jp *実際どうかしらん、Rails Tutorialに自分が初めて取り組んだ時のレベル感 Rails Tutorial いい点と悪い点 いい点 とにかく写経すれば、ログ
もう知らないでは済まされない、注目のキーワード”IoT" -サンフランシスコで注目のIoTスタートアップ8選-
2014年から2015年にかけて、ニュースやブログ記事等で、何度「IoT」という用語を聞いたであろうか。今、IoTに対する注目度が世界中で急激に高まってきている。IT分野の市場調査大手であるガートナーは、日本企業を対象に行った IoT 分野への取り組みについての調査結果を公表し、「IoTにより自社の製品やサービスそのものが変わる」と回答した企業が52.3％に上ることを指摘した。また、2015年に入り、諸外国に遅れをとらないよう経済産業省が国をあげてIoTを支援する対策をまとめるなど、IoTは日本でも他人事ではなくなってきた。 サンフランシスコ市内にてIoTに関するイベントを開催 freshtraxでも昨年からIoTに関する情報を様々な角度から紹介したが、今回はサンフランシスコで注目されている最新のIoTスタートアップ8選を紹介する。なお、今回の記事は4月23日にサンフランシスコ市内で弊社b
Log-structured merge-tree - Wikipedia
In computer science, the log-structured merge-tree (also known as LSM tree, or LSMT[1]) is a data structure with performance characteristics that make it attractive for providing indexed access to files with high insert volume, such as transactional log data. LSM trees, like other search trees, maintain key-value pairs. LSM trees maintain data in two or more separate structures, each of which is o
インタラクティブな データ分析プラットフォーム: Imhotep オープンソース化へ - Indeed エンジニアリング・ブログ
今回は、 Imhotep のオープンソース化を皆さんにお知らせしたいと思います。 Imhotep は Indeed のインタラクティブなデータ分析プラットフォームで、これによって私たちはデータに基づく意思決定を行います。アプリケーションやサービスへの変更をテストする際、 その変更が UI でもバックエンドのアルゴリズムであっても、私たちはその変化が求職者にどう影響するのかを計測します。 私たちは Imhotep を作り、エンジニアチームとプロダクトチームが大規模かつ主要なメトリクスに集中できるようにしました。 主要な機能 Imhotep のプラットフォームとツールは以下を可能にします。 素早く、インタラクティブな、アドホック・クエリを実行し、大きなデータセットの結果を集約する。 複数の時系列のデータセットからの結果を組み合わせる。 独自のデータツールを構築する。 これにより分析、モニタリン
Imhotep: Large Scale Analytics and Machine Learning at Indeed - Indeed Engineering Blog
Imhotep: Large Scale Analytics and Machine Learning at Indeed This talk was held on Wednesday, March 26, 2014 at 7:00pm To scale the building of decision trees on large amounts of Indeed job search data, we created a system called Imhotep. In addition to being a crucial tool for building these machine learning models, Imhotep has proven to be applicable to many different analytics problems. The co
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
.NET and Visual Studio Code
Kafkaによるリアルタイム処理
Tech Talks - Indeed エンジニアリング・ブログ
https://www.rfc-editor.org/rfc/rfc7540.txt