ふと今更、年初のCROSS 2013の「次世代 web セッション」の動画を見て、うんうん唸ってしまった。プロトコル編の方は知識不足であんまり分からなかったですが、アーキテクチャ編の方はグサグサくるものがあった。「自分の頭でこれからの web を考えてブログに書くまでがこのセッション」という宿題が出ていたので、せっかくなので最近考えてることをつらつらと書いておこうと思った次第。特にまとまりはないですし、戯言です。 これからの Web の話をしよう。 (次世代 Web セッション @ CROSS2013) – Block Rockin’ Codes 前提 僕はコード書いてない＆サーバサイドしか見たことない＆WEB サーバはあんまり見たこと無くて、それより後ろ側ばっかり見てた人なので、ユーザ側とかアプリ開発者がどうなっていくかについて特に尖った意見はありません orz SPDY とかもまだ手を
最近では「マイクロサービス」と呼ばれる、機能毎に細かくサービスを分割して開発や運用を行うアーキテクチャの採用例が増えている。本記事ではこのマイクロサービスアーキテクチャや、それに使われる技術について紹介する。 マイクロサービスとは 近年、ITシステムの開発・運用において「Microservice（マイクロサービス）」というアーキテクチャを採用する例が増えている。マイクロサービスアーキテクチャは、簡単に言えばサービスを構成する各要素を「マイクロサービス」と呼ばれる独立した小さなコンポーネントとして実装するという手法で、2011年ごろから提唱されているものだ。 マイクロサービスについては、2014年に公開された「Microservices」という文書が有名だ（有志による日本語訳）。また、さくらのナレッジでも2015年に紹介されている。マイクロサービスの詳しい思想についてはこれら記事を参照してほ
クラウド時代に習得すべき言語10選
Nick Hardiman （Special to TechRepublic） 翻訳校正： 川村インターナショナル 2015-03-20 06:00 コンピュータ言語を1つ挙げろと言われたら、多くの人は広く知られた汎用手続き型言語を選ぶだろう。学校で教わる「C」「Java」「Python」などのはずだ。しかし、いつも名前が挙がるこれらの言語は、コンピュータ言語という氷山の一角でしかない。キーワードと構造を使って情報を伝達するものは言語と言える。ここでは、検討すべき10のクラウド言語を紹介する。 1. SQLデータ言語 誰もが認めるところだが、SQLは何十年にもわたってデータ言語の王者として君臨してきた。非リレーショナルデータベースサーバでさえも、何らかのSQLに対応する。クラウドでも、他のすべてのIT分野と同様、至るところでSQLが使われている。 SQLにまつわるジョークを1つ紹介しよう。
Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase comparison :: Software architect Kristof Kovacs
Hello, I’m Kristof, a human being like you, and an easy to work with, friendly guy. I've been a programmer, a consultant, CIO in startups, head of software development in government, and built two software companies. Some days I’m coding Golang in the guts of a system and other days I'm wearing a suit to help clients with their DevOps practices. While SQL databases are insanely useful tools, their
« ぎんなんの封筒チン | トップページ これから15分で Remedie を始めるための資料 [Perl] Remedieを使い始めたので、さっそく手順をまとめました。 この資料を15分くらいかけて上から下まで読み、 Mac OSX やDebian Linuxにインストールすると、 割とあっさり、Remedieが動かせると思います。 Remedieとは Remedie は Perl で書かれたプラガブルな メディアセンターアプリケーションです。 Plaggerを生んだ、miyagawaさんによるアプリです。 - Plagger - Trac -- http://plagger.org/trac Remedieに、さまざまな動画ファイルの更新情報を登録することで Remedieは、自分のお気に入り動画で埋め尽くされた 自分専用の動画閲覧インターフェイスになってくれま
データセンターの原価計算について〜「クラウド」の別側面として - 急がば回れ、選ぶなら近道
要するにデータセンターの「原価計算」です。いろいろこのあたりに関わっています。複雑な計算ロジックと大量のデータを扱う必要があるので、大規模並列計算の適用が必須になり、結果として当方の出番になった、という状態。尚、実行基盤にHadoop（MapR）を利用しています。（一応予定ではSparkに移行するつもりで、開発も始まっています。） さて、いろいろやっていて思うところがあるので、現時点での考え方をまとめておきます。機微な部分はNDAになるので書きませんし、以下は自分の「個人的な」意見であり、特定のサービサーの話をしているわけではありません。基本的にInteropで公にしゃべった話のまとめです。 ■現状認識 現在、国内DCはほぼ乱立状態に近いと思われます。ここへ来て春先のAWSの値下げのインパクトもありました。今後は、より競争的なマーケットになるでしょう。退場する企業やM&Aも活発化していくで
週末KagglerとしてavazuのCTR予測コンペに参加しました。Kaggleは機械学習版のISUCONだと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に行けたので、そこまでの試行錯誤をメモしておきます。謎ノウハウ(?)を持っているガチ勢じゃないと上位に行けないものかと思っていましたが、基本に忠実にやればこれくらいの順位(上位7.6%)に行けましたし、他の人の工夫を垣間見えるという意味でも現場の機械学習やり始めたエンジニアにお薦めできそうでした。 参加の動機 目標感: 頑張りすぎずに上位10%以内に入る 試行錯誤 AthenaとRedashによる探索的データ解析 ベンチマークをまず超える 線形分類器でシンプルな特徴量 時系列要素を忘れていて過学習発生 特徴量エンジニアリン
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
※4/6 その後調べた情報などを記事末尾に追記 前提となるニーズ サーバの負荷情報とか、アクセス状況のような KPI を取得・保存し、可視化(参照してグラフ化)したい。 リアルタイム性が要求される。5分以上前のデータしか見れませんみたいなのはお呼びでない。 古いデータはそんなに精度は気にしないけど、ロングスパンで俯瞰して見れたら便利。 最近はビッグデータ環境の時系列データ解析もビジネスではけっこうニーズがありそうだけど、そっちはもう少し要求が多そう。 ここでは考えないことにする。 選択肢になりそうなもの 古きよき RRDtool Elasticsearch + Kibana Graphite + Grafana InfluxDB + Grafana 等 Zabbix 他に、現実的には SaaS に任せるという手段もあるだろうけど、そう言うと話が終わってしまいそうなので、ここでは考えないこと
たまに検討するけど、よく忘れるのでまとめておく。ごく個人的な感想としては、Rundeck, Azkabanあたりで始めてみるのがいいかもと思う。 要件 重複実行の防止 ジョブの実行結果、かかった時間、ログ出力などが見れる 失敗時の通知 候補 OSS系 Rundeck http://rundeck.org/ Java Runtimeで動く RUNDECK PROという有料サービスもある http://simplifyops.com/ 参考: http://heartbeats.jp/hbblog/2015/01/rundeck.html Oozie http://oozie.apache.org/ Workflow Scheduler for Hadoop Java http://oozie.apache.org/docs/4.1.0/DG_Overview.html Webコンソールもある
現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD
グーグルがオープンソースの世界に戻ってきた、それも大々的に。このところファイアーウォールの外に会社の発明を公開するケースが増加中だが、グーグルはさらに大きな一歩を踏み出した。 ６月、グーグルが、Linuxアプリケーション・コンテナ管理ツールである「Kubernetes」プロジェクトをオープンソース化して、大ニュースになった。（このコンテナというのは、一種のソフトウェア「ラッパー」で、任意のプログラムをどんなコンピューター上でも、面倒なカスタム化の必要もなく動作させる事ができるものだ）要するに、グーグルは、オープンソース・コミュニティに自社内部用ツールを手本にしたアプリケーション・アーキテクチャを提供したのだ。ちなみにKubernetesはギリシャ語の直訳で「船の操舵手」を意味する。 クレイグ・マクラッキーグーグルは、単独で自社コードを公開したのではない。マイクロソフト、Red Hat、IB
Perl › 読み物 僕もPerl入門書いている身なので反応しておこうと思います。 メインコンテンツの「サンプルコードによるPerl入門」の目次はこちらです。こちらがメインコンテンツになります。Perlはとても便利なプログラミング言語ですので、一緒に学びましょう。 なぜ国内でPerlが急速に萎んだのか まずこの人はRubyとPythonが好きで、Perlが嫌いな人です。まぁ好き嫌いはあってよいんですけど、書いている内容が不誠実すぎて、信用ができないです。 Perlが萎んでいるという議論をする前に、ライブラリの数とか、アプリケーションの数とか、求人とか賃金とか採用している企業とかなんでもいいけれど、何か目に見える統計情報がないと、単なるイメージを落とすために書いていると思われても仕方がないと思う。 2005年 Railsの襲来 2005年に突如現れたRailsによって国内でRuby利用者が急
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
Announcing SQL Server on Linux - The Official Microsoft Blog
All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC and Windows games Movies & TV Business Micro
ビッグデータ時代―なぜ、いま機械学習なのか Apache Hadoop（以下、Hadoop）の登場で、今まで捨てていたデータ、貯めるだけで処理しきれなかったデータを活用できるようになりました。 活用手段として最近とみに注目されている技術が「機械学習」であり、Hadoopの強みを生かし簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを動かしてみることで、機械学習の常識を身に付けます。 そもそも、機械学習とは？ 機械学習とは、一定のデータをコンピュータ・プログラムに「学習」させ（すなわち、そのデータに潜むパターンや規則性を表す「モデル」を自動的に構築させ）、他のデータにそのモデルを適用すれば、あたかも人間のように複雑で柔軟な判断が行えるようにするという試みです。 機械学習をビジネスに活用した例は、レコメンド（ユーザーや商品
NoSQLについて知っておくべき10の事柄
TechRebublicに「10 things you should know about NoSQL databases」（NoSQLデータベースについて知っておくべき10の事柄）という記事が掲載されています。NoSQLデータベースについての現状がよくまとまっている内容でしたので、見出しとポイントをまとめて紹介したいと思います。 10の事柄は前半と後半の2つに分かれていて、前半の5つではNoSQLの利点について説明されており、後半の5つは課題について説明されています。原文はそれなりに長い説明がされているので、詳しくは原文をぜひ見てみてください。以下はそれを1行程度に要約したものです。 5つのNoSQLの利点 Five advantages of NoSQL 1：Elastic scaling （弾力性のあるスケーラビリティ） NoSQLデータベースでは、ノードの追加による拡張性に柔軟に対
Serverless Architectures
Serverless architectures are application designs that incorporate third-party “Backend as a Service” (BaaS) services, and/or that include custom code run in managed, ephemeral containers on a “Functions as a Service” (FaaS) platform. By using these ideas, and related ones like single-page applications, such architectures remove much of the need for a traditional always-on server component. Serverl
といっても4月1日の話なのでもう一ヶ月以上も前になるのですが、色々と忙しくて後回しにしてました。 ブログで転職報告してから4年の間、どういう仕事をしてきたのか書いてないことに気づいたので、せっかくなのでちょっとまとめてみようと思います。 1年目(2011年) 「朝、ベッドから起きると、そこが職場になっていた」 この感覚は今でも忘れません。オフィスも同僚もいなかった私は、在宅勤務という形で Cloudera での仕事を始めました。1Kの小さいマンションに住んでいたため他の作業部屋がなく、自分のベッドの横の机がそのまま仕事場になりました。 サポートエンジニア(今は COE = カスタマー・オペレーション・エンジニアという名前になっている)として今の会社での仕事を始めたのですが、肩書き通りの仕事だけをしていればいいなんていうことは当然あるわけもなく、日本にいる唯一のエンジニアとして何でも仕事をこ
ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります - Y-Ken Studio
2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。 本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を習得できます。 私はこの第2特集「ログ収集ミドルウェアFluentd徹底攻略」の執筆を担当しました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus) それでは、それぞれの特集について簡単に紹介したいと思います。 サーバ/インフラエンジニア養成読本 ログ収集〜可視化編 特集1 ログ解析からはじめるサービス改善 (鈴木 健太) 第1特集では、ログを蓄積して解析する意義とは何か、コーヒーショップのECサイトを例に、データ分析のケーススタディと共に解説されています。 第1章 はじめに 第2章 サー
ミームの死骸を待ちながら
先月 Ergodox を組み立てたのだけど，プリント基板を発注したりはんだ付けしたりと，なかなか楽しい体験だったので記録を残そうと思う． キースイッチはんだ付け作業途中の図 先にでぃすくれいまー書いとくと，自作キーボードのガチ勢な方々は基板設計から始まるっぽい*1から，僕がやった「パーツ買い集めて組み立てる」というムーブはプラモを説明書通りに作っただけで，エンジョイ勢レベルになると思う．技術的にすごいことをやっているわけではない．そこをご理解頂いた上でお読みください． 久々にブログ書くんで戯言欲を持て余し，クソ長く，いらん無駄話も入るけどまぁよかろ． Ergodox ってなんじゃいな Ergodox についての詳しい説明は省くが，僕が 2016 年頃から愛用している，オープンソースのセパーレト式メカニカルキーボードである． こんなの キーボードがオープンソースとはどういうことかと言うと，キ
Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム
大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。 さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています。 バージョン1.0では、Stream APIの強化、Jav
「仕事ではじめる機械学習」をざっくり読んだので感想やメモなど - razokulover publog
仕事ではじめる機械学習を購入したので早速読んでみた。 知ってる箇所とか結構流したとこもあるので雑なメモです。 第Ⅱ部に関しては特に読んでないとこ多いのだが、手を動かさないと意味ないしまた休日にでもやってみます。 第Ⅰ部 1章 機械学習プロジェクトのはじめ方 まずは機械学習を使わないで解決できないか考える 序盤でこの１文が出てきて信用できる本だとわかった すぐに結果がでないことが多いのでそれに投資できる/させる調整が必要そう 解くべき問題の仮設設定とMVP検証を必ずやる 成功させるには以下のメンバーが必要 ドメイン知識のあるメンバー・機械学習する人・データエンジニア・失敗を恐れない理解有る責任者 テストがしずらいので継続的にモニタリングして性能の評価をするべし 2章 機械学習で何ができる？ p22のどのアルゴリズムを選ぶべきかのフローチャート図が便利 これの簡略版 分類・回帰・クラスタリング
highscalability.com の Tumblr のアーキテクチャについての記事を読んだ - @kyanny's blog
High Scalability - High Scalability - Tumblr Architecture - 15 Billion Page Views a Month and Harder to Scale than Twitter を読んだ。すごく面白かった。 Kindle で引用したところを中心にメモ。 Tumblr のソーシャルグラフの特徴 The graph for Tumblr users has hundreds of followers. This is different than any other social network and is what makes Tumblr so challenging to scale. Tumblr だと follower が数百人いるユーザーはザラにいる。 follower の多いユーザーの post は多くのユーザ
2013年01月31日18:37 その他 クックパッド株式会社を卒業します 私事ですが、このたびクックパッド株式会社を退職することになりました。 有給消化の関係でまだしばらく所属はしていますが、本日1/31が最終出社日です。2009年の8月に入社したので、約3年半お世話になったことになります。ついこの間JOINした気がするのに早いものですね。 短い間でしたが、クックパッドの素晴らしい環境と素晴らしい仲間に恵まれて本当に幸運でした。美味しいご飯も食べられるし。僕の人生の中で、クックパッドにJOINすることに決めたのはかなり上位に食い込む素晴らしい決断だったと思います！ やってきたこと せっかくなので振り返ってみます。クックパッドでは以下のようなことをやってきました。 ・HadoopやEMRを利用した大規模データ分析 ・クックパッドという巨大なサイトへの機能追加、改善 ・新規事業へのチャレンジ
分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま
フルマネージドのSaaS型クラウド・データベース・サービスdashDBの活用スタイルとは ～手間いらずで高性能、大量データ分析を劇的に効率アップ～ - はてなニュース
SaaS型クラウド・データベース・サービスである日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB」は、フルマネージドなインメモリ列指向DBで、同社のコア製品「DB2」譲りの豊富なエコシステムを特色とする。地理情報を扱う関数やR言語による分析機能、Twitterやオープンデータの取り込みを標準で備える、多彩なdashDBの特徴とその活用スタイルについて、日本IBMの話を聞いた。そのメリットをフルに活かしているユーザー企業、ワイヤ・アンド・ワイヤレス（Wi2）での活用スタイルも見ていく。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） ■ 準備に時間をかけず、チューニング不要で高性能を目指す 野間 愛一郎さん アナリティクス事業部 インフォメーション・アーキテクト 「準備をしてからデータ分析できるまでの時間を短くしたい。データベース設計や最適化に手間をかけ
スタートアップである弊社が全員ほぼ未経験でRuby on RailsをScalaに移行した理由、その効果と苦労点 - Qiita
スタートアップである弊社が全員ほぼ未経験でRuby on RailsをScalaに移行した理由、その効果と苦労点RubyRailsScalaポエムスタートアップ この記事を書くに至った経緯 僕が代表をしている株式会社KOSKAでは製造業の原価管理をIoTで自動化するGenkanというサービスを提供しております。 そんな弊社では半年前、バックエンドをRuby on RailsからScalaに移行したのですが、その効果が思ったよりだいぶ大きく、いずれこの効果を共有したいなーと思っていました。 弊社ではスタートアップで全員ほぼ未経験状態のScalaを採用するという挑戦をした結果、「Scalaを書きたい」というレベルの高い人材をかなりの確率で捕まえられるようになり、開発がものすごい加速した上に堅牢になったのでそのうちスタートアップでScalaを採用するメリットを記事にする予定。 https://t
「グーグル方式の科学」 - 七左衛門のメモ帳
著者：ケヴィン・ケリー ( Kevin Kelly ) 訳 ：堺屋七左衛門 この文章は Kevin Kelly による "The Google Way of Science" の日本語訳である。 グーグル方式の科学 The Google Way of Science ペタバイトレベル以上のきわめて大規模なデータベースができると、人間の学習方法が変わってしまいそうな予感がある。今までの科学の方法では、仮説を構築して観察したデータに合致させる、あるいは新しいデータを集めるということをしていた。そこには数多くの観察がある。どのような理論であれば、今までのデータをうまく説明することができて、そこから次の観察結果を予想できるのか？ きわめて大量のデータがあれば、理論の部分は省略して、いきなり観察結果を予想できるかもしれない。グーグルは早くからそのことに気づいていた。たとえば、グーグルのスペルチェッ
第９回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining #9) −2nd Week−方法論・ソーシャル祭り− を開催しました - hamadakoichi blog
2011/01/23 "第９回 データマイニング+WEB 勉強会＠東京−2nd Week−方法論・ソーシャル祭り−"を開催しました。 第９回 データマイニング+WEB 勉強会＠東京 ( TokyoWebmining 9)−2ndW−方法論・ソーシャル祭り−: ATND Google グループ ※会場参加者ID写真（id:bob3 さんに感謝) 1st Week内容まとめ： 第９回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining #9) −1st Week− 大規模解析・機械学習・クオンツ 祭り− を開催しました - hamadakoichi blog 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思ってい
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
以前...と言っても数年前の話になりますが、『今すぐフォローすべきnode.js界のスーパーエンジニア』のエントリを着火点として、様々な領域や分野で派生エントリが作成され、大反響を呼びました。(→ 「今すぐフォローすべきスーパーエンジニア」まとめ ) 最近AWS各種サービスについて調べる事が多くなって来ていますが、その中でもやはり際立った活動・成果等を出しておられる方々がAWS界隈を見渡しても本当に多いなぁという印象を受けました。(そして恐らく、自分が認識している範囲外にも数多くの素晴らしい方々が居られる事でしょう。) そこで個人的な情報収集・整理も兼ねて、このテーマに便乗する形で『フォローすべき』素晴らしき＆スーパーな方々をピックアップしてみました。 Twitterアカウントの情報等を元に情報を整理してますが、情報が変わっている、または間違っている等ございましたらコメント欄等で御指摘を頂
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
各社のエンジニア採用戦略 Q4：採用戦略についてお聞きしたいです。どのようなレベル感のエンジニアを、どのような戦略で採用していっているのか、具体的な話をお聞きしたいです。 鈴木：じゃあ本田さん。 本田：やはりプロダクトのロードマップありきで、さっきもちょっと話したんですけど、消費者とブランドのあらゆるタッチポイントを押さえる、究極の広告インフラを作っていくっていくことを、僕らの最終目標にしてはいるんですが。会社の中では年に1回、そこに向けて現実的なその年にやるべきことのプロジェクト化、「こういった計画を立てて、ここまでやっていくぞ」と決めていくのをやっていて。 必要に応じ、その内容に合ったエンジニア採用を強化していくという流れになります。タッチポイントを順番に攻めていく段階で、僕らはPCから始まって、今はスマートフォンを本格的に攻めていって、今後はその先へと。 スマートフォンに比べるとまだ
あなたのJavaコードをスッキリさせる、地味に便利な新API 10選（後編） - Taste of Tech Topics
こんにちは。 アキバです。 本日3/18、ついに、Java8が正式リリースされますね！ もうダウンロードされましたか？ってまだですかね？私はまだです（だって公開前にエントリ書いてるんだもんね） 2014/03/19追記：Oracleのページが更新されました！→こちら さて、前回に続いて、Java8で追加された地味で便利なAPIを紹介していきます。 今回は、みんな大好きMapとConcurrent、あとちょびっとComparatorです。 3. Map操作編 (1) Map#getOrDefault() これまでは、Mapから値を取得してnullだったらデフォルト値を使用する、みたいなコードを以下のように書いていたと思います。 Map<String, String> map; // 何らかのMap String value = map.get("key"); if (value == nul
Amazonが社内で開発し、サービスで利用しているDynamoというストレージサービスがあるのだけど、これについての論文が公開されていたので読んだのでまとめてみる。 この論文を書いたメンバーにはAmazonのCTOであるWerner Vogelsや、AWSでDynamoDBやElastiCache、SQS、SNSなどの製品のマネージメントをしているSwami Sivasubramanianらが含まれている。 Dynamoをひとことで表すと分散型でKey Valueストレージで、データの一貫性に関しては結果整合性を保証するサービスだ。なお、AWSで提供されているDynamoDBとは別物なので注意。 原文はこちらから参照できる。今回のポスト中の引用(図や文問わず)はすべてこちらから引用している。 また、既に日本語訳をされている方もいらっしゃるので原文をそのまま日本語でよみたい人はこちらを参照の
本日12月1日より、プログラマ有志による2011年の技術系Advent Calendarが各所ではじまる 本日12月1日より、プログラマ有志による2011年の各技術系Advent Calendarが一日目を担当する人のblogではじまっている。ここ数年は、師走の風物詩になっている。 特に昨年は、技術系Advent Calendarの紹介記事が契機になった面もあるようで、各方面で技術系Advent Calendarが行われた。今年は技術系Advent Calendarの認知度が上がり、たくさんの技術系Advent Calendarが12月1日より行われそうだ。 一般的なAdvent Calendarは、12月25日のクリスマスを楽しみに待つために、12月1日から24日までのカレンダーの日付の部分（扉だったりする）を開けるようになっており、1日ずつその日の日付の部分を開くと天使や動物の絵などが
MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「これからのWeb(バックエンド)」を自分の頭で考えてみた - As a Futurist...
マイクロサービスアーキテクチャとそれを支える技術 | さくらのナレッジ
[O] これから15分で Remedie を始めるための資料
KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog
【2022年】AWS全サービスまとめ | DevelopersIO
時系列DBって結局どれがいいんだっけ #TSDB - weblog of key_amb
cronの代替になりそうなジョブ管理ツールのまとめ - Qiita
DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ
グーグルが自社データセンターをオープンソース化した方法とその理由 | readwrite.jp
「なぜ国内でPerlが急速に萎んだのか」という記事を読んで - Perl入門ゼミ
Hadoop Streaming - naoyaのはてなダイアリー
試すのが難しい―機械学習の常識はMahoutで変わる
転職してから4年が経ちました - 科学と非科学の迷宮
クックパッド株式会社を卒業します - (ﾟ∀ﾟ)o彡 sasata299's blog
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
今すぐフォローすべきAWS界隈の素晴らしきエンジニア達 #jawsug | DevelopersIO
Welcome to Apache™ Hadoop™!
NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
スマニュー・鈴木代表「これからのエンジニアはプロダクトをやれ」 年俸10億円プレイヤーへのキャリアパスとは？
AmazonのDynamoの論文を読んでみた(1/3) - 工場長のブログ
本日12月1日より、プログラマ有志による2011年の技術系Advent Calendarが各所ではじまる | gihyo.jp
MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT