What is stream Processing?Stream Processing is a Big data technology. It is used to query continuous data stream and detect conditions, quickly, within a small time period from the time of receiving the data. The detection time period varies from few milliseconds to minutes. For example, with stream processing, you can receive an alert when the temperature has reached the freezing point, querying
Ok Google, how to add git submodule external library gradle android So you have some kind of standard library with a lot of useful stuff and you use it in every project you worked on. Here is mine: the library projectAs you can see, it’s an independent Android library with it’s own top level build.gradle and settings.gradle files. I had some troubles adding the library into my projects as a git su
In the previous articles of the series, we have seen the local Kubernetes solutions for Windows and Linux. In this article, we talk about MacOS and take a look at Docker Desktop and Minikube. Similar to the Windows version, Docker for Mac provides an out of the box solution using a native virtualization system. Docker for Mac is very easy to install, but it also comes with limited configuration op
A new release of Scala programming language, 2.13, has been announced recently. It is time to look at what improvements it has brought to us. In this post I will focus on the changes in the standard library, so this can be considered a follow up to my previous post, The little gems of Scala standard library. Many of the features described here are not mentioned in the official release notes (where
At Culture Amp, we’ve been customers of Treasure Data for about a year. We’ve been able to get some great momentum around product analytics with their stack of tools, which includes solutions for data ingestion, data querying, workflow management, and data export. Treasure Data are very good open-source citizens, and many of the tools that power their stack are open-sourced. Their most popular is
こんにちは、この記事は、pyspaアドベントカレンダー2018の 20日目の記事です。今年も年に1回しかかかないブログを更新する日がやってきてしまいました。 今年は柄にもなくお金の話をしようと思います。 想定読者源泉徴収されるサラリーマンである自社株(RSU等)をもらっている副業(執筆による印税など)による雑所得を得ているそんな人がふるさと納税の上限をちゃんと計算したいTL;DR 最初にまとめ素人がちょっと調べた情報なので、正確には税務署や税理士に聞いてRSUは給与収入扱いなので、確定申告して税金を払う必要があるRSU含めた場合のふるさと納税の上限金額は、ふるさとチョイスの「控除金額シミュレーション→詳細シミュレーション→確定申告Aの方」の計算結果でだいたい正確に計算できるふるさと納税の計算に使う「給与収入」は、1〜12月の給与明細の総支給額の合計に、RSUがあるならその金額を足したものふ
NTT研究所の山室です,Sparkのコミッタを勤めています. 本記事ではSparkの概要と,昨日リリースしたv2.4の新機能の中から(全ては無理なので)一部を簡単に紹介します.全ての新機能を俯瞰したい方はリリースノートを参照してください. Spark Release 2.4.0 SparkはUC Berkeleyでビックデータ分析に関する研究を行っていたAMPLabの成果を2012年にOSSとして公開したもので,データの前処理から機械学習やグラフ処理などデータ分析に必要な一連の処理を効率的に実現できます.よく挙げられるSparkの特徴は以下3つです. SQL/DataFrame/DatasetなどのAPIを用いた容易なデータ操作外部プロダクト(下図のPostgreSQLやOracleなどのRDBMS,Hadoop HDFSやAmazon S3などのデータストア,PandasやTensorF
はじめに初めまして、こんにちは。BIチームの小林です。 日頃Fortniteやスプラトゥーンに精力的に打ち込んでいます。 弊社のBIチームでは、様々な数字の分析や機械学習を用いての提案を業務としています。 同様に機械学習を扱うAIチームという部隊もエウレカには存在していて、AIチームは、BIチームより機械学習主体の技術ドリブンで動いています。我々BIチームとAIチームでは、分野的に被る部分も多いため、共同で勉強会(定期的にarXivなどに上がっている最新の論文の輪読会)を行っています。 本記事では、前回の輪読会で私がチョイスしたword2bitsというword2vecを量子化して行列要素のサイズを減らす技術について書かれた論文( Maximilian Lam. Word2Bits — Quantized Word Vectors https://arxiv.org/abs/1803.056
airframe-log is a libray for enhancing your Scala application logging with colors and source code locations. Here are… I’ve created airframe-log to simplify logging in Scala. In this blog post, I’ll explain why I needed this library and how it can simplify daily programming using loggers. I will not argue which one is better by comparing airframe-log and scribe because both of them are already goo
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
When multiple teams are working on a software development project it makes sense to have multiple Google Cloud Platform projects for more fine-grained access and permission control over project resources. With this approach, however, you need a way to connect services without having these services exposed to the public. That’s where a VPN helps. You can use a VPN to securely connect the networks i
リインデックスってどうやるんだろう?と思い調べていたところ、エイリアスの方が気になってしまったので先にまとめ。 インデックス・エイリアスとは?インデックス・エイリアスはその名の通りインデックスに別名をつけられる機能のこと、同じエイリアス名を複数のインデックスにつけることもできるし、1つのインデックスに複数のエイリアス名をつけることもできます。FAST ESP のサーチプロファイルっぽい!または、リレーショナルDBのビューみたい!なイメージの機能です。 実際の設定は、各インデックスに対してエイリアス名を設定するのですが、理解するイメージは下の図の方がイメージしやすいかと思います。 インデックス・エイリアスエイリアスを使わない場合は、直接インデックスを指定して検索するわけですが、クライアントからエイリアス宛に検索するようにすることで、検索対象のインデックスをElasticsearch側でコント
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く