昨年末からデータ可視化ツールを諸々触る中で Redash おもろいわ〜ってなってたんですが、QiitaでMetabaseの記事を目にしてしまったので使わざるを得なかった。投稿者様ありがとうございます!! https://qiita.com/acro5piano/items/0920550d297651b04387 面白さに勢いで書いてしまったので、拙い点はご容赦ください。 結論から言えば、MetabaseはRedashより遥かに使いやすかった!!(あくまで可視化系ツールを最初に触る人としてはという枕詞つきですが) Docker使ってる身としては、docker composeでシコシコとセットアップしなくても、docker run 一発で起動できるのは楽で助かる。もちろん、docker compose は様々なコンテナをまとめてセットアップする点で楽なのですが、1ツール1コマンドで起動するの
What's this? Docker, Inc is Dead の翻訳記事です。 ご本人の許可は取っていますが、僕が英語ペラペラではないため、読み辛いのはもちろん、一生懸命訳してはいますが誤訳・ミスリードなどあるかもしれません。 ですので、100%正確な内容を把握したい方は原文をお読みください。また、ここ間違ってるよ!ニュアンスが違うんじゃない?などありましたらお気軽に(優しく)コメントいただけると幸いです。 Docker, Inc is Dead / Docker社は死んだ Dockerにとって、2017年は非常に辛い1年だったと言っても過言ではありません。Uberを除いて、より活用され、賞賛され、十分に資金提供を受けたシリコンバレーのスタートアップの中で、Dockerが2017年に行ったような悪手を打ったスタートアップは思い浮かびません。人々は2017年を、ソフトウェアの偉大な一部分
Docker for Data Science Coming from a statistics background I used to care very little about how to install software and would occasionally spend a few days trying to resolve system configuration issues. Enter the god-send Docker almighty. Docker is a tool that simplifies the installation process for software engineers. Coming from a statistics background I used to care very little about how to in
DISCLAIMER: The views expressed in this article are solely mine. They do not reflect the opinion of my employer, nor that of any group I am affiliated with, sponsored by, or employed by. Please read my Disclaimer before breaking out the tar and feathers. To say that Docker had a very rough 2017 is an understatement. Aside from Uber, I can’t think of a more utilized, hyped, and well funded Silicon
Best Practices for kubernetes are as follow, Containers:- Containers should be ephemeral. Use a .dockerignore file. Use multi-stage builds. Avoid installing unnecessary packages. Each container should have only one concern. Minimize the number of layers. Sort multi-line arguments. Build cache. Don’t trust arbitrary base images. Use small base image. Use the builder pattern. Inside Container:- Use
コンテナ型仮想化の技術や実装はDockerが登場する以前から存在していたとはいえ、IT業界で本格的にコンテナの活用が始まったと言えるのは、やはり2013年3月に当時のdotCloudからDockerが登場したことがきっかけでしょう。 そうして始まったコンテナ時代の第一章は今年2017年、コンテナの標準仕様がOpen Container Initiativeによって策定完了し、コンテナオーケストレーションの事実上の標準がKubernetesに決まったことで基盤技術の基本要素がおおむね固まり、一つの区切りがついたように見えます。 そして今後は、この基盤技術を用いたコンテナによる分散アプリケーションのための様々なサービスや開発、テスト、デプロイ、本番環境に対応したツールやサービス実行環境などのソリューションが登場し、競う段階へ入っていくのではないでしょうか。 この記事では、Docker登場から現
これはMercari Advent Calendar 2017 の2日目の記事です。 昨日は @stanaka の分散ファイルシステムはブロックチェーンの夢を見るか でした。 今回は@Hmj_kd が、メルカリの機械学習の取り組みや機械学習エンジニアの今年行ってきた活動のいくつかをご紹介したいと思います。 以下、一部にて機械学習をMLと略します。 この1年間で機械学習で取り組んだこと 私が入社したのは2017/01で、社内では二人目の機械学習エンジニアでした。 その当時は speakerdeck.com にあるように、プロダクトにMLに関するものはありませんでした。 現在は、チーム全体でマネージャも含めて約10人ほどの組織になり、活発に実験や開発が行われています。 いくつかを列挙しますと - 商品出品時の価格推定とサジェスト - 一部カテゴリについて商品タグの推定 - 商品出品時のカテゴリ
Amazon Web Services(AWS)がラスベガスで開催中の年次イベント「AWS re:Invent 2017」。現地時間の11月29日(日本時間30日未明)に、同社CEO Andy Jassy氏による基調講演が行われました。 3つのアベイラビリティゾーンにまたがる高可用性を実現 Amazon EKSでは、標準のKubernetesと互換性を保ち、既存のKubernetesのプラグインやツールがそのまま使用可能。 さらに自動的に3つのアベイラビリティゾーンに対してデプロイされるため、単一障害点を持たない高可用性を実現。「これはほかのKubernetesのサービスとは大きく異なるところだ」(Andy Jassy氏) マネージドサービスであるため、Kubernetesに対して自動的にパッチの適用やアップグレードが行われます。 CloudTraiやCloudWatch、Amazon E
Amazon Web Services(AWS)は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2017」で、コンテナを簡単かつスケーラブルに実行できるマネージドサービス「AWS Fargate」を発表しました。 一般に、コンテナ型仮想化を用いてスケーラブルなシステムを構築するには、サーバにコンテナの実行環境を構築し、それをクラスタとして実行するためにKubernetesなどのオーケストレーションツールを利用する必要があります。 AWS Fargateはそうした設定やツールなどの手間をすべて不要にし、コンテナをアップロードすればあとは複数のアベイラビリティゾーンへの展開やオートスケール、ロードバランシングなどをクラウドが全部やってくれる、といったものです。 「これはコンテナを実行する方法を完全に変えてしまうものだ」(Andy Jassy氏) AwS Fargateは、A
はじめに 昨日のTwitterで書いたこちらが非常に反響を呼びました。 半年間かけたデータ解析の仕事が全くうまくいかなかった 今回の失敗は契約書に納品物を明記していなかったこと 機械学習の依頼は学習済みモデルのファイルを納品しただけでは、先方は検収できず、結果支払いを受けられない この教訓をひとりでも多くの人に知ってもらいたい — キカガク代表 吉崎亮介 (@yoshizaki_kkgk) 2017年11月20日 そうなんですよね。 全く先方が悪いわけでもなく、私自身が「機械学習のお仕事=解析」だと思いこんでいたことが失敗の始まり。 結局のところ、機械学習系のプロダクトを依頼されて、学習済みモデルを作成して即納品とはいかず、検証結果を示されないと検収できないよとなってしまうので、結局アプリケーション側まで組み込まないと納得感はないんですよね。 この検証とは、訓練データと検証データを分けた時
GitLab, a collaboration and DevOps platform for developers that’s currently in use by more than 100,000 organizations, today announced that it has raised a $20 million Series C round led by GV (the fund you may still remember under its former name of Google Ventures). This brings GitLab’s total funding to date to just over $45.5 million. In addition to the new funding, the company also today said
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
先日これを見て、自分も何かデータを使ってMachine Learningを体験してみたいと思っていたところ、こちらの記事で日経の株価データを使ってやられていたので、違うネタで自分もやってみることにしました。 <2017/9/25 追記> 今回x-packに追加された仕組みは機械学習を用いた「時系列異常検知」です。今後他にも追加される予定みたい。 ログファイルやアプリケーションメトリック、パフォーマンスメトリック、ネットワークフロー、財務/取引データなどの時系列データをElasticsearchに格納しているユーザーに付加価値を提供することに専念する方針 だそうです。楽しみ。 参考 環境 Elasticsearch: 5.6.1 kibana: 5.6.1 使用したデータは、ここの気象データを適当に地域を選んでcsvデータをダウンロードしました。 Elasticsearch/kibanaの設
redis 4.0 GA release ついに昨日(2017/07/15)に、redis 4.0のstableがリリースされました。 今までのredisと何が変わったのか?というのを、軽くまとめたいと思います。 間違いなどありましたら、指摘いただけると幸いです。 前回のqiita記事 プロダクションで2年間RedisClusterを運用してみて release notes 一部抜粋すると Note that 4.0 is probably one of the most extreme releases of Redis ever made in terms of changes inside the internals: all the aggregated data types no longer use Redis Objects structures but directly S
Benchmarking CNTK on Keras: is it Better at Deep Learning than TensorFlow? June 12, 2017 - Keras is a high-level open-source framework for deep learning, maintained by François Chollet, that abstracts the massive amounts of configuration and matrix algebra needed to build production-quality deep learning models. The Keras API abstracts a lower-level deep learning framework like Theano or Google’s
The 1st year anniversary of my first line of Rust code is coming up, and it’s getting for 5 years since I wrote my first line of Scala code. I thought it would be a good idea to summarise my Scala-tinted perspective of The Rust Experience TM, one year on. Rusty spiral staircase by Jano De Cesare This is not an objective language vs language comparison. I’ve written this post as part experience dum
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く