【いでよ障害対応太郎】我々はインシデントにどう向き合っているのか 〜社内向け障害対応リスト付き〜
「なんかアプリでインシデント起きてエンジニアがどこかで対応してるらしいよ」 「インシデント時のお知らせって誰がどうやって出すんだっけ？」 「インシデントの復旧作業って今どれくらい終わってる？」 「あのインシデントって振り返りしたっけ？」 「似たようなインシデント、前も対応したような、していないような」 このような会話に覚えはありませんか？ FiNC Technologies社 (以下FiNC) では今まで インシデント対応をしていても自チーム内で対処しようとしてしまい、他の人が気づけないインシデント対応の仕方にフォーマットがなく、迅速な対応やお客様への報告ができないインシデントの振り返りが実施されず、インシデント時の知見が共有されないという問題がありました。 それらの問題を 気が付きやすく、シェアしやすくする = 統一のチャンネルで情報を整理し、そこにシェアしやすい空気を作る何をすべきかわ
YouTubeの推薦アルゴリズムの変遷を追う〜深層学習から強化学習まで〜
はじめにこの記事は「eureka Advent Calendar 2019」24日目の記事です。 こんにちは、Data Analystの @pacocat です！ 私はeurekaには2019年11月に入社したばかりなのですが、毎日楽しく仕事させてもらっています。最近はプロダクト開発のための定性調査の仕組みづくりを手伝ったり、事業分析や組織開発をしていたりと、様々な定量・定性データを活用してどのように事業成長に貢献できるか考える日々です。 前職ではAI PdMとして、ゲームや強化学習領域でのAI活用を推進していました（興味ある方はGDC2019での発表や各種スライド slideshare / speakerdeck をご覧ください）。直近はがっつりAIに関わっているわけではありませんが、趣味で推薦×強化学習分野のサーベイをしていたら面白い話題がたくさんあったので、それらの中からYouTub
AllenNLPとAmazon SageMakerによる、機械学習の効率化
photo from Kurbelwelle機械学習におけるモデルの構築と学習は、近年より速く・簡単に・自動的にできるようになってきています。この技術的な進歩は、より多くの仮説 — 様々な研究アイデア、ビジネスデータへの適用 — の検証を可能にするという点で、重要です。本記事ではAllenNLPを使うことで速く・簡単に機械学習モデルの実装を行い、さらにAmazon SageMakerを使うことで自動的に学習を行う手法を紹介します。 記事の構成は、以下のようになっています。 AllenNLPによるモデル構築Amazon SageMakerによる学習の自動化AllenNLPによるモデル構築AllenNLPは、PyTorchをバックエンドとしたライブラリです。自然言語処理にかかわる機械学習モデルを、PyTorch(あるいはTensorFlow)でゼロから作るより簡単に構築することができます。簡単
Introducing FastBert — A simple Deep Learning library for BERT Models
BERT What?The little Sesame Street muppet has taken the world of Natural Language Processing by storm and the storm is picking up speed. We have seen a number of NLP problems solved by neural network architectures built on top of contextual representations of BERT. To name a few BERT based models have pushed the state of the art for SQUAD 2.0 question answering, GLUE multi task learning, Google na
Graph Convolutionを自然言語処理に応用する Part3
Graph Convolutionを自然言語処理に応用するための調査Part3となります。 Part3では理論/実装から少し離れ、グラフ構造を扱うタスクの種類について整理します。具体的には、タスクとそのタスクにおけるinputとoutput(prediction)を整理します。これにより、応用しようとしている問題(自然言語処理)をどんな「グラフ構造を扱うタスク」に変換できるのかを考えられるようにします。理論・実装編であるPart2についてはこちらをご参照ください。 グラフ構造を扱うタスクの種類グラフ構造を扱うタスクは、以下のように整理できます。 Structured deep models: Deep learning on graphs and beyond p12よりNode Classification: グラフのノードについて、そのクラスを分類するGraph Classificat
Word2Vecをより高精度で32倍軽量にする手法をPairsのデータで試しました
はじめに初めまして、こんにちは。BIチームの小林です。 日頃Fortniteやスプラトゥーンに精力的に打ち込んでいます。 弊社のBIチームでは、様々な数字の分析や機械学習を用いての提案を業務としています。 同様に機械学習を扱うAIチームという部隊もエウレカには存在していて、AIチームは、BIチームより機械学習主体の技術ドリブンで動いています。我々BIチームとAIチームでは、分野的に被る部分も多いため、共同で勉強会(定期的にarXivなどに上がっている最新の論文の輪読会)を行っています。 本記事では、前回の輪読会で私がチョイスしたword2bitsというword2vecを量子化して行列要素のサイズを減らす技術について書かれた論文( Maximilian Lam. Word2Bits — Quantized Word Vectors https://arxiv.org/abs/1803.056
Getting Text into Tensorflow with the Dataset API – Tal Perry – Medium
Deep learning has made NLP easier by providing us with algorithms that can operate on arbitrary sequences. While the algorithms are crystal clear and many implementations are widely available, getting your data into them is often opaque, tedious and frustrating. Often, its the part of the job that makes me feel like this: Getting Text Into a Deep learning frameworkThis post will discuss consuming
How I write Go HTTP services after seven years
UPDATE: You can watch a video of me giving this talk at Gophercon 2019:
”仕事で始める機械学習”の要点をまとめてみたらとても良い入門書だった
最近、販売された仕事で始める機械学習を買ったので、購入を考えられている方や機械学習を始めたいと思っている方に読んで、参考になればと思います。 この記事の目的と全体の流れただ読むのと、アウトプット（ブログに書く）前提で読むのとはインプットの質が違うということがわかったので、ブログに書きながら理解していく形を取ります。 全体の流れとしては、章の要約。あぁこの内容知ってるなって人は買わずに済むし、わからないこと多いという人は購入を検討して頂ければ。（出版関係者でもなければ、アフィリエイトなどの営利目的でもなく、いち消費者としての個人的意見になります。 ご了承ください。） 結論から言うと（書評）いままでのオライリーのデータサイエンス本だと英語から翻訳したのでわかりにくい日本語が非常にうっとうしいのですが、 この本は、日本の方が書かれており、日本語スムーズに理解できます。 また、非常に論理立てられて
ラベルなしデータの有効活用：深度の推定と画像の分類
8/9のarXivTimes輪講では、ラベルなしのデータを有効に活用した研究が紹介されました。今あるデータをどう活用するか、という点は実運用においても役立つテーマと思います。 Unsupervised monocular depth estimation with Left-Right Consistency こちらは一枚の写真から深度を推定する手法を、画像/深度(Depth map)のペアではなくステレオ画像から学習させようという試みです。深度の教師データを作成するのは面倒ですが、ステレオ画像なら簡単に集められます。これを有効に活用することを試みた研究です。 手法としては、Depth mapを直接推定するのではなくステレオ画像における視差(Disparity map)の推定を行っています(視差がわかれば深度も推定できるため)。左カメラ画像から視差を推定し、推定視差と元の画像を組み合わせた
Democratizing Data at Airbnb
Like many startups, the number of employees at Airbnb has grown significantly over the past several years. In parallel we have seen explosive growth in both the amount of data and the number of internal data resources: data tables, dashboards, reports, metrics definitions, etc. On one hand, the growth in data resources is healthy and reflects our heavy investment in data tooling to promote data-in
Applying deep learning to real-world problems
The rise of artificial intelligence in recent years is grounded in the success of deep learning. Three major drivers caused the breakthrough of (deep) neural networks: the availability of huge amounts of training data, powerful computational infrastructure, and advances in academia. Thereby deep learning systems start to outperform not only classical methods, but also human benchmarks in various t
Automated Machine Learning — A Paradigm Shift That Accelerates Data Scientist Productivity @ Airbnb
At Airbnb, we are always searching for ways to improve our data science workflow. A fair amount of our data science projects involve machine learning, and many parts of this workflow are repetitive. These repetitive tasks include, but are not limited to: Exploratory Data Analysis: Visualizing data before embarking on a modeling exercise is a crucial step in machine learning. Automating tasks such
ネットのアクセスピークが朝方にシフトした事実とその理由
新聞朝刊閲読率は 2010 年度 82.9％から今回 70.4％に低下、一方、インターネット ニュース閲覧率は 2010 年度 57.1％から今回 69.6％に上昇し、両者の差がほぼなくなった。 公益財団法人新聞通信調査会が24日に公開した「第９回2016年メディアに関する全国世論調査結果の概要（PDF）」にある上記のデータですが、これに関連して、もうひとつ重要な変化が起きていると感じています。 それはブログやニュースなどのネットメディアのアクセスピークが朝方にシフトしたという事実です。 翌朝のアクセス数が、前夜の130%を記録 2日間の時間別アクセス数これは2日で約3万PVを獲得したブログ記事のアクセス解析です。 このグラフを見れば、アクセス数のピークが、夜と比べてあきらかに朝へシフトしていることが確認できます。 また、お昼にも、もう一度ピークが訪れた結果、前日の「夜18時から10時間」
Machine Learning in a Year
Getting into machine learning (ml) can seem like an unachievable task from the outside. After this highly effective introduction, I continued learning on my spare time and almost exactly one year later I did my first ml project at work, which involved using various ml and natural language processing (nlp) techniques to qualify sales leads at Xeneta. This felt like a blessing: getting paid to do so
Elasticsearch 日本語形態素解析のための文字列正規化の重要性
日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう！ この記事は、Elasticsearch Advent Calendar 2014 の１８日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習工学研究会キックオフシンポジウムに登壇しました – Aki Ariga – Medium