サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
アメリカ大統領選
adtech.cyberagent.io
自然言語処理＆バックエンドエンジニアをしている澤井 (github: @tuxedocat) です。普段は、広告表示におけるブランド毀損リスク低減のためのサービス “Adveri.jp” を開発しています。また趣味として、自然言語処理エンジニア有志での論文読み会や雑談会もやっています。 本稿では、NLP若手の会 (YANS) 第14回シンポジウム (2019)の参加報告として、招待講演や個人的に注目した萌芽的研究の概観を中心に、自然言語処理の過去と現在、そしてこれからについての所感を書きます。また、企業に属する研究者・エンジニアとしてYANSを応援したい理由を、僭越ながら贈呈させていただいたスポンサー賞の詳細と併せてお伝えできればと思います。 内容は以下のような感じです: YANS2019の招待講演や発表内容からみる、自然言語処理のこれまでとこれから 個人的に興味を惹かれた萌芽的研究 企業
AI Labの阿部 (@bakanaouji) です． 今年の7月に，6人プレイヤのポーカーのAIであるPluribus[1]が発表され，多人数不完全情報ゲームが着々と攻略されつつあるということを印象づけました． 今回は，不完全情報ゲームで戦略を計算するために使われるアルゴリズムであるCounterfactual Regret Minimization (CFR) [2]を花札「こいこい」に適用することで，このゲームにおけるAIを作成してみたいと思います． Counterfactual Regret Minimization CFRは，ナッシュ均衡戦略を効率的に計算するためのアルゴリズムで，二人零和不完全情報ゲームにおいてナッシュ均衡戦略を計算できることが保証されています．1 CFRは複数回のiterationを繰り返すアルゴリズムで，各iterationごとに「この行動を取ったほうが良か
新規プロダクトでKubernetesを中心にCloudNativeなアーキテクチャのインフラを導入した話 Tech Blog 2019.08.26 はじめに アドテク本部Airtrackチームの横山（@nnao45）です。 チーム内ではScala書いたり〜K8Sと遊んだり〜AWSったり〜しています。 この度Airtrackチームの新規プロダクトでKubernetesを採用し、本番環境に投入したのでその知見を共有させた頂きます。 おしながき 目指したアーキテクチャ Kubernetes周り ミドルウェア CI/CD 監視 感想 目指したアーキテクチャ 妥協はしないが身の丈にあったコンテナプラットフォーム って感じですかね。 Kubernetes周り サービスレイヤひとまわり Airtrackチームで広告系完全新規プロジェクトの立ち上げに Kubernetes中心にクラウドネイティブなアーキテ
はじめに 形状のわからない関数(ブラックボックス関数)の最大値あるいは最小値を求める手法として、ベイズ最適化が広く利用されています。機械学習モデルのハイパーパラメーター最適化を中心に活用が進んでいますが、入力とそれに対する評価値さえ設計できればあらゆる問題に適用できます。 例えばFacebookでは、MLモデルのチューニングはもちろん、映像コーデックのエンコードパラメーター 1、AR/VRハードウェア設計、HHVM JITコンパイラのパラメーターチューニングにベイズ最適化を適用するため BoTorch や Axの開発を進めています (F8 2019の発表 Product Optimization with Adaptive Experimentation を参照)。 弊社では多くのサーバーシステムでGo言語が採用されていますが、サーバーのgoroutine数やキャッシュシステムのメモリーバ
はじめに 6月中旬からAI LabのAD Econチームでインターンをしている齋藤 (@moshumoshu1205)です. 普段はこちらのブログで記事を書いたりしています. 唐突ですが, 広告や教育, そして医療に至るまである介入が個々の被介入者に対して有する因果効果(個別的因果効果: Individual Treatment Effect)を予測できると嬉しいことがたくさんあります. 例えば, 本当に効果がある人を事前に特定してその人たちにのみ広告を打てるとしたら, 広告配信の費用対効果を改善できます. さらに, 望ましい治癒効果の望まれる人にのみ投薬や治療を施すことができたら, 治療効果の最大化が期待できるでしょう. これらの例にとどまらず多くの分野で, 介入の適切な個別化はKPIの改善に寄与すると考えられるためここ数年で盛んに研究されています. 本記事では, それらの研究の一つであ
AI Hub から Kubeflow Fairing を使ってタイタニック生存予測サービスを立ててみる @ Google Cloud Next’19参加レポ PR Blog 2019.04.24 アドベリフィケーション事業の井上です。 サンフランシスコで開催された Google Cloud Next’19 に参加してきました。 今回はなんと122以上にのぼる発表がありました。 Google CloudのChief Marketing OfficerであるAlison Wagonfeld氏 が 公式ブログにまとめてくださっています。 原文: News to build on: 122+ announcements from Google Cloud Next ‘19 日本語訳: Google Cloud Next ’19 で行った 122 の発表 新機能の概要はこちらの公式ブログをご覧になっ
AI Lab で主に NLP を担当している張です。 突然ですが、まだ Jupyter Notebook で消耗していませんか？ 2011 年に IPython Notebook (現 Jupyter Notebook) の登場1によって研究やデータサイエンスの環境は一変しました。 それまではソースコードの実行やグラフの出力、メモやノートなどをすべて別々に取っておく必要があったものが、このツールによって一箇所にまとめて表示できるようになり、管理や閲覧が一元化され圧倒的に便利になりました。IPython Notebook の登場は研究者やデータ分析する人に革命的な効率改善をもたらしたのです。まさに働き方改革です。 2019 年現在、初登場から約 8 年もの年月が過ぎました。この 8 年の間に Python のバージョンは 3.2 から 3.7 にあがり、GPU は GTX 500 番台から
AILabの森脇です。永田町から渋谷に職場を移してから１年半以上経ちました。すっかりテック企業に染まりGDPの公表日すら気にしなくなってしまいましたが、最近、そんな私の耳にも届くほど、公的統計を巡る議論は激しさを増しています。 会社が従業員に支払う給与などについて調査している毎月勤労統計という統計に不備が発見され、予算の閣議決定のやり直しなど、多方面に影響が出ているのです。 詳細は厚生労働省のリリースや、経過を究明した報告書をご覧いただければと思いますが、要は調査票（アンケート用紙みたいなイメージ）の収集方法とその後の処理に一貫性がなく、出来上がった数字にバイアスがかかっていたということです。 厚生労働省については、昨年３月に裁量労働制に関する調査データを撤回したこともあり、政府統計への信頼性について批判が相次いでいます。1ほかの省庁でも統計のミスが相次いでいることから公的統計一般の信頼性
こんにちは、経済学チームの安井（@housecat442）です。 先日開催されたAAAI 2019に参加・発表してきましたので、気になった研究や発表した論文の内容について簡単に記事を書かせていただきます。 そもそも今回はじめてAAAIへ参加させていただいたのですが、経済学徒にもおなじみのゲーム理論の存在感に非常に驚かされました。内容に関しても非常に面白く、因果推論や計量経済学だけでなくゲーム理論においてもComputer ScienceとEconomicsの交差点があったのかと深く感心させられました。これに関しては一緒に参加した後輩の金子くんが別途ブログ記事を投稿する予定なので、しばしお待ちいただいてそちらを参照していただければと思います。 実はAAAIは因果関係を考える様な学習モデルが以前から発表されてきました。中でも操作変数法をオンライン学習の設定に持ち込んだ研究は非常に面白く、自分の
渋谷中の Web 企業を巻き込んだ Design Scramble が 11 月 24 日（土）に開催されましたが、参加された方はいらっしゃいますか？なんだそれは、という方のために軽くご紹介をしますと、Design Scramble は「渋谷を舞台に、クリエイターと企業が業界を超えて交差する」というモットーの元に開催された、渋谷を舞台としたクリエイター・デザイナーのためのデザインフェスティバルです。お祭りで各企業が屋台を出店し、デザイン力やエンジニアリング力を集結させた催し物をする、といえば伝わりやすいでしょうか。 イベント全体で 1000 人を超える来場者数の中、弊社も例に漏れず、渋谷に拠点をおくいち企業として参加させていただきました。出し物は CONNECTED by AWA P[AR]TY という名前の「AR×自然言語処理」をテーマとしたインスタレーション作品になっております。具体的
論文紹介：The Selective Labels Problem: Evaluating Algorithmic Predictions in the Presence of Unobservables By yasui 因果推論 機械学習 論文紹介 今回はちょっと変わった機械学習の評価方法を提案している論文の紹介です。 The Selective Labels Problem: Evaluating Algorithmic Predictions in the Presence of Unobservablesという論文で、2017年のKDDにて発表された物です。 人間の意思決定の結果を元のデータとして機械学習でより良い意思決定を行いたい場合に直面する問題を定義し、その中でより適正な評価方法を提案しているといった内容です。 AILabで行なっている論文読み会で発表した際の資料も参照して
AILabの森脇です。 6月18〜22日にコーネル大学（ニューヨーク州イサカ）で開催された、経済学とコンピュータサイエンスの学際研究に関するEC’18というカンファレンスに参加してきました。 このECというタイトルは、1999年の初回から2013年までは電子商取引（E-Commerce）、2014年以降は経済学と計算（Economics and Compuation）の略とされています。もともとACMの電子商取引分野のグループ（SIGecom）が開催していたことから自然とE-Commerceのカンファレンスとしていたところ、SIGecomが公表しているように、経済学と計算機科学の学際的な研究を呼び込むことを目的として名称変更を行ったようです。名前は変わったものの初回から最新の2018年まで、一貫してオークションやメカニズムデザインの理論、インターネットを通した経済活動に焦点を当てた論文が多
こんにちはアドテクスタジオのエンジニアマネジメント系ゼミの１つ、re:Workゼミでゼミ長をやっている三浦です。 先日行われた「開発責任者ハンドブック配布会&Engineering Management Meetup」に続き、 Management3.0の研修を開催してきました。 開発責任者ハンドブック配布会&Engineering Management Meetupの様子は こちら からご覧いただけます。 マネジメントの話をTechブログに？と思う方もいるかもしれませんが、「マネジメントも技術」と尊敬する先輩が言ってましたので、堂々とアウトプットしてみようと思います。 re:Workゼミってなに？ re:Workゼミは「働く」ということに関わる色々なことを研究するゼミです。 かなり広い範囲を研究対象としており、これまでには「採用」「ピープルアナリティクス」「マネージャー」「チーム」「偏見
この1-2年でアドテクスタジオでもMulti-Arm-BanditやContextual-Banditといった単語がプロダクトとのMTGの中で飛び交うようになり、社内における応用例も徐々に増えてきました。 Banditそれ自体も非常に面白いのですが、個人的には「それをどの様に評価・比較するのか？」という問題が非常に面白いと考えています。 その大きな理由の一つは評価に因果推論の発想を用いる必要性が生じている事にあります。 今回は、Contextual-Banditの様なPolicyの評価方法について簡単なイントロを行えればと思います。 1. セットアップ 広告の画像をContextual-Banditで選択している様な状況を考えます。 すでに何らかの広告を見せる事が決まっているリクエスト(i)が来るたびに、そのリクエストを発生させたユーザーのcontext(X)が手に入り、それを元に報酬(r
みなさんこんにちは！ 6月からAI Labに異動してきた野村（@nmasahiro_）と申します． 先月まではSparkで集計基盤を作ったりといったデータエンジニアリング業務に従事していましたが，現在は数理最適化の研究を行っています． 今回は機械学習手法のハイパーパラメータ最適化によく利用されているベイズ最適化について勉強してみたので，自分なりの理解をまとめておこうと思います． まだ勉強中の身ですので，もし気になる点などあればご指摘いただけると嬉しいです！ はじめに Black-box関数最適化問題というのは，目的関数の代数的な表現，つまり，数式自体が与えられず，解に対する目的関数値のみを利用することができる問題です． 機械学習手法のハイパーパラメータ最適化などがBlack-box関数最適化問題の枠組みに属します．例としてDeep Learningのハイパーパラメータ最適化問題を考えた場合
こんにちは。アドテクスタジオの和田です。 現在私の所属しているチームではBigQueryでアクセスログ分析を行っているのですが、コスト問題、アドホックなクエリを実行したい、大量join時の待ち時間など運用上の課題を幾つか抱えていました。 そこで代替手段を探していたのですが、Druidというデータストアがあることを知ったので課題をDruidで解決できないか検証してみました。 Druidとは OLAP向けのデータストアです。データソースとしてS3, GCSのようなFileベースのデータに加えてkafkaなどのstreamingデータも扱うことができます。 http://druid.io Druidのアーキテクチャ Druidは以下のコンポーネントで構成されます。 Coordinator Node セグメント管理ノード セグメントはHistoricalノード上で管理されているが、古いセグメントの
みなさんこんにちは。 アドテク本部の makocchi です。 kubernetes で使われている container の runtime にはみなさん何をお使いでしょうか？ ほぼ全ての人が docker と答えると思います。実際 Google Kubernetes Engine(GKE) も runtime には docker が使われています。(2018年01月現在) しかし kubernetes はこの container の runtime を自由に選択することができます。 kubernetes と container runtime の間は CRI(Container Runtime Interface) を通して行われます。 つまり CRI に対応している runtime であれば何でも良いということになります。 CRI に対応している代表的な runtime には dock
こんにちは、アドテクスタジオでセキュリティエンジニアをしている岡崎です。 皆様、年末年始はゆっくりできましたでしょうか。私は年始に公開された「Meltdown and Spectre」のお陰で年始早々、情報整理に追われてました。 今回は、先日「Meltdown and Spectre」の脆弱性のこともあり、脆弱性情報の見方と脆弱性情報API活用について、書かせていただきます。 １，脆弱性情報の見方 エンジニアの方であれば、脆弱性情報を確認する中でCVEやCVSSなどを目にすることが多いと思います。それぞれどのような意味を持ち、どのように見るのかを知っておきましょう。 先日あった「Meltdown and Spectre」を例に見ていきましょう。 https://meltdownattack.com/ https://spectreattack.com/ まず、このような脆弱性情報が公開され
こんにちは、アドテク本部でインフラエンジニアをしております山下といいます。 去年の話にはなりますが、2017年8月末、待ちに待っていた Kinesis Firehose が東京リージョンでも利用可能になりました。 利用可能になってすぐFirehoseの導入を行い現在運用している状態なので、溜まったノウハウを書いていきたいと思います。 Kinesis Firehoseとは これまでAWS東京リージョンでKinesisと言えば、唯一利用できていたサービスは Kinesis Stream でした。 Streamに対してデータを流し、別途ワーカーを用意してデータをStreamから出してデータを加工したり Redshiftに投入したり、そのままs3にputすることで保存を行うといった使い方をされていたかと思います。 8月に利用が可能になったKinesis Firehose は Delivery St
2018.4.13 輪読 Tweet 関連記事
みなさんこんにちは。 アドテク本部の makocchi です。 この記事は Kubernetes Advent Calendar 2 の 5日目の記事になります。 Kubernetes には addon の機能がいくつかありますが、その中でも今日は node-problem-detector について紹介したいと思います。 node-problem-detector とは Kubernetes の node 側では kubelet を動かすことになると思いますが node の状態をある程度 monitor してくれます。 $ kubectl get node node-name -o json | jq .status.conditions [ { "lastHeartbeatTime": "2017-11-24T13:14:05Z", "lastTransitionTime": "201
こんにちは。 アドテク本部の makocchi です。 この記事は Kubernetes Advent Calendar 2日目の記事になります。 先日の弊社青山の記事にもある通り、先を越されてしまったのですが・・・ Certified Kubernetes Administrator (CKA) の試験を受けまして、無事に合格することができました。 試験の結果はこちらの verify ページから確認することができます。自分の ID は CKA-1700-0150-0100 です。 試験の概要は先日の青山の記事に書かれていますので、ここでは詳しくは触れないのですが 試験を受けるにあたって自分なりに準備・勉強したポイントを書いておこうと思います。 自分なりの情報のインデックスを作成しておく 今回の CKA ですが、問題範囲が非常に広いです。(というか Kubernetes 自体が多機能ですの
2017.12.1 [Kubernetes] オンプレでも GKE Like な Ingress を使うために 自作 Ingress Controller を実装してみた こんにちは。 CIA の青山 真也です。 この記事は Kubernetes Advent Calendar １日目の記事になります。 ちなみに CyberAgent Advent Calndar １日目の記事も「GKE 互換のオンプレコンテナ基盤 AKE (Adtech Container Engine) 誕生秘話とアーキテクチャ完全公開！」というテーマで書いており、まるで夏休み最終日の気分です。 弊社のオンプレコンテナ基盤 AKE の話を詳細にまとめてありますので、こちらも是非お読み下さい。 今回は、SSL 終端や L7 パスベースルーティング及び L7 ロードバランシングを行ってくれる Ingress リソースの話を
みなさんこんにちは。 アドテク本部の makocchi です。 先日さくらインターネット様と合同で勉強会を開催させて頂きました。 今回の勉強会のテーマを決めるにあたり、双方で検討した結果、最近のトレンドでもあるコンテナについてが良いだろうということで コンテナまわりの話題についての勉強会となりました。 メインの発表の後に懇親会兼 LT 大会も開催され、夜遅い時間になったにもかかわらず最後までお客様が多くて大変盛況でした！ それではさっそく発表の振り返りを(makocchi が勝手に)していきましょう。 「Tectonic関連の発表（仮）」 最初に登壇して頂いたのはさくらインターネットの前佛様です。 CoreOS が開発している Tectonic について発表して頂きました。 実際に構築する際のハマリポイントや内部の構成について網羅されていたので、とても興味深い内容でした。 あまり Tect
はじめに こんにちは、アドテクスタジオでセキュリティエンジニアをしている岡崎です。 前回は、「Google ChromeにおけるSymantec系サーバ証明書の扱いについて」書かせていただきました。 今回は、「アジャイル診断と自動脆弱性診断ツールの活用（OWASP ZAP編）」について、紹介させていただきます。 近年、東京オリンピックも近いことから日本のシステムは多くのサイバー攻撃を受けてます。このようなサイバー攻撃からアドテクスタジオのシステムを守る手段として、以前から脆弱性診断を取り入れてます。最近では脆弱性診断も内部に脆弱性診断チームを持ち、内製化をしました。その為、さらに脆弱性診断が受診しやすくなりました。 とはいえ、脆弱性診断を行う際は、プロダクト（開発側）に以下のようなヒアリングや診断中の対応に貴重な時間を割いてもらわなければなりません。 [ヒアリング例] ・脆弱性診断対象があ
2017.11.7 IMG_1704 Tweet 関連記事
この記事はCyberAgent エンジニア Advent Calendar 2015の14日目の記事です。 昨日は13卒の鈴木さんのブログでした、明日は同期のchoheyさんです。 はじめに こんにちは、サイバーエージェントアドテクスタジオ15新卒のフィ（@dxhuy)と申します。 アドテク新卒の中で「YYY初心者の新卒がXXXでYYYを勉強してみた」というタイトルが流行っていますので、パクらせていただきました。 ネットワーク初心者の新卒がDockerでネットワークの勉強をしてみた Scala初心者の新卒が頑張ってLispを作ってみた 現在RightSegmentという子会社でData Management Platform (DMP)を作っています。データの会社なのでHadoopのバッチの開発とか、フロントサーバでJavaの開発などをしています。 GCメモリについて 会社に入る前にはスク
こんにちは。アドテクスタジオでセキュリティエンジニアをしている岡崎です。 前回は、「AWS Management ConsoleへのSSO」について、紹介させていただきました。 今回は、「アドテクスタジオのAWSにおけるセキュリティグループの整理の仕方」と「Scout2を使った可視化」をしてみたことについて、紹介させていただきます。 今まで、ネットワークのセキュリティ設定「ファイアウォール」などはネットワークエンジニアが行っていました。しかし、AWSなどのパブリッククラウドを利用し始めてからは開発エンジニアがファイアウォール（AWSのセキュリティグループ）設定をする機会が増えており、今までファイアウォールの設定を経験をしていない開発エンジニアとっては設定に困ると思います。 そんな中、見様見真似でセキュリティグループの設定をすると、、、あとあと、 「あれ、これはなんの設定？」 「このソースI
こんにちは。 CIA の青山真也です。 今回は先日実装された Datadog によるコンテナのライブモニタリングを Kubernetes 上で実行する際のお話をさせて頂ければと思います。 百聞は一見にしかず。ということで、まずはライブコンテナモニタリングを確認してみましょう。 コンテナ毎に2秒周期でメトリクスが更新され、リソースの状況が非常に分かりやすくなっています。 コンテナに対する絞り込みは、Deployment に紐づく Pod、Service に紐づく Pod 、Namespace や Image など様々な条件でフィルタリングすることが可能です。 Docker からのメトリクスの取得 Kubernetes クラスタ上で Datadog を使ってメトリクスを取る話をする前に、単体の Docker の場合のお話をします。 Datadog でコンテナモニタリングを行なうには下記の 2
次のページ
このページを最初にブックマークしてみませんか？
『AI tech studio | AI事業本部は、サイバーエージェントグループのデジタルマーケテ...』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
