はじめまして、河合俊典（ばんくし、@vaaaaanquish）と申します。 普段はヤフー株式会社にて、検索やレコメンド、異常検知などの機械学習システム関連業務に携わる、いわゆる「機械学習エンジニア」と呼ばれる仕事をしています。 私は、技術研鑽（けんさん）の傍ら、はてなブログやテックイベントなどで、自分が持っている技術やキャリアについて、たびたび発信しています。本記事では、技術やキャリアに対する私自身の考え方と、それらを発信する先に理想としている世界観を、皆さんに伝えることができればと思っています。 若輩者ではありますが、何卒よろしくお願いします。 ライフステージの変化に対応するため「今やる」人であり続ける ギリギリで対応するライフステージの変化 マネージメント職への転身も技術知識の収集が支える ギリギリでも乗り越えられるように技術を蓄える 基盤となる知識をさまざまな分野から何度でも学んで深

「AIに仕事が奪われる」という意見が目立つ昨今。テクノロジーを扱う側のエンジニアであっても、「仕様書通りに開発する」だけでは生き残れない時代に差し掛かっています。そこで本連載では、注目企業のCTOが考える「この先、エンジニアに求められるもの」を紹介。エンジニアが、未来を生き抜くヒントをお届けします！ 2018年10月11日、グノシー元CTOの松本勇気さんが合同会社DMM.comの新CTOに就任。同社のCEO、片桐孝憲さんからは初対面の印象を「宇宙人」と称され、「自分にもよく分からないような新しい未来の話をしてきた」「彼のようにエンジニアとして具体的にビジネスの話ができる人はなかなかいない」と言わしめた。 今後の活躍に大きな期待が寄せられる新CTOに、仕事をする上で貫くポリシーを聞いてみると、これからの時代に求められるエンジニア像が見えてきた。 合同会社DMM.com 執行役員　CTO 松本

皆さん、こんにちは機械学習エンジニアの @hurutoriya です。 2018/05/09 にメルカリが開催した Kaggle Competition である「Mercari Price Suggestion Challenge」の閉会式を行いました。 「Mercari Price Suggestion Challenge」では実際に米国版メルカリで販売された商品データを公開して、参加者の皆様に商品の値段推定精度を競い合っていただきました。 Mercari Kaggle Competition: Closing Ceremony 2018 – connpass この閉会式は「Mercari Price Suggestion Challenge」の上位者(ロシア・ポーランド・中国)と日本人上位入賞者を招待して、各種上位者の解法やKaggleに対する考え方をパネルディスカッション形式でお話を

データサイエンティストの定義は？必要スキルは？現役データエンジニア／アナリストと考えた結論 需要が高まるデータサイエンティストというロールですが、業務の定義や、必要スキルは一体どのようなものでしょうか。3名のデータエンジニア／アナリストに実践から得た答えを聞きました。 データエンジニアとデータアナリストの違い 分析と実装。データサイエンティストに求められる要件 数学の素養が重要。技術は仕事で身につけられる！ データエンジニア／アナリストが考える必要なスキルセット データアナリスト・データエンジニアにとっての「事業貢献」 「データサイエンティスト」という肩書を耳にすることが増えています。 データの蓄積はとどまるところを知らず、さらにビジネスにおけるデータの重要度が増し続ける現在、同職が同じく重要になっていることは想像に難くないでしょう。 反面、データサイエンティストが現場で何をしているかは、

10月上旬にRecSys'18というレコメンデーション分野の国際会議に初参加してきた。出張報告がてらに聴講した内容をまとめる。twitterに記録していたので文章はそこから起こした。時差ぼけもあり、全部は聞けていないので悪しからず。 レコメンデーション分野はNetflix、Spotify、Hulu、Pandora、Criteoなどインダストリでの研究が盛ん。実データを持ってたり、実際にビジネス適用しているので研究背景に説得力がある。 Industrial Sessionもそうだったけど推薦だと企業もエッジな研究していて良い..（critriaがどこも異なるのでやりやすい ）*1日本の推薦業界の人もこの辺まできて発表してほしい。 Netflixにおける取り組みなど企業の取り組みの方がアカデミアよりも進んでいるところもあった。日本からもGyao!(Yahoo!J)、U-next、Abema、リ

第3回 Cpaw AI Competitionで優勝してきました。 cpaw.connpass.com 前回も優勝したので連覇になります。嬉しいです。 Cpaw AI Competitionがどのようなものかは以下の記事に詳しく記載されています。 knowledge.sakura.ad.jp ざっくり概要を説明すると「短時間で複数のデータセットに対してソリューションを作成するKaggle」です。 データセットの数は毎回異なっているようで、前回は4つでしたが今回は3つでした。 それぞれのタスクは以下のとおりです。 自然言語 + テーブルデータのマルチクラス分類 画像のマルチクラス分類 ハイパースペクトル画像のマルチクラス分類 この記事では、今回行った事前準備と私のソリューションの概要について説明します。 自然言語 + テーブルデータのマルチクラス分類 観光地に関するデータセットで、観光地の説

一度は書いてみたかった、いわゆる退職エントリってやつです。 新卒から10年以上、勤めたNTT系列でシステム開発をしている会社を辞めました。 （以後、簡便のためにNTTと表記しますが、グループ全体のことではなく、弊社内のことを記載しています） というわけで、退職エントリを取り留めもない感じで書いていきたいと思います。 スポンサーリンク NTTのよかったところ 日本最強クラスの新入社員研修で新卒に優しい 当時を振り返るに、おそらく日本最強クラスの新入社員研修だったと思います。 まず、入社した瞬間から、全新入社員が自社保有の研修センターにぶち込まれ、2ヶ月間みっちり仕込まれます。 とはいえ、名刺の渡し方とか、議事録の書き方とか、ホウレンソウのやり方とかのビジネスマナー系の研修と、一応、IT系としてのプログラミング研修を1ヶ月ずつやるという基礎的な内容です。 この最初の2ヶ月は、サラリーマン人生で

経緯 サマーインターンで2ヶ月間，株式会社レトリバ様（以下敬称を略させていただきます）にお邪魔し，製品開発の職業体験をさせていただいたのでその記録です． retrieva.jp 想定する読者 来年以降インターン時期になるNLPer レトリバに興味がある人 レトリバの人 経緯 想定する読者 選考 インターンに参加しようと思ったきっかけ レトリバにしたきっかけ レトリバインターンについて少し詳しく インターンでやったこと Answer Finder （レトリバが提供する FAQ 検索システム）の改善 Answer Fidner の裏で回っているシステムのリファクタリング 業務以外の色々 歓迎会 昼食 ボドゲ会 社風 学び インターン仲間の参加記たち 選考 インターンに参加しようと思ったきっかけ 弊学ではインターン参加が修士の単位として認められています．毎年多くの M1 が夏休みに 2週間~2ヶ

当社の規定により満60歳で定年退職をした。長いようで短かった会社員生活も一区切りだ。自分のプログラマとしての会社員生活を振り返ってみる。無駄に長いし結論はないのでお忙しい人は飛ばして欲しい。 9月末なのでブログ界隈では退職エントリーがそこかしこに書かれると思うが、その中で自分の退職エントリーを連ねることにどれほどの意味があろうか。もちろんないのだが、それでも多くの書き手の年齢を考えると満60歳定年退職というところに若干の希少価値を見出せなくもない。 1984年に大学院修了して以来、プログラマとしてのキャリアを重ねてきた。大学時代の同期でプログラマとして就職したものは皆無だ。当時、工学部の同期はメーカーに就職するのがほとんどで、大手家電メーカー、自動車メーカー、電力会社などなど、当時の誰でも名前を知っている人気企業に就職するものが大半だった。 その中で、日本ディジタルイクイップメント（DEC

こんにちは。データ分析部アルバイトの北田 (shunk031) です。最近よく聞く曲は「高速に回転するGPUファン」の曲です。 8月27日から8月29日の期間で開催されたNLP若手の会 (YANS) @ 香川県高松市に、Gunosyから関、久保、北田の3名で参加してきました。 YANS2018 スポンサー・ポスター発表 Gunosyにおける自然言語処理・機械学習への取り組み ポスター発表 広告クリエイティブ自動生成に向けた単語レベルでの評価手法の検討 ポスター紹介 クリックベイトの基礎研究における既存データセットの検証 テキスト平易化における難易度の制御 五感に基づく言語表現における個人のバイアスとその補正 画像から抽出した複数種の特徴量を組み込んだニューラル機械翻訳の検討 スタイル変換のためのリファレンスなし
教師あり学習 番外編 うどん & デザート紹介 中西うどん 手打ち十段うどんバ

久しぶりに投稿します． 8/27(月)-8/29(水)に NLP若手の会(通称: YANS) 第13回シンポジウム(2018) に参加して来ました． いくつか気になったポスター発表のまとめを以下に掲載します． yans.anlp.jp Embeddingの圧縮アツい！

昔々あるところに分析からの示唆出しが趣味のおじいさんと特徴量生成が得意なおばあさんがいました。 おじいさんはオンプレサーバーへ定時確認に、おばあさんはクラウドサーバーへ重要指標のモニタリングに行くと、フルマネージドなデータベースから外れ値の桃群が現れました。 「こんな桃群は見たことがない。gzip圧縮してローカルで中身を見てみよう」 持ち帰った桃群をローカルで解凍してみると、中からメモリに乗り切らないサイズの赤ん坊が出てきました。 赤ん坊はExcelで開けなかったので、おじいさんとおばあさんはBig Queryで分析しました。 二人はこの赤ん坊を 「桃.gzから生まれたので桃太郎と名付けるのが妥当だろう。」 と考えて桃太郎と名付けました。 桃太郎はPRML片手にPythonでプログラミングをしながらすくすく育ち、立派なデータサイエンティストになりました。 成長がサチった桃太郎はある日おじい

MicrosoftとPreferred Networksが生んだ、日本で最も勢いがあるディープラーニングコミュニティであるDEEP LEARNING LAB主催のDLLAB DAY 2018 ハッカソンに参加してきました。 dllab.ai ハッカソンの内容 Computer Visionのコースと、Natural Language Processingのコースがありましたが、自分はCVの方に参加しました。 与えられたデータセットを用いて、9種類のクラスに分けられる約1万5千枚のポテトチップスの写真を自動で判別できるようなモデルを構築することが課題でした。 画像のサンプルはこんな感じです。 個人的にはのりしおがなかったのが残念笑 学んだ内容 自分が今回のハッカソンを通じて特に学んだ内容は、 1. Dockerはどこでも誰でも同じ環境が作れて便利 2. まだまだデータの読み込みの練習が必要

こんにちは、データ分析部研究開発チームの関です。 2018年6月5日〜6月8日に開催された2018年度人工知能学会全国大会にGunosyから大曽根、米田、山田、関の4名で参加しました。 当社はゴールドスポンサーとして協賛させていただき、主著発表1件, 共著発表1件, インダストリアルセッションでの発表1件, ランチョンセミナーの開催, スポンサー展示を行いました。 今年度の会場は鹿児島県鹿児島市の城山ホテルというところです。 駅からバスやタクシーで15分ぐらい、山の上にあるホテルでした。 晴れていれば桜島がきれいに見えるらしいのですが、残念ながら期間中は天気に恵まれませんでした。 昨年が名古屋という大都市での開催だったのに対して地方での開催ということで、参加人数は減る見込みだったそうなのですが、 約2,500人と過去最高を記録したそうです。人工知能という技術領域に対する社会的関心がますます

スマホのアプリのように、ビジネス資料においても「シンプルで分かりやすく」デザインするニーズは高まっていると感じる。そこで、パワーポイント用のデザインテンプレートを多数提供しているサイトを紹介したい。 これは、Enavatotuts+というコーディングやデザインのTipsがまとめられたサイトの中の記事で、パワーポイントの様々なテーマのテンプレートが「圧倒されるほど」たくさん紹介されている。 以下このまとめページから良さそうなものをピックアップしてみる。 この記事ではデザインファームなどで使われそうな、クールなデザインの優れたテンプレートが17+個紹介されている。 次はビジネス向けのテンプレートが15個。スタートアップが投資家向けの資料に使うようなシンプルかつポイントを押さえ、デザイン性に優れたテンプレートが並ぶ。 これはインフォグラフィックスのテンプレートが12個。ビジュアルと数字がセットに

はじめに こんにちは、広告技術部アルバイトの徐（ @joha__rb ）です。普段の業務では、広告配信の管理画面システムの開発をしております。 さて、皆さん普段お仕事をされる上で「KPI」という単語を使われたことはありますか？　KPIとはKey Performance Indicatorの略語であり、日本語訳すると重要業績評価指標。一般的に、企業や組織での目標の達成度を評価するための指標を意味します。達成度が一目でわかるようにKPIは数値で設定され、組織の誰でもその数値をみれば自分達の進捗がわかるようになっています。 Gunosyでは「数値は神より正しい」をモットーに、日々KPIの数値を追っています。今回は中でも、Gunosy広告技術部でのKPIの利用方法をご紹介しよう思います。 はじめに Gunosy広告技術部のKPI 広告技術部とは 広告技術部のKPI 広告の入札形式ごとにSalesを

ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize

皆さんこんにちは、@tereka114です。 画像処理の分野の方はお馴染みかと思いますが、画像処理では、Convolutional Neural Network（CNN）をよく利用されています。 このニューラルネットワークのアーキテクチャは画像処理の分野で非常に大きな成果をあげており、近年ではより、様々な分野に使われています。 例えば、CNNは音声や自然言語処理の分野でも時々、登場し、応用されています。 私自身が今まで興味があったのもあり、CNNを使った自然言語処理の論文を調べてみました！ 少し長くなったので、前後編に分割してご紹介します。 今回はCNNを使った文書分類について記載します。 Convolutional Neural Network Convolutional Neural Network(CNN)は画像処理でよく使われるニューラルネットワークのモデルです。 （http://

DeepLearningのモデル軽量化の気になっていたライブラリを使ってみました。今回はざっくりと導入の仕方と簡単な使い方、ライブラリの仕組みなどを調べた内容を書きたいと思います。はじめて使う人のガイドになればと思います。 IntelのNeural Network Distiller。pruningや8-bit quantizationなど軽量化アルゴリズムのフレームワーク。PyTorchのモデルを軽量化してONNX出力。TensorBoardと連携したモニタリングもできて使い勝手良さそう。https://t.co/5qm2IoUuuA— tkato (@_tkato_) 2018年5月1日 Distillerとは PyTorch向けのモデル圧縮ライブラリです。以下のような特徴があります。 数種類の枝刈り(pruning), 量子化(quantization), 正則化(regulariz