ディープラーニングおじさん 私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。 なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。 ディープラーニングおじさんの華麗なる軌跡 自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。 自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw

インフラって初学者にとってかなりブラックボックスですよね。 インフラ構成なんて会社の業態やサービス形態によって様々なので、初心者にとってどれが重要なのかわかりにくい（そもそもあんまり公開されてないし）。また、調べてみても各サービスの個別的な情報ばかりで、なかなか社内インフラの設計思想のような体系的な情報はでてきません。なにより、何から理解すればいいのかわからないので地道に勉強するのがめんどくさい！ そこで、先日Microsoft社で行われたハックフェストに参加し、マンツーマンでインフラ構成について教えていただきました！ ハックフェストで教わったことを踏まえ、Aidemyのインフラ構成を例に、重視しているポイントや、用いているサービス・ツールについて、インフラに触れた経験のない人でもわかるように解説していきたいと思います。 Microsoftオフィスでのハックフェストの様子 Aidemyのイ

こんにちは、とよし(@toyoshi)です。今日のミートアップで聞いていただいた質問を紹介します。 midland.doorkeeper.jp 「システムを作りたいのですがエンジニアはどうやって採用しますか？」 エンジニアを採用する方法はいくつもあります。しかし今回はデジタルコンテンツの販売事業を0から立ち上げるという話だったので 「そもそもそのシステム（製品）って作る必要あるの？」 という質問を逆にしました。 事業を作るとなると多くの人（特にエンジニア）はまず製品を作ろうとします。製品を作ってから売り始めようという考え方です。しかし、これは簡単にプロトタイピングや宣伝ができなかったころの古いやり方です。 では、何からやるべきなのでしょうか。 まずは課題仮説を検証しよう 起業家は課題に関する仮説と、製品に関する仮説を持っています。これは思い込みとも言います。これらを別々に考えて、個別に検証

こんにちは、エンジニアリングGの中村です。 以前にこのブログにてエムスリーでの社内研修について紹介しました。今回は、この中でのbashスクリプティング講座の資料を公開します。 www.m3tech.blog 弊社の中でもいろいろな用途でbashが使われていますが、bashは簡単に利用できるもののプログラミング言語としてはバグを生みやすい、辛い言語だと思います。 ここで紹介しているのはいわゆるコーディング規則というよりも、バグ防止と可読性向上のためのルールをTips集的にまとめたものです。 bashにおいてまだまだ注意するところはありそうですが、多少なりともわかりにくいスクリプトの削減になればと期待しています。 [追記: 2018-08-22] はてブにて以下のコメントをいただきました。 bashスクリプティング研修の資料を公開します - エムスリーテックブログ bashで50行以上になった

今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ

文章の校正チェックを自動で行うVisual Studio Codeの拡張機能「テキスト校正くん」を弊社からリリースしました。無料で利用できます。 テキスト校正くん – Visual Studio Marketplace 短い文章であれば目視でもチェックできますが、長文になるとチェックに時間がかかり見落としも多くなってしまいます。また、いくら内容のいい文章を書いても誤字や脱字が多く体裁が整っていないと、印象が悪く読みづらい文章になってしまいます。 そんなとき、「テキスト校正くん」を利用することで、文章チェックの手間を軽減でき、文章の品質を高めることができます。 ▲VS Codeの拡張機能「テキスト校正くん」 「テキスト校正くん」でできること この拡張機能は、VS CodeでテキストファイルやMarkdownファイル等の日本語の文章をチェックします。編集時に自動で校正のチェックを行い、エディタ

はじめに ITP（Inteligent Tracking Prevention）はブラウザ（Safari）上のユーザ行動の追跡を抑止する機能で、2017年に発表された最初のバージョンであるITP1.0は広告業界を震撼させました。 そして、2018年6月4日に新しいバージョンであるITP2.0が発表されました。ITP2.0ではさらに厳しいユーザ行動の追跡抑止機能が追加されています。 ITP2.0の主な機能として、 トラッカー（ユーザ行動の追跡者）により付与された3rd Party Cookieの即時的な排除 Storage Access APIを利用したCookieの管理 ファーストパーティバウンストラッカーに対する保護 リファラヘッダからドメイン以外部分の排除 があります。*1 今回はこれらの機能について、トラッキング環境を擬似的に構築し、動作検証を行なっていきます。 検証環境 macOS

始めに 先進サービス開発事業部の山岡です。 GAEにはローカルでクラウドの環境をそこそこ再現できるSDKが用意されており、疑似的にDB(Datastore)等が再現され動作確認を行うことができます。実環境へのアップには1,2分はかかり、ちょくちょくアップしながら動作確認をしているとそれだけで結構な時間が費やされてしまうため、手元で迅速に確認できるのはとてもありがたいのです。 単体テストも同様に疑似的なDBと連携しながら行うことができるので、わざわざ自分でDockerで用意したりする必要はありません（Datastoreの場合はそもそもマネージドサービス）。 しかし純正品（ "google.golang.org/appengine/aetest" パッケージ）の動作は方々で言われているように極めて緩慢であり、手元の環境で頻繁に単体試験を行うような事は実質的に不可能と言ってよいと思います。 これ

こんにちは、技術部モバイル基盤グループの茂呂(@slightair)です。 先日のiOSDCは大盛況でしたね。とても楽しく、実りあるカンファレンスでした。この記事で僕は ididblog! ということにしようと思っています 😋 クックパッドからは @giginet と僕の二人が登壇しました。発表を聞きに来ていただいた方はありがとうございました。 @giginet の 詳解Fastfile という発表中でさらっと話された、”毎週自動的にリリースされる”という言葉が気になった方はいるのではないでしょうか。実はこのリリースフローについての話もプロポーザルに出していたのです(もっともっと細かくリリースをしてユーザーに最速で価値を届けるためのリリースフロー)。 この記事ではこのリリースフローについての話をしたいと思います。 クックパッドアプリの開発体制 クックパッドアプリの開発体制は人数の変動はあ

広告経由でインストールしたiOSアプリによって、高額課金が自動継続する契約をされ、多額のお金が請求される被害が急増しています。 ただ、メディアではほとんど取り上げられていません。 iOSアプリの自動継続課金のこれまで 以前よりAppStoreには継続的な課金の仕組みは有りましたが、一部のアプリ（雑誌など）にしか認められていませんでした。 2016年6月にその条件が緩和され一般のアプリでもある程度の条件をみたせば自動継続課金が可能になりました。(#1) 2017年半ばから海外ではこれを悪用して高額な課金を行うアプリが発生し、問題となりました。(#2) 日本でも2017年末頃から高額課金アプリの問題が発生しましたが国内では話題にならず、280blocker.netのblogで記事にしました。（#3,#4) 2018年途中からはAppStoreでの継続課金に無料トライアル期間が設定できるようにな

生配信管理システムのバックエンド〜AWS AppSyncで迅速に構築するGraphQLサービス〜 / Backend of live streaming management system - GraphQL service to build quickly with AWS AppSync

各種ブラウザーで使われる「クッキー（cookie）」は今、デジタルマーケティングの遺物の山に投げ捨てられようとしているのだろうか？　クッキーの役割や有用性は、デジタルIDやモバイルIDによって変わってしまったのか？ 「既にある程度、起きていることだ」。ネバダ大学リノ校のデービッド・クロウズデル教授（起業学）はこう語る。 「モバイルIDを使用すれば、クラウド上でのデータ保存の促進を通じて消費者行動をより大規模な形で活用できる。はるかに多くのデータを保存・処理できるのだ」 「クラウド上にデータを保存することで、リアルタイム位置情報に基づいたサービスや、サービスとしての分析（AaaS）を使ったビジネスインテリジェンス向けに、よりダイナミックなデータトラッキングが実現できる」 しかし、今すぐクッキーに死亡宣告が下る訳ではないようだ。 「インターネットやWWWの技術的構造を考えれば、クッキーは今後も

もうずいぶん前のことになる。 あるIT業の業務改善プロジェクトに、私はいちメンバーとして参加した。 その会社のプロジェクトメンバーは全部で8名。期間は約9ヶ月だった。 経営陣肝いりの、それなりに大きいプロジェクトである。 そのため、プロジェクトマネジャーは、掛け値なしに優秀であった。 指示は的確で、果敢に新しいことにチャレンジするが、無用なリスクは取らず、守りが堅い。 メンバーとの関係も付かず離れずとバランスが良く、理想的な人物だった。 だが経験的に、プロジェクトメンバー全員が優秀であることはほぼない。 政治的な理由からか、教育効果を期待してなのか、リストラ予備軍だからなのか、それとも単なる人手不足なのか。 理由は様々だろうが、プロジェクトメンバーの中に、必ず２，３名はボンクラが含まれているのである。 そして、プロジェクトは一定の期間内に成果を出す、という厳しい制約があるため、無能の扱いを

基本的に自分はタスクを拾いすぎてしまう傾向にある。それに加えて比較的朝型なこともあり、前職ではエンジニアの中で一番朝早く出社していることも多かった。*1 その結果どうなるかというと、朝出社して見つけた運用上のトラブルは大体自分がとりあえず手を付ける状態になっていた。前日の夜間バッチやその日の早朝に動くバッチがコケて問い合わせが来ているのでそのリカバリをする、前日にデプロイした後レスポンスが高くなってアラートが出ているのでその調査をする、web appがやたらと500系エラーを吐いているのでBugsnagを見る、等々。 出社している以上無視するわけにもいかないというのもあるが、見つけてしまうと放っておけない性格ということもあり最優先でこれらの対応をしてしまっていた。お陰で前職で触っていたproductについてはかなり広範囲の知見があり、その行動がそれなりに社内での評価につながっていたのではな

最近新しく人が入ってきて、今まで手がつけられていなかった部分に対する正論をストレートにぶつけてきてくれて思わずにやけてしまった。 そう、新しい人には感じたことをそのまま言ってほしい。まだ自分が成果を出せるかわからないタイミングで正直に思ったことをぶつけるのはすごく勇気がいることだとは思うけれど、新しい旋風を巻き起こしてくれた方が嬉しいし、それをうまく取り込むのは既存メンバーの役割だと思っている。 正論をうまく取り込むには準備と心構えが必要だと思っていて、それをざっとまとめてみる。 社内ブログやSlackチャネル、定例など意見を言いやすい場所を用意しておく 感じたことは率直に言ってほしいと期待している役割などを伝えておく 口だけみたいになるのでは、という不安はいったん気にしなくていいと伝えておく 個人ではなく仕組みに対してという伝え方を意識してほしいと伝えておく 言ってくれたら、まず素直に感

毎週、月曜日に、会社は100ポイントを全社員に配ります。 そのポイントは月末に、1ポイントが10円のレートでAmazonポイントに交換できます。 仮に同僚から200ポイントを貰えれば、2,000円の価値になります。 主な特徴は２つあります。 そのポイントは自分で持っていても意味がなく、他人から貰った時に、初めて価値が出ます。 またポイントは、次週に持ち越すことはできません。 例えば、AさんがBさんの仕事を手伝ったとします。 そういった時に、BさんはAさんに、感謝の言葉と共に自分で設定したポイントをあげることができます。 また、感謝の言葉は、以下のように、みんなにシェアされます。 なんとなく、Uniposのイメージが湧いてきたと思います。 Uniposを使うことで、様々なメリットがあります。 ただ、Uniposの本質的なよさを知るためには、社会の貨幣システムを理解した方がいいと思うので、軽く

ビッグデータ処理データベースを分類し、2018/9時点で最新のプロダクトを紹介しています。Read less

現在、DMM.comでは、1日あたり1億レコード以上の行動ログを中心に、各サービスのコンテンツ情報や、地域情報のようなオープンデータを収集し、データドリブンマーケティングやマーケティングオートメーションに活用しています。しかし、データの規模が増大し、その用途が多様化するにともなって、データ処理のレイテンシが課題となってきました。本発表では、既存のデータ処理に用いられていたHiveの処理をHive on Sparkに置き換えることで、1日あたりのバッチ処理の時間を3分の1まで削減することができた事例を紹介し、Hive on Sparkの導入方法やメリットを具体的に解説します。 Hadoop / Spark Conference Japan 2016 http://www.eventbrite.com/e/hadoop-spark-conference-japan-2016-tickets-2

はじめに 本コラムでは、ビッグデータ分析とファストデータ分析を組み合わせるための仕組みである「ラムダアーキテクチャー」の紹介をする。私どもは現在、Apache Sparkを最大限に活用したラムダアーキテクチャーの構想を練っており、その実現方式が固まった際は、コラムにてサンプルを紹介しようと考えている。ただ、「ラムダアーキテクチャー」という言葉に耳慣れない人もまだ多いかと思い、まずはラムダアーキテクチャーについての説明から始めることとする。 ビッグデータ、ファストデータ関連の潮流 まずは、ビッグデータとファストデータ（≒リアルタイム、≒ストリーミング）の世間の潮流について復習する。ここでの「世間の潮流」とは、あくまで、筆者の個人的な感覚をもとにして記載している。エンジニア視点で書いているため、経営者支援やマーケッター視点とは異なると思われるが、その点はご容赦頂きたい。 Hadoopの登場によ

月間4.8億ユニークブラウザ、9,000万広告ID 国内最大級のDMPが語る、Treasure Dataの使い方 AudienceOneにおけるTreasureData活用方法 2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Engineer Day:TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。2日目となるDate Engineer Dayでは、カスタマーデータプラットフォームのTREASURE CDPを活用し、常日頃の課題をどう解決しているのか、企業の担当者たちがそのアイデアを披露します。プレゼンテーション「AudienceOneにおけるTreasureData活用方法」に登場したのは、デジタル・アドバタイジング・コンソーシアム株式会社の河原亮介

SSHとは SSHとは、セキュアな通信を行うためのプロトコルです。 たとえば、HTTP。HTTPを通してブラウザからWebサイトにアクセスし、 コンテンツを閲覧したりWebアプリを利用したりします。 この「HTTP」というのもプロトコルの一種です。 HTTPもSSHもOSI参照モデルと呼ばれる層の最上位、アプリケーションレイヤーに位置しています。 なお、よく聞く「OpenSSH」とは、このSSHのプロトコルを実現するための 有名なソフトウェア（プログラム）のひとつです。 FTPのプロトコルで言うFileZillaとか、そういったイメージです。 このSSHを使うと、リモートサーバに安全にログインできたり、 ファイルをセキュアに送受信することができたりします。 SSHは「Secure Shell」の訳で、リモートシェルに特化しています。 公開鍵認証という仕組みを用いて、セキュアな通信を実現して

議事録のツイートへ沢山の反響を頂きましたので、ブログにまとめてみたいと思います。 優秀な戦略コンサルの仕事術は綺麗なパワポを作ることではなく、議事録ベースで大企業のコンセンサスを作っていくことだし、古来共産圏では書記長が一番偉いし、そもそも議事録取りは雑用なんかじゃなく、選ばれた人しか務まらない仕事でもあるんだけどね。AIで音声を書き起こすのが議事録ではない。 — 誇りで飯が（ry (@908_908) 2018年9月18日 大企業では（別に大企業でなくてもですが）、普通物事は簡単に決まりません。というのも、所有と経営が分離している非オーナー企業では、特定個人の意見を押し通すようなことができないためで、良く言えばこれがガバナンスというヤツなのですが、筆者の個人的な経験では、ビジネスの世界に唯一の正解はないとは言うものの、多くの場合「正しい方向性（Direction）」という広さでは概ね１つ

以前ソフトウェア開発者採用ガイドの読書感想文を書いたときに反響が思ったより大きかったので、エンジニア採用というテーマは関心が高いのだなと感じました。 上記感想文のエントリでも書いていますが、お手伝いしている会社の方などから「どうやったら良いエンジニアを採用できますか？」と聞かれることがよくあります。先のエントリでは「頑張るしかないですねとしか答えようがない」と書きましたが、頑張るとはいったい何を頑張るのか、きちんとまとめておいたほうが良いなと思いエントリをしたためる次第です*1。 あくまで僕はこう思いますという話で、この通りにしたからといって必ず良いエンジニアを採用できる保証はありません。あしからず。 想定読者 良いエンジニアを採用したい偉いひと、もしくは人事のひとです。 前提: 良いエンジニアとは このエントリでの「エンジニア」とはいわゆるweb系のエンジニア(例: サーバサイドエンジニ

三連休にOKRのことばかり考えていたので、整理してみた。 どこかで誰かとOKR について話したい気もするので、東京近辺の方はお気軽にご連絡いただければ嬉しいです。 https://twitter.com/katsuhisa__

コメント欄にも他の方のおすすめAPIを書いてくれているので是非見てください！ Google Sheets API 公式：https://developers.google.com/sheets/api/reference/rest/ 数万行のGoogleスプレッドシートの読み取り・書き込み処理などができます 読み取りだけであればAPIkeyの発行だけでできますが、書き込みにはOAuth認証が必要です 参考：PythonとSheets API v4でGoogleスプレッドシートを読み書きする Google YouTube Data API 公式：https://developers.google.com/youtube/v3/docs/ YouTubeを検索して動画・再生リスト・チャンネルなどの一覧などを取得したり、更新したりすることができます 検索条件で地域(regionCode: JP)

オライリーから本日出版された「エンジニアのためのマネジメントキャリアパス ―テックリードからCTOまでマネジメントスキル向上ガイド」はエンジニアリングマネジメントを考える人には必読の書だ。 エンジニアリングマネジメントを考える人とは、今すでにエンジニアの上司である人やエンジニアリング組織の長である人はもとより、人事上の上司ではないが、後輩などの面倒を見る立場の人や開発において技術的にリードするような人、そして漠然と将来のキャリアパスとしてマネジメントを考えている人までを含む。さらに言うならば、技術系でなくても、自社の技術組織の戦略を考える立場である人も読むべきであろう。 目次を見るとわかるが、本書はマネジメントされる立場のエンジニアから話は始まる。そしてメンタリングする立場になったとき、次にテックリードになったときと、まさにキャリアパスを1つずつ登っていくのに際しての心構えと具体的なスキル

僕は去年の8月にヌーラボに入社して、そこから Backlog の SRE として働いています。 SRE としての経験は約1年なのですが、ちょうどサービスが成長し、会社もエンジニアを積極的に採用して拡大している時期だったこともあり、色々な経験ができました。そのなかで、SRE の難しさ、SRE の組織の問題にも直面してきました。 このあたりの経緯を整理して話すだけでも SRE にとって面白い話になるのではないか、と思い、今回の SRE Lounge #5 では「Backlog における SRE の事例 〜プロダクトの成長のために SRE はなにをすべきか〜」というタイトルで発表させていただきました。 sre-lounge.connpass.com 発表スライドはこちらです。 発表のときは冒頭で説明したのですが、これがベストプラクティスと言うつもりは全然ありません。僕らもまだ悩んでいる最中の問題

こんにちは。メディアロジック分析部の米田 (@mathetake) です。 今日はGunosy社とKDDI社が共同で運営するニュースパスというニュースアプリケーションで使われている関連記事推薦のアルゴリズムについて書きたいと思います。 特に、約半年前に私が導入しKPIの改善に成功した新しいアルゴリズムと、そこでコアとなる近似近傍探索(Approximate Nearest Neighbor search)の技術について述べます。 関連記事推薦とは この記事で紹介する関連記事推薦とは、「特定のニュースに関連したニュースを推薦すること」です。 より具体的には、特定の記事をクリックした後に記事閲覧画面を下にスクロールすると登場する「おすすめ記事」の枠に対して、関連したニュースを検索して表示することを指します: このような枠が設置されている事は一般的なアプリケーションにおいてごく自然ですが、推薦シ