データ分析基盤の構築について共有するTECH PLAY主催のイベント「データ分析基盤Developers Night〜」。第4回となる今回は、「活用されるデータ基盤」がテーマです。メルカリでの機械学習を用いたデータ分析基盤の活用について、澁井雄介氏が登壇し知見を共有しました。 ※新型コロナウイルス対策のためオンライン開催に変更されています。 機械学習とシステムデザイン 澁井雄介 氏（以下、澁井）：メルカリの澁井と申します。今日は「機械学習とシステムデザイン」というテーマで話させてください。 先ほどマクロミルさんがデータ分析基盤の話をされましたが、私はデータ分析基盤の出口のほうでやっている機械学習とそれによるサービスの改善をやっています。出口のほうでどういった仕組みを作っているのか、メルカリの事例から共有できることをお話したいと思っています。 まずは自己紹介をさせてください。澁井と申します。

私は卑下しているわけではなく、ガチでプログラミングの才能が無い。他に才能があるといわれる分野は持っているが、プログラマとしてはガチで三流だ。 そんな私が、今でも夢のようなのだけど、長年あこがれた米国マイクロソフトのドリームチームのポジションを得ることができた。今回はどうやってそのポジションをゲットすることができたかについてシェアしてみたい。 ガチの三流プログラマ 私はガチでプログラミングの才能が無い。プログラミングを始めたのは確か、１０歳ぐらいだろうか？だからキャリアはスーパー長い。三流というのは謙遜ではなくて、自分と過去に仕事したことがある人なら知っていることだと思う。私には人より出来ることもある。それはコンサルティングだったり、アジャイルや、DevOps のコーチ、そしてエヴァンジェリストだ。日本のマイクロソフトではプレゼンは必ず上位だった。私は過去を振り返ると、何回もプログラマになろ

コンピューターグラフィックス(CG)やプログラミング、ゲーム開発などのオンライン講座を提供していた「3DBuzz」が閉鎖しました。同サイトは閉鎖に伴って、所有していたコンテンツを全て公開しました。 3Dbuzz https://www.3dbuzz.com/ 3DBuzz Shut Down And Release Content For Free https://www.gamefromscratch.com/post/2020/01/06/3DBuzz-Shut-Down-And-Release-Content-For-Free.aspx 2002年に開設された3DBuzzは、プログラミング言語C++・Pythonの講座や自作AIに関する学習講座に加えて、ゲームエンジンのUnity・Unreal Engine 4、3DCG作成ソフトウェアの3ds Max・ZBrush、画像編集ソフトウ

ディープラーニングを使った画像の異常検知について、研究が盛んに行われています。 工業製品を対象に、正常データのみを使って異常品を検出するアプローチとしては、 今のところ、@daisukelab　さんの自己教師あり学習が一番有力です。こちらの研究では、 課題として、一部の画像で精度が伸び悩み、異常クラスのデータの作り方を試行錯誤した とのコメントがありました。 そこで、本稿では、多様な異常画像の自動生成方法について模索してみたいと思います。 ※こちらはPythonデータ分析勉強会＃16の発表資料です。 ※コード全体はこちらに置きました。 結論から 先行研究の自己教師あり学習では、「正常」、「線を描画した異常」の2クラスに対して、本稿では「歪みを加えた異常」を追加して3クラスの深層距離学習（下図参照）で学習させた。 3クラスになったことにより、深層距離学習の最新手法「AdaCos」の使用も可能

はじめに 近頃の翻訳技術の発達は目覚ましいですが、いまだに、「英語ができなくても何も問題はない」というところまでは程遠いのではないでしょうか。特にエンジニアであれば、なおさらだと思います。 英語で情報収集ができれば、英語力の向上と情報収集が同時にできて、一石二鳥ですよね。英語圏の情報は一次情報であったり、情報の速度が早かったりもするので、「情報の価値」、という点においてもかなり優秀です。 というわけで今回は、英語学習はもちろん、情報収集にも死ぬほど役立つ英語圏のサイトを紹介します。すべてのサイトがプログラミング関連で、しかも面白いサイトばかりなので、ハマるとヤバいです。 【10選】ハマると時間が一瞬で過ぎるプログラミング系の英語圏のサイトまとめ ネタ系 Reddit 日本で言うところの、2チャンネルとツイッターの中間のようなサイトです。プログラミング関連だけじゃなくて、各種テーマの話題のス

（この記事は 地平線に行く とのマルチポストです） 本番環境でやらかしちゃった人 Advent Calendarで、このパターンのやらかしはなかったのでキーボードを叩くことにしました。 番外編のつもりでお楽しみください。 この記事が、新たな障害発生を防ぐことにつながれば幸いです。 何をやったのか ある日、ちょっとした調査のために本番データベースのデータを確認することになりました。 （個人情報が格納されているようなシステムではなかったので、必要であれば本番データベースへのアクセスが許されていました） もしメンテナンスがあればそのタイミングでやればよかったのですが、直近では特に予定はないとのことでした。そのため、システムが動いている状態のまま作業をすることにしました。 ごく単純な SELECT を実行するだけのつもりだったので、システムに影響がないと判断したためです。 その際、万が一コピペをミ

東大が無償でPDF公開している，統計学会の75周年記念出版『21世紀の統計科学』の3冊 1と2は実際の統計データを用いて，各事例への統計学の応用手法，3は機械学習の人なら馴染み深い統計計算を解説 下手な市販の本を買うよりは，この3… https://t.co/w2cSVIxmUI

この記事は Python Advent Calendar 2019 の 19 日目の記事です。 🐍 あらすじ Python のパッケージ管理。特にここ数年で新しいツールが多く出たこともあり、一体何を使うべきなのか、少し調べただけでは分からないと思います。本記事では、新しめの管理ツールを独断と偏見で比較します。著者は Poetry 信者なのでバイアスが掛かっているので悪しからず。 本記事で書いていること Pipenv、Poetry、Pyflow の違いと使い方 本記事で書いていないこと Pyenv、Venv、Virtualenv などの既存ツールの説明 著者の環境は以下の通り。 Ubuntu 18.04 Python 3.8.0 Pipenv 2018.11.26 Poetry 1.0.0 Pyflow 0.2.1 特に Poetry と Pyflow は開発途中なので、本記事の内容と違う

こんにちは、@ryu_softwareです。普段は業務で自律移動ロボットのソフトウェアをいじってます。 以前のアドベントカレンダーでこんなの書きました。久しぶりの参加になります。 今回は僕が普段使ってる開発環境について、皆さんにとって参考になるかどうかは微妙かもしれませんが構築方法と使い方についてのメモを残そうと思います。 開発環境について 最近kineticやらmelodicやら、ROS2やらなんやらでいろんな開発環境を用意しなきゃいけなくてそうしてると自分のPCの環境を汚しかねない(最悪ぶち壊す)なぁと思っていて、色々テストしたりちょっと開発する時に必要な複数の開発環境をDockerを用いて使い分けていました。Dockerfileを分けておけばローカルの環境を汚さずに色々テストできるので結構便利でした。 僕は普段の開発において、最近Visual Studio Codeを使用していて、R

モナドを完全に理解する

この記事はコネヒト Advent Calendar 2019の11日目の記事です！ qiita.com はじめに 半年ほど前から新規事業のチームで仕事するようになり、主な技術スタックもPHPからGo, Next.jsへと変わりました。 その中で、特にフロントエンドのテスト周りにおいてキャッチアップ不足を感じていたのですが、たまたま見つけた*1「Full Stack Open 2019」という教材がとても良かったので紹介したいと思います。 「Full Stack Open 2019」とは fullstackopen.com フィンランドのヘルシンキ大学で実際に使われているテキストベースのオンライン教材です。 Nodeで作られたREST APIとReactを使ったSPAの実装を通して、React・Redux・Node.js・MongoDB・GraphQLが一度に学べる教材となっています。 教材

サブタイトル：ショアのアルゴリズムから巡回セールスマン問題まで プログラマ向けに量子プログラミングの解説をした資料です。できるだけソースコード付きにすることで独習可能な内容になっています。また必要となる数学の知識に関しても解説しています。よろしければご活用ください！Read less

はじめに　この記事には、Googleのオンサイト面接に向けて勉強した内容が記載されていますが、それらはすべて面接を受ける直前に書いておいたものです。このエントリを読むことで面接で聞かれた内容が予測されてしまわないようにそのようにさせていただきました。ご了承お願いします。 この記事について　令和元年に医師を退職し、ソフトウェアエンジニアに転職します。 自分にとって大きな転機であったのと、とても大変な道のりであったので、私という人間が辿った道筋を最初から最後までちゃんとまとめておきたいと思いこの記事を書くことにしました。 私のような他業種から未経験での転職を目指されている方にとっても、何らかの参考になる内容であれば幸いです。 私の生い立ち　私は小さい頃からテレビゲームが大好きで、学校から帰るとずっと家でゲームをしている子でした。あまりにもゲームが好きだったので、遊ぶだけではなく自分で作ってみた