2019年7月10日に開催された「WEBエンジニア MeetUp@札幌 #6 MySQL Special」での発表資料です。 発表時の資料に少し説明を加筆・修正してから公開しています。 ※追加で以下の更新をしました。(2019年7月19日) - MTSを効率化するための設定に関して、WRITE…
① 本稿の趣旨 前々回に続き前回の寄稿も好評を得たようなので、今回も引き続き一連の半導体材料の輸出管理見直しに関する分析記事を書かせていただこうと思う。 今回は随所で報じられている「サムスンが中国産のフッ化水素のテストを始めた」というニュースの背景について考察したい。 本件については、特に今回の輸出管理見直しに関して疑問を持つ立場の方から、「ほら見たことか、韓国企業が代替材料を探し始めたじゃないか。だから言わんこっちゃない」というような趣旨の反応が多いように思えるが、仮に中国産の純度の落ちるフッ化水素をラインに使おうものなら工場の歩留まり(製造量に対する定格合格品の比率)は大幅に落ちざるを得なく、企業経営としてはかなりのマイナスになる。少し待てば日本から個別輸出許可が降りてフッ化水素が入ってくる見込みが十分あるのだから、本来現段階でそれほど無理をする必要はない。 それにも関わらずサムスンが
AWS Startup ブログ 【開催報告&資料公開】ML@Loft #3 – Recommendation AWS 機械学習ソリューションアーキテクトの宇都宮 (Twitter: @shokout) です。本ブログでは ML@Loft 第3回「レコメンド」の開催概要を報告します。 ML@Loft は、 機械学習を AWS 上でプロダクション運用しているデベロッパー・データサイエンティストのためのコミュニティイベントです。毎月テーマを設定し、前半は各分野のエキスパートの方々からのLT、後半は機械学習のサービス導入のノウハウや様々なツラミについて、LT のご講演者の方々を交えて参加者全員参加型のお悩み相談ラウンドテーブルという構成で AWS Loft Tokyo にて実施しています。 第2回 [Blog] は、第1回で好評だった MLOps のテーマを引き続き、そして今回 6/21 (金)
機械学習で入ってはいけないデータが混入する「リーケージ」とその対策:もう失敗しない!製造業向け機械学習Tips(1)(1/2 ページ) 製造業が機械学習で間違いやすいポイントと、その回避の仕方、データ解釈の方法のコツなどについて、広く知見を共有することを目指す本連載。第1回では「リーケージ」について取り上げる。 ⇒連載「もう失敗しない!製造業向け機械学習Tips」バックナンバー 筆者はデータサイエンティストとして、機械学習自動化プラットフォーム「DataRobot」の導入サポートをさまざまな製造業のクライアントに提供してきました。本連載では、その経験に基づいてお話させていただきます。 機械学習が使われる製造業特有の分野は、物性予測、工程管理、予防保全、故障予測、要因分析など多岐にわたります。しかし筆者は、それらの多くで同様のミスが繰り返されていることに気が付きました。これらの間違うポイント
おはようございます、ritou です。 様々なご都合によりGitHubでTwo-factor authenticationってのを設定している方も多いでしょう。 時に人間は、記憶もスマホも財布も一気に無くしてしまいます。 リカバリー方法を複数用意しておくにこしたことはありません。 2019年7月時点の設定画面あたりのスクショはこんな感じです。 今回はこの中のRecovery optionsの一番下、「Recovery tokens」に注目します。 これ何だ?と思ってカーソルを当てると「Account recovery with Facebook is a simple way to recover your account.」とか出てきます。 今回はこの「Facebookでアカウントリカバリー」とは何かというお話です。 GitHub の機能を使ってみる GitHubのヘルプに全部書いてあり
2018年、韓国科学技術院から音の発生源を推測するAIが提案された。画像上の音の発生場所と考えられる物体をヒートマップとして可視化できるものだ。 説明だけではあまりピンとこないかもしれないので、次の動画を数秒ほどご覧頂きたい。 動画では、馬車に対して強いヒートマップが出ており、音の発生場所を上手く捉えられていることがわかる。 この研究の強みは、教師なし学習が用いられていることだ。アノテーションされていないただの動画データを学習するだけで、音声発生源を推測できることがわかる。 論文名:Learning to Localize Sound Source in Visual Scenes 学会:CVPR2018 作者:Arda Senocak, Tae-Hyun Oh, Junsik Kim, Ming-Hsuan Yang, In So Kweon 所属:KAIST, MIT CSAIL, U
実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます)。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの
AI(人工知能)という言葉を、日々様々な場所で目にします。例えばネットニュースの見出しやテレビなど。また、将棋や囲碁のプロと対戦して勝った、車や電車の自動運転を可能にした、人と会話ができるようになった、と様々な分野で活用されている話も聞きますよね。そして、その中で「deep Learning」という単語をよく見かけるようになりました。 名前は聞くけど何に使われていてどのような技術なのか、AI(人工知能)や機械学習との違いは何なのか疑問を持っている方が多いでしょう。 そこで、今日はAI(人工知能)技術の一つである「deep learning」の概要と活用事例を、入門用としてお伝えします。ぜひ、専門用語が混同している方も見ていってください。
なぜこの記事を書いたのか? 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか? 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは? 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士
グローウィル国際法律事務所 代表弁護士。東京弁護士会所属。IT企業専門の弁護士、社労士事務所、企業への資金調達・M&A•IPO支援をするコンサル会社・システム開発会社も経営 スクレイピングによってデータベースを作りたい!はいいのか? スクレイピングとは、ウェブサイトから、ウェブページのHTMLデータを取得して、取得したデータの中から、特定のトピックに関わるデータを抽出、整形しなおすことをいいます。 スクレイピングは、ウェブ上にあるデータを取得する際に、クローラを用いて、自動的に取得することによって、短時間で膨大な情報を収集することができることに特徴があります。 このような技術を用いて、政府公開情報や他企業の情報、ニュース記事などの中から、自社に必要な情報を抜き出して、分析し、自社のデータベースを作成することが行われています。 一般的に、スクレイピングによって、データベースを作成する手段をま
AWSはオープンソースとして開発されているコードエディタVisual Studio Codeの拡張機能として、これまでプレビュー公開されていた「AWS Toolkit for Visual Studio Code」が正式版になったことを発表しました。 AWS Toolkit for Visual Studio Codeと、AWS Command Line Interface(AWS CLI)やDockerなどを組み合わせることで、サーバレスコンピューティング環境であるAWS Lambdaのローカル環境でのステップ実行やブレークポイントの設定などのデバッグ操作などが可能になります。 そして開発したアプリケーションをAWSの任意のリージョンへのデプロイもVisual Studio Codeから手軽に行えるようになります。 AWS Lambdaのローカルデバッグが可能 AWS Toolkit f
shinshinohara @ShinShinohara AIが仕事を奪い、失業者で溢れかえる時代が来る、創造性のない人間は低賃金に甘んじなければならない・・・と言われている。しかしこれは、AIをスケープゴートにしてるだけではないか。雇用を奪い、多くの人々から収入を奪っているものの正体は、違うのではないか。 2019-07-13 21:49:44 shinshinohara @ShinShinohara 産業革命では、機械が発達、大量生産が可能になり、手工業で生きてきた人たちから仕事を奪った。機械を憎み、打ち壊すラッダイト運動というのが起きたが、事態は改善しなかった。5、6才の子供が14時間労働を強いられ、平均寿命は非常に低かった。生きるか死ぬかのギリギリの生活を強いられた。 2019-07-13 21:53:07
前はECサイトの訪問数とコンバージョン率の分析を解説しました。 ↓↓↓ 業務知識すら知らないとデータ分析をやれないでしょう【連載-1】 業務知識すら知らないとデータ分析をやれないでしょう【連載-2】 顧客の購買プロセスにおいて、訪問、購入の次のステップは継続訪問ですが、今回は継続訪問に直結したAU(アクティブユーザ-)とリテンション率のデータ分析を行います。 AUとリテンション率 訪問数とコンバージョン率を知ってるが、AUとリテンション率にあまり詳しくない方がと思うので、まずこの二つの意味を説明します。 AU(アクティブユーザー):アプリ、SNS、ECサイトなどにおいて、ある期間内に1回以上ログインしたり、利用したりするユーザーのこと。「DAU」は1日あたりのアクティブユーザー、「WAU」は週間アクティブユーザー(Weekly Active User)、「MAU」は月間アクティブユーザー(
はじめに こんにちは。データサイエンス部の平田です。 一休でのデータ分析はJupyter NotebookやJupyter Labを用いてDWHにアクセスして行われることが多いですが、サービスそのものと分析環境が乖離していることにより、分析結果を継続的にサービスに取り込むのが難しい状況でした。 また、マーケティング部の方々がJupyterを使用して分析した結果に基づいて継続的に施策を行おうとしても、Airflowに組み込む際のエンジニアの負担はそこそこありますし、修正するたびに依頼をしなければならないなどコミュニケーションコストも発生します。 さらに、マーケティングに機械学習を取り入れたい場合でもairflow側で全部やってしまうと密結合になってしまいます。 そこで、Airflowから別の場所にあるJupyterを直接実行することによりエンジニアの負担は最小限にとどめ、自由に施策を打てるよ
本連載ではリクルートテクノロジーズにおける大規模Webサービスの改善についてお伝えしてきました。最終回となる本稿では前回までの話とは異なり、今後のリクルートのWebフロントエンド技術について紹介します。具体的には、Single Page Applicationのボイラープレート開発と、Fastlyなどに代表されるCDN導入に焦点を当てた内容をお送りします。 はじめに リクルートテクノロジーズでフロントエンドエンジニアを務めている可児潤也です。 リクルートテクノロジーズでは、レガシーなWebサービスのパフォーマンス改善やコードのモダナイズを行うとともに、R&Dとして新規技術獲得にもチャレンジしています。それらの技術は実際にリクルートグループ内の新規案件や既存サービスのリプレースとして先行実装を行い、A/Bテストなどを通じて技術検証します。さらに案件を通じて得られた知見は共有し、効果的なものは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く