この半年で変わったものと変わらないもの - SaaS開発の現場より / Developers Summit 2020 Summer
この半年で変わったものと変わらないもの - SaaS開発の現場より / Developers Summit 2020 Summer
はじめに 弊社が主催するデータコンペのatmaCupに、 普段はサーバーサイドエンジニアで機械学習ほぼ未経験の私が、 AutoML Tablesを使って参加し、 数多のKaggler犇めく中で31チーム中8位になりました。 本記事はAutoML Tablesを実際のデータコンペに投入してみた結果と感想です。 結論 AutoML Tablesはかなりの運ゲー 1時間程でそれなりの結果が出るAutoML Tablesはすごい AutoML TablesよりKagglerはすごい 概要 対象者 本記事の対象者は、機械学習初心者の方や、AutoML Tablesって聞いたことあるけど実際どうなの?という方向けです。 自己紹介 atma株式会社でサーバーサイド及びフロントエンドエンジニアをしている田中です。 機械学習はほぼ未経験です。 最近はFirebase+Vue.jsを使用したアプリケーションを
僕が中谷さんと初めて会ったのはみどりぼんの読書会で、初めて話したのは岩波DSの打ち合わせだったと思います。今でもそんなに親しくはないと思います。しかし、中谷さんのブログは10年ぐらい前から読んでいました。自然言語処理を中心とする機械学習に関連する理論(の解釈)・論文レビュー・数値実験の記事が多く、他のブログでは見られない独特かつ理解の深い内容で、毎日勉強させてもらっていました。今でも何度も読むべきブログです。その中谷さんが機械学習についてまるごと一冊書いたものが本書になります。もともと買うつもりでしたが、献本いただいたので簡単にご紹介いたします。 わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する 作者: 中谷秀洋出版社/メーカー: 技術評論社発売日: 2019/08/28メディア: 単行本(ソフトカバー)この商品を含むブログを見る 目次は以下になります。 0章: はじめ
こんにちは。初投稿です。 2012年新卒入社の竹内です。入社当時を振り返るとOracle10g,11gを良く利用していおり、データモデリングなどテーブル設計が好きで、2018年4月ぐらいまでRDBとバッチに浸ってました。 さて、現在プロジェクトでRedisを使っているのですが、いままでRDB人間だっただけにKVSやRedisならではの特徴に四苦八苦してます。 苦しんだ分、色々な知見を得ることができているので、その内容をご紹介します! 対象者 Redisの業務システム導入を検討している方 RDBとRedisの違いを知りたい方 現場的なRedisの利用方法を知りたい方 書いてないこと データ型やコマンドなど、HelloWorld的に公式ドキュメントを見て得られる情報 インストールなど、Redisを利用できるまでの手順 フェイルオーバーやバックアップをはじめとする運用に関する内容 データ永続化に
はじめに 昨今、サービスに推薦システムを導入することでUXを向上させることが多くなり、様々な推薦アルゴリズムが取り入れられております。学術界でも推薦は大きなテーマであり、様々なアルゴリズムが提案されております。 本記事では、推薦をする際に、「メディア上で、どんな人とと繋がっているか、どのアイテムにライクをしたか、どんなページを閲覧しがちか」など、人やアイテムとのつながりを重視して推薦するSocial Recommendationの最新論文であるGraphRec[1]を紹介します。GraphRecは2019年にWeb系のTop Coferenceの一つであるWWWで採択された論文です。 GraphRecは、近年グラフ界隈を盛り上げているグラフニューラルネットワーク(以下GNNs)を用いております。GNNsでは、あるノードiの特徴量に近傍ノードの特徴量を足し合わせること(aggregation
はじめに 勾配ブーストを用いた決定木(GBDT)によるクラス分類や回帰はデータ分析コンペでも非常によく使われています。 その中でも2016年に出されたXGBoostはLightGBMと並びよく使われている手法です。 性能が良いことで有名なXGBoost, LightGBMですが、モデル内部でどのような処理が行われているかよくわかっていなかったので論文を読んでみました。 式変形の省略が多く、またイメージしづらい箇所もあり、読みづらかったのですが 一度イメージできれば割とあっさり理解できます。 その体験を踏まえて、イメージ図を多く取り入れながらXGBoostの論文を(途中まで)丁寧に解説します。 XGBoost: A Scalable Tree Boosting System 論文 この記事で述べること データの入出力 XGBoostの木構造 損失関数とboosting 木構造の学習(spli
データは日々爆発的に生まれている。現存するデータの90%が過去2年以内に生成されたものだと言われている。 つまり、2年ごとに世界に存在するデータ量は10倍に増え続けている。しかし、その大量のデータを処理可能な自然言語処理技術は、これまでリーガルやコールセンターなどの限られた分野でしか活用が進んでこなかった。 自然言語処理(NLP)とは? | 意味や仕組み・現在の課題と活用例 自然言語処理技術に革命をもたらしたのが、2018年にGoogleが公開した汎用言語モデル「BERT」だ。 BERT(Bidirectional Encoder Representations from Transformers)とは 2018年秋にGoogleがオープンソースとして公開した自然言語の意味理解に特化したモデルの名称。 そのBERTを自社のサービスに活用している会社が、2016年に設立された東京大学発ベンチ
機械学習プロジェクトでは python を始めとした言語 + それに付随したライブラリを使います。 僕も python 触りたての頃はローカルマシン上にひとつ python 環境を作り、必要なライブラリをインストールして使っていました。環境の分離ということはあまり意識しておらず、やったとしてもプロジェクトごとに anaconda や pyenv, venv などで個別環境を作って切り分けるレベルでした。 しかし上記の方法だと困ったことが起ることがあります。例えば… global な環境が壊れてしまってすべて壊れる。 これは各環境が global な環境に依存しているために起こります。 python 以外の変更で環境は突如として壊れます。例えば brew install hoge したら Mecab が使えなくなっちゃったとかはあるあるだと思います >_< linux / Mac / Win
こういうことやぞ サムネイルで描いた事がこのエントリーの全てです. Pythonでは、「pandas」というライブラリを使ってデータ分析や解析をすることが非常に多いです. でも、「利用方法(またはユースケース)」に合わせた入門ってあんまりない気がします. ということで、「PyCon mini Sapporo 2019」でそんな話をしてきました. sapporo.pycon.jp 訳あって資料およびJupyter notebookは非公開*1ですが、こちらにその基本とかをまとめます. TL;DR - このエントリーは 実務や趣味のデータ分析でpandasを使う例を紹介します. 初歩的な使い方から中級者になるまでのヒントになると思います. なお,統計テクニック・機械学習には触れません・やりません. なお、対象読者は「そこそこPythonとJupyter notebookが使えてこれからデータ分
2. 1946: ENIAC,高い計算能力 フォン・ノイマン「俺の次に頭の良い奴ができた」 1952: A.Samuelによるチェッカーズプログラム 機械学習と人工知能の歴史 2 1957:Perceptron,ニューラルネットワークの先駆け 第一次ニューラルネットワークブーム 1963:線形サポートベクトルマシン 1980年代:多層パーセプトロン,誤差逆伝搬, 畳み込みネット 第二次ニューラルネットワークブーム 1992: 非線形サポートベクトルマシン (カーネル法) 統計的学習 線形モデルの限界 非凸性の問題 1996: スパース学習 (Lasso) 2003: トピックモデル (LDA) 2012: Supervision (Alex-net) 第三次ニューラルネットワークブーム データの増加 +計算機の強化 1960年代前半: ELIZA(イライザ), 擬似心理療法士 1980年代
Webベンチャーのプレインワークス(東京都港区)は8月6日、全国160万社以上の企業情報を検索できるサービス「FUMA」(フーマ)を公開した。地域や業種、資本金、従業員数などの条件で検索し、各種企業情報を閲覧できる。会員登録は不要で、ブラウザ上から無料・無制限で使える。 例えば「首都圏で売上10億円以上ある運送会社」「関西で数十人規模のソフトウェア開発業者」「3月に決算を迎える10年以内にできた会社」といった企業リストの作成に利用できる。同社は「社会人から就活生まで、幅広い層の利用者が企業情報を収集するのをサポートする」という。
すごい勢いで世の中が悪くなっていると我々が感じているということは、逆側に立つ人は「世の中どんどんよくなってるな」と感じているのだろうか。— 方便 (@ryohoben) 2019年8月5日 このtwitterの文章を読み、「世の中ってそんなものだよね」と思いつつ、社会の変化に思いを馳せた。 この文字列から、私は二つの連想をせずにいられない。 まず、小さな問題として、日本をはじめとする先進国で起こっている混乱。 少子高齢化と経済的停滞の続く日本はもちろん、アメリカはアメリカで、ヨーロッパはヨーロッパで、現代の社会問題にのたうち回り、その解決の目処は見えない。 他方で、途上国と呼ばれていた国々の所得は向上し、生活水準も良くなっているという。 私は少し悲観的に考える癖があるので、資本主義的な豊かさが国単位で安定するためには、本国と植民地、先進国と途上国のような政治的・経済的勾配が必要だと疑ってい
1. はじめに PyTorchの使い方にも少し慣れてきたので、arXivに公開されているディープラーニング関連の論文の実装にチャレンジをはじめました。まず今回はVisualizing and understanding convolutional networksを実装してみました。本論文はディープラーニングの可視化の文献としてよく参照されているので1、以前から興味がありました。 本論文の流れは、前半でCNNの可視化手法を中心に取り扱い、後半では構築したモデルのパフォーマンスを取り扱います。有名な論文ということもあり、Web上で日本語の解説もこちらに公開されています。 本論文の概要に関しては上記リンクの解説の通りなので、本記事では上記解説であまり触れられていない提案された可視化手法の実装に重点を置いて解説してみようと思います。 2. 本論文の概要 CNNは画像分類において高い精度を実現する
Excelで誰でも簡単言語処理 (感情推定, 固有表現抽出, キーワード抽出, 文類似度推定 etc...)ExcelAPIVBA自然言語処理COTOHA 3行まとめ Excel関数一発で高度な言語処理を使えるようにしました 感情推定、固有表現抽出など日本語を分析・整理するのにいろいろ使えます Windows + Officeユーザならマクロファイルで誰でも簡単に使えます ※Macだと多分動かないと思います。VBAのHTTPリクエストを有効にできないため。。。 9/1追記: コメント頂きましたが、64bit版OfficeだとjsonParseが動かないようなのでアップデートしてみました。動作確認できていないので自己責任でお願いします https://github.com/korinzuz2/excelcotoha/blob/master/COTOHA公開用64bitExcel対応版.xls
こんにちは! App EngineのスタンダードランタイムにRubyが追加されて喜んでいるバックエンドエンジニアのりほやん(高木)と、オレンジ色のチンアナゴは実はニシキアナゴという別種だったことに驚きを禁じ得ない塩ちゃん(塩崎)です。 4/9, 10, 11の期間で開催されたGoogle Cloud Next '19にZOZOテクノロジーズから高木と塩崎が参加しました! GCPの新しい機能や活用についての事例が多く紹介されました。 その中でも2人がカンファレンスで気になった技術を紹介します。 Cloud Run Cloud Runとは Cloud Runの特徴 実際に使ってみる 1. アプリケーションの準備 2. コンテナイメージをビルドする 3. Cloud Runにサービスを作成する App Engineとの違い サービスの比較 各サービスの概要 App Engine Cloud Ru
2019年7月31日、本田技研工業の従業員のメールアドレスや内部ネットワーク、PCに関連するElasticsearchデータベースが露出していたとして、対応の顛末が発見者により公開されました。この問題は本田のセキュリティチームに伝えられ、問題は解消されているとのことです。ここでは関連する情報をまとめます。 問題の発見者 Justin氏の報告 Honda Motor Company leaks database with 134 million rows of employee computer data https://t.co/IN9IESN0Ae— Justin (@xxdesmus) 2019年7月31日 Justin氏はクラウドフレア社 Trust & Safety担当のディレクター。 何が問題であったか 本田技研工業の従業員の名前やメールアドレス、連絡先の情報、同社内部の端末やネ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く