1. 新卒1年目が終わる こんにちは。pira_ninoです。 表題の通り、 新卒1年目が終わりました。。。 いつまで「見習い」と名乗っていいのですかね(苦笑 せっかくの区切りなので、「受託分析会社の1年目が何をしているか」を自分の経験に基づいて書いていこうかなぁと思います。 2. 注意書き 受託分析なので、基本クライアントの名前が出る話は一切出せません。つまり、具体的な仕事内容については書けません。 これ故に、受託分析会社のデータサイエンティストは勉強会などの表舞台になかなか出てこないのかなぁと思っています。自分も色々話したいことはありますが、表舞台に出すのはやはり難しいです(汗 また、 私の所属会社を一部の方はご存知かと思いますが「一応個人のブログ」であることをご了承ください。 本記事では、「ふわっと」受託分析会社の1年目が何をしているかをお伝え出来ればと思います。 3. 全体的には良
Google Colaboratoryでタブレット・スマホからプログラミングや機械学習ができるようになっていた話 - Qiita
Google Colab（Colaboratory）をタブレットやスマホで試したらどうなるんだろう？と思って試してみました。結果、いけました。既出気味ではあるものの、スマホやタブレットで環境構築不要でプログラミングができてしまいます。 環境：iPad Air2 Colabの本来のサポート環境は、PC版のChromeとFirefoxなのでSafariだとうまく動かないこともあるかもしれませんが、ぱっとやった限りでは確認できませんでした。 こんな感じ 手書き数字画像（MNIST）の分類をしてみました。 iPadでディープラーニングできてる もちろんPC版同様、無料GPU使えます。 iPadで頑張って入力したコードはこちらです。 from keras.datasets import mnist from keras.layers import Dense, Input from keras.mo
Mengungkap Rahasia Menang Togel SGP Siapa yang tidak ingin menang dalam permainan Togel SGP? Setiap pemain pasti menginginkan kemenangan saat memasang taruhan. Namun, tidak semua orang berhasil meraih kemenangan tersebut. Ada yang mengandalkan keberuntungan semata, namun ada juga yang menggunakan strategi tertentu untuk memenangkan permainan ini. Nah, kali ini kita akan membahas rahasia menang Tog
もったいない！ そのWin７（VISTA）パソコン 捨てないでください！！ 「変身 ＵＳＢ」を挿すだけで、簡単にWindowsパソコンが変身します。 ＡＩ・ディープラーニング専用機に… Windows１０ Likeパソコンに… 耐タンパー性の高い シンクライアント端末に… 変身します。 Windows7は、来年１月でMicrosoft社 によるサポートが切れます。以後ウイルスなどには無防備となるので、そのままでのビジネス利用は非常に危険です。 ではWindows7パソコンは、もう廃棄・処分する他はないのでしょうか？ いえ、サポートが切れるのは Windows 7 OSだけです。OS以外は、CPU もメモリもディスプレイもみんな生きています。だからOSだけを入れ替えればよいのです。 それなのに、捨てるなんて！！ あまりにもったいない！ ＯＳだけを入れ替えれば、色々な利用方法に転用できます。
関連キーワード セキュリティ 最新の研究によると、プログラミング言語「Python」向け開発ツールとして広く普及している「PyInstaller」は、強力なマルウェア開発ツールとなる恐れがある。PyInstallerは、開発者がPythonで記述したソースコードを、各種OS向けの実行可能ファイルに変換するパッケージツールだ。 「PyInstallerはペイロード（マルウェアの実行を可能にするプログラム）の開発に使用できる」。ギリシャのピレウス大学（University of Piraeus）の研究チームは、2021年5月初めに発表した研究論文でこう述べた。PyInstallerで開発可能なペイロードは、主要なマルウェア対策ツールのスキャンを擦り抜け、悪意ある動作を実行することが可能だという。 併せて読みたいお薦め記事 「Python」についてもっと詳しく Java使いでも「R」「Pytho
クラウドで爆速開発・機械学習・IoTとAI融合など2019年も注目の技術10大講座まとめ、動画でサクッと学ぶUdemy新春キャンペーン
第三次産業革命(デジタル革命)ではPCやインターネットが急速に普及し、その技術を用いてワールドワイドウェブやEメールが登場しました。2019年になった今、そのデジタル革命の延長線として「第四次産業革命」が起きていると言われています。この第四次産業革命を通して「データ」、すなわち情報の取り扱いが大きく変わりつつありますが、その基盤となっているのがIoTや人工知能といった技術です。例えばIoTは「インターネット・オブ・シングス」の略称で、「すべてのものをインターネットに繋げる」ことを意味しますが、そのIoTでは冷蔵庫の中身を外出先から確認したり、帰宅する少し前にエアコンを付けておくなどさまざまな活用が考えられています。 上記のような、2019年も注目の技術をいち早く身に付けておくことで成長産業にポジションを取ることができ、自身のキャリア形成にその産業の成長という追い風を受けることができるように
Bermain online sangat senang. Namun, bisa mendapatkan kualitas yang baik hanya boleh bergabung dengan situs game terbaik dan terbesar. Jika Anda ingin mendapatkan fasilitas yang memberikan kepuasan, itu harus menjadi salah satu situs permainan terbaik. Tentu saja bukan tanpa fakta mengapa saya meminta Anda untuk bergabung dengan situs game terbaik. Beberapa penggemar game online, seperti kebanyaka
Kerasで最短で強化学習（reinforcement learning）する with OpenAI Gym - Qiita
はじめに 強化学習よくわからないけど，理論そっちのけでとりあえずパパッと動かして見たいせっかちな人向けです．つまり僕のような人間です． OpenAI Gymで，強化学習の環境を提供してくれているので，それを用います． OpenAI Gymはあくまでも環境だけで，実際に学習させるには他のものが必要です． 調べて見ると，Kerasで強化学習をやるkeras-rlを書いた人がいて，これを使うと簡単に試せそうだったので使います．先人に感謝． 環境の準備 今回の環境 Python 3.6.0 :: Anaconda 4.3.1 (x86_64) Mac OS Sierra 10.12.5 keras 2.0.5 (backend tensorflow) tensorflow 1.2.0 最初はディスプレイのないサーバーでやっていましたが，めんどくさかったので，ローカル環境でやりました． ちなみにディ
はじめに 「基礎から機械学習をちゃんと理解したいな」と思うことがあったので、学んだことを自分なりに整理してアウトプットしていきます。基本的には、自分の勉強のため（アウトプットが一番理解が深まると思っているので）ですが、私のような初学者のメモでも、同じような他の初学者の役に立つこともあるのではないかと期待しております。 記事やコードは、修正のリクエストを受けやすいようにQiitaとGitHubをメインにアップしていきます。私自身は、専門家でなく機械学習エンジョイ勢の一個人ですので、不足している点、分かりにくい点、間違いなどあるかと思います。過ちは真摯に受け止めたいと思いますので、是非知見者の方にコメント、編集リクエスト、Pull Requestをしていただけたらと思います。 現時点では、他のサイトに説明を丸投げしていたり、数式をきちんと記載できていないところ多々あるのですが、最終的には、この
![Pythonで基礎から機械学習まとめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0153c91147d4b84de7fbac87f6c3ee8222b4131/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190905%2F20190905002807.png)
DeepMind の深層学習ライブラリ Sonnet を早速試してみた - ディープラーニングブログ
どうも，Ryobot です．夜桜を眺めながら酒を呑みたい季節になって参りました． 追記 4/19 DeepMind から Differentiable Neural Computers の Sonnet 実装 が公開されました．今後も PathNet や Elastic Weight Consolidation 等の実装が公開されることを期待したいですね． Sonnet は 4月 7日に公開されたばかりの DeepMind 謹製の深層学習ライブラリである．もともと DeepMind の社内で使用されていた TensorFlow のラッパーライブラリだったが，論文の実装を共有しやすくするためにオープンソースとして公開したようだ．Sonnet の最たる特徴として再利用可能なモジュールを複数回接続して計算グラフを構成することが挙げられる．Sonnet は TensorFlow Core の関数や
AWS Certified Machine Learning – Specialty に合格してきました - YOMON8.NET
ここ数年のAIブームで、AIの勉強全くしてこなかった私でも、少しずつ仕事でAI関係に関わることができてきました。その度に部分的に頑張って追いつくというのを続けてきたのですが、そろそろ限界を感じたので、どこかで体系的に勉強しなくてはと考えていました。 勉強嫌いな方では無いですが、根がサボり屋なので、何か切迫した目標が無いと勉強に集中することができません。 そこで、5月中に「AWS Certified Machine Learning – Specialty 」を取得するというニンジンを設定して、今年のGWの10連休で勉強やろうと一年発起しました。 GWは子供が寝静まってから勉強というハードスケジュールでしたが、その甲斐あって、無事に試験合格したので、記事書きます。 勉強方法 基礎部分 試験向け 他にも役立った本 勉強時間 点数 その他試験の所感 まとめ 参考URL 試験ガイドとサンプル問題
PyTorchとは PyTorchはFacebookの開発するPython上でのテンソル計算・自動微分ライブラリで，特にディープラーニングに必要な機能が充実しています．2017年の初頭に公開され，瞬く間にTensorflow, Keras, Caffeに続くディープラーニングライブラリとして人気を博すこととなりました． Bonus: stars (not an indicator of usage, just proportional to how many people have landed on the GitHub page over the period). pic.twitter.com/IugHJqHSii — François Chollet (@fchollet) April 12, 2017 PyTorchはPreferred Networkのディープラーニングライブラ
セガゲームス第4事業部第4開発1部TA(テクニカルアーティスト)セクション*1 宮下です。2019年が始まって早１カ月がたとうとしてますが、あなたにとって2018年はどんな年でしたか？（少々時期外れな質問なのですが…） Readyyy! 私は2019年2月1日にリリースされたスマホタイトル「Readyyy!」に携わっており、とても忙しい1年でした。このタイトルは、プレイヤーが新人プロデューサー兼寮長として、男子高校生アイドル18人を育成するスマホゲームで、ゲームエンジンUnity*2を使って開発しています。 Readyyy! キービジュアル TAとして、3Dによるチビメンや「Live2D*3」の立ち絵をはじめとする「Readyyy!」の技術的なグラフィック表現の根幹を担っています。特に立ち絵については、ライティングという結構面白いことしているんですよ。 昼間、夕方、逆光などの環境によるライ
GitHub - keras-team/keras: Deep Learning for humans
Keras 3 is a multi-backend deep learning framework, with support for JAX, TensorFlow, PyTorch, and OpenVINO (for inference-only). Effortlessly build and train models for computer vision, natural language processing, audio processing, timeseries forecasting, recommender systems, etc. Accelerated model development: Ship deep learning solutions faster thanks to the high-level UX of Keras and the avai
闇のkerasに対する防衛術 - Qiita
他のDLライブラリを勉強するのが面倒という理由でkerasで実装されていないネットワークを組んではいけないというアンチパターンの話。つまり闇のkerasに対する防衛術の話です。 kerasでゴリゴリ学習コードを書いてはいけない kerasはLSTMが数行で書けたり、vggなどの有名なモデルが揃っている、便利なラッパーとなっていますが、kerasで実装されていない論文のコードを書くことは極力避けましょう keras以外に慣れていなくてもです。 とっととtensorflowかpytorchを勉強してください。 理由 通常のフィードフォワードな分類or回帰のネットワーク（全結合、CNN、autoencoderなど）や既にラッパーが用意されているLSTMは瞬時に実装できますし、パラメータチューニングも簡単なので是非kerasを使いましょう ただし以下のような場合は絶対にkerasを使わないでくださ
mrknさんが開発しているPyCallを使うと、RubyからPythonオブジェクトを操作できる。 Rubyから、Pythonの機械学習・統計分析のツールを利用することを目的としており、 ネット上にもnumpyやscikit-learnを実行する例があがっている。 Rubyist Magazine - PyCall があれば Ruby で機械学習ができる このPyCallで、Kerasを叩くことができれば、RubyでもDeep Learningできると思い試してみた。 まずはインストールから。 $ gem install --pre pycall ちなみに、実行環境をまとめると、Ruby 2.4.0、PyCall 0.1.0.alpha.20170317、Python 3.6.0、Theano 0.9.0、Keras 2.0.2である。 試したのは、MNISTの手書き数字画像を、畳み込みニ
Try Deep Learning in Python now with a fully pre-configured VM
New VM image — updated March 2018! I love to write about face recognition, image recognition and all the other cool things you can build with machine learning. Whenever possible, I try to include code examples or even write libraries/APIs to make it as easy as possible for a developer to play around with these fun technologies. But the number one question I get asked is “How in the world do I get
「スタバなう」ツイートをニューラルネットで学習してラーメン判定器を作る(keras+Tensorflow+VGG16) - Qiita
この記事の抜粋したコードの完全版はGitHubでご覧いただけます。 また、この記事で作成したモデルはTwitterのスタバ警察botで実際に試せるので、ご興味があれば適当な画像を「スタバなう」という文字列と一緒にリプライしてみてください。 こういうtweetが機械学習界隈からの怒りを買ってます(笑) https://t.co/COV1IHyh03 — Yuki Suga (@ysuga) July 26, 2019 というツイートからも分かるように、現在のスタバなうツイートは完全に関係ない画像で蹂躙されており、実際にスタバで撮影された画像は全体の24%しかありません。 逆にここまで来ると、残り76%の画像に着目した方が良いのではという気すらしてきます。 というわけで、「スタバなうと言いながら投稿される関係ない画像」の筆頭であるラーメンの分類器を、スタバなうツイートだけで作れるかどうか試して
2. Agenda 自己紹介 はじめに 鉄板レシピの全体構成 Recipe1: Survey Task Planning: モデルの要件を設計する Gather Images: 画像の収集を行う Implements Pipeline: 画像の処理プロセスを実装する Annotation: 画像へのアノテーション Recipe2: PreProcessing Calculate Parameters: 前処理用パラメーターの計算を行う Data Augmentation: 学習画像の拡張を行う Recipe3: Training Use Pretrained Model: 事前学習済みモデルを利用する Training: 学習を実行する Conclusion 3. 自己紹介(1/2) 久保隆宏 TIS株式会社 戦略技術センター
tensorflow 2.0 の紹介（日本語訳）
Define-by-run である Eager Execution がデフォルトとなり、 API も大きく変わりそうな tensorflow 2.0。 紹介の動画が詳しくそれらを説明してくれているので 英語のリスニング練習のために 大まかな内容を日本語に書き起こしました。 スクリーンショットはすべて上記動画のもので文章は基本的にはそれらの要点を引用し訳したものとなります。 訳は意訳で、細かい部分は書いていません。 動画の意図と異なる部分などありましたらご連絡ください。 最初に （このセクションは動画の翻訳ではありません） この動画では eager execution (eager-mode) の話が沢山出てきます。 eager execution を理解するには Define-and-run と Define-by-run の違いを理解しておく必要があります。 Define-and-run
Amazon SageMaker を使用したメジャーリーグベースボールでの新しいスタッツの計算 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker を使用したメジャーリーグベースボールでの新しいスタッツの計算 ファンに沢山の新しい展開を見せてくれた爽快なレギュラーシーズンが終わり、2019 年のメジャーリーグベースボール (MLB) ポストシーズンがやってきました。MLB とアマゾン ウェブ サービス (AWS) は、MLB ゲームで盗塁成功確率、シフトの影響、およびピッチャーの類似点マッチアップ分析の 3 つの新しいリアルタイムの機械学習 (ML) スタッツを開発して実現するためにチームアップしました。これらの機能は、莫大な量の野球データを収集し、ファンが野球の試合を楽しむあらゆる面において、より多くの洞察、見解、および背景を提供するための MLB の最新鋭テクノロジー、Statcast Ai を通じて、ファンが野球をより深く理解できるようにしてく
A Year in Computer Vision
A Year in Computer Vision Edited for The M Tank by Benjamin F. Duffy & Daniel R. Flynn The M Tank Also on Medium: Part 1, Part 2, Part 3, Part 4 Introduction Computer Vision typically refers to the scientific discipline of giving machines the ability of sight, or perhaps more colourfully, enabling machines to visually analyse their environments and the stimuli within them. This process typically i
最近、fast.aiのPractical Deep Learning for CodersというMOOCを受講している。 この講座は 無料 動画形式の講義（1回2時間というボリューム） Jupyter NotebookとKerasを使用 CNN、Finetuning、VGG16、ResNet、RNNなどが実践的な例題を通して学べる 実務家がDeep Learningで自分の問題を解決できることが目標 という特徴がある。講義内容は高度で実践的なものが多い印象。例えば、Lesson1でMNISTと思いきや・・・いきなりKaggleのDogs vs. CatsをVGG16 + Finetuningで解いてKaggleに投稿するところまでが課題になっている。これさえできれば画像認識が必要ないろんな課題に同じ技術を適用できるとのこと。 今はまだPart1しかないが、ForumのなかでPart2の動画
Google、機械学習をスマートフォンだけで処理する低遅延、低電力の画像認識技術におけるコンピュータビジョンモデル「MobileNets」をGitHubにて公開
Google、機械学習をスマートフォンだけで処理する低遅延、低電力の画像認識技術におけるコンピュータビジョンモデル「MobileNets」をGitHubにて公開 2017-06-15 Google Researchは、スマートフォンに基づいた機械学習による視覚認識技術において、スマートフォンが大量の電力消費を必要とせずに画像をよりよく認識できるよう支援するTensorFlowベースのモデルセット 「MobileNets」をオープンソースとしてリリースしました。 現在、Google Cloud Vision APIを通して、スマートフォンで捉えた画像から、分類したり、個々の物体や人の顔を検出したり、画像内に含まれているテキストを検出し読み取ったり、画像カタログのメタデータ作成、不適切なコンテンツの管理、画像の感情分析といったモバイルにおける機械学習モデルの視覚認識技術を提供しています。 こう
Deep Learningで遊びながらアイドルの顔診断器を作る #juicejuice - razokulover publog
最後にブログを書いてから１ヶ月が経ってしまいました。この期間の振り返りもしたいところですが、それはまた別の機会に。 今回はこの２週間くらいDeep Learningを使って画像を分類したりする遊びをしていましたのでそれについて。 まずは成果物から。 yuheinakasaka.github.io 画像をアップするとJuice=Juiceというハロプロのアイドルにどれだけ似てる顔なのかを判定できるサイトです(herokuの無料枠で動いてるのでサーバーはいともカンタンに死にます...😇)。 見せられるようなコードではないですが、一応ソースコードも置いておきます。 GitHub - YuheiNakasaka/yukanya: Juice=Juiceのメンバーを画像から判定する分類器 GitHub - YuheiNakasaka/yukanya-api GitHub - YuheiNakasa
14. ● from tensorflow.lite import TFLiteConverter #SavedModelからの変換 converter = TFLiteConverter.from_saved_model(model_dir) tflite_model = converter.convert() #KerasModelからの変換 converter = TFLiteConverter.from_keras_model(model) tflite_model = converter.convert() 14
※ This is a Japanese version. The English version is here. Information Dropoutという手法がある。 元々は深層学習の過学習を避けるために提案されていたテクニックであるDropoutを、与えられたタスクに対する最適なデータの表現を学習するInformation Bottleneckの観点から一般化する、という内容である。 この論文は2016年11月4日にarXivに初稿がアップされ(arXiv:1611.01353)、ICLR2017に投稿されていた。 残念ながら採択はされなかったが、レビュー結果には The authors all agree that the theory presented in the paper is of high quality and is promising but the expe
技育祭登壇しました。これから機械学習を学びたい方向けへの自分の経験談とおすすめの本、サイトの紹介もします | フューチャー技術ブログ
技育祭登壇しました。これから機械学習を学びたい方向けへの自分の経験談とおすすめの本、サイトの紹介もします TIGの玉木です。去年の12月までは主に機械学習エンジニアとして機械学習案件を任されていましたが、今年の1月からはITコンサルタントとして業務の幅が広くなりいろいろやっています。 先月技育祭 1と呼ばれるイベントの勉強会という枠で、同僚の上野さんと一緒に「初心者必見！ 機械学習エンジニアがあれこれ話します。〜基礎から実社会応用まで〜」というタイトルで発表しました。この記事では技育祭の簡単な紹介と、当日あったこれから機械学習学びたい方向けへの本、サイトの紹介をします。 技育祭とは公式サイト 1から引用させていただくと、 技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のテックカンファレンスです とのことです。元2ちゃんねる管理人のひろゆきさんや、東京大学の
Opensource.comは5月29日(米国時間)、「5 trending open source machine learning JavaScript frameworks｜Opensource.com」において、オープンソース・ソフトウェアとして開発が行われているJavaScriptの機械学習(マシンラーニング)フレームワークを5つ紹介した。機械学習技術は注目が高まっている分野であり、すでにいくつものフレームワークが提供されている。 紹介されているJavaScriptフレームワークは次のとおり。 TensorFlow.js - Webブラウザ上で機械学習が行えるオープンソースの機械学習ライブラリ Machine learning tools - さまざまな機械学習機能をサポートしたツール。幅広く利用することが可能 Keras.js - WebGLを使ってGPUでの計算をサポートした
応用人工知能チームの尾崎です。今年新卒エンジニアとして入社し、機械学習モデルの実装評価からAPIサーバの実装、コンテナを利用したプロダクトへの導入まで開発全般を担当しています。 今回はARINEで稼働中の畳み込みニューラルネットワーク (CNN) を用いた髪型・ネイル識別システムについてご紹介します。 背景 ARINEでは、おすすめのヘアスタイルやトレンドのコーディネートなど沢山の記事が公開されています。記事には数多くの写真素材が用いられていますが、これらの素材の多くは提携サイトから検索APIを提供してもらったり、提携サイト内の検索機能を用いて写真素材を探し選んでいました。しかし、一部の写真素材は自社で撮影していたり、最近ではヘアサロンやネイルサロンからも提供してもらっているため、それらの画像を検索する手段がありませんでした。 そこで今回、ライターさんが執筆に必要な写真素材を手軽に検索でき
Selain memiliki prediksi yang sangat akurat, Sbobet kini mempunyai jadwal Piala Dunia 2022 lengkap. Yang memberikan berbagai informasi terkait turnamen yang hanya di adakan selama empat tahun sekali ini. Karena tentunya tidak semua website memberikan beragam jadwal SBOBET88 yang akurat. Berbeda dengan Sbobet, saat ini memang menjadi yang paling andalkan dalam soal dunia olahraga sepakbola. Mengin
最新の深層学習技術による古典くずし字認識の現状と今後の展望 - May the Neural Networks be with you
こんにちは。@shunk031 です。 普段は最先端の技術が大好きなパソコンのオタクですが、京都へ旅行して古き良き日本の文化に感化されました。 この記事は 法政大応情 Advent Calendar 2020 21 日目の記事です。 From http://codh.rois.ac.jp/ 今回は日本古典籍の分類タスクについて取り組んでみようと考え、近年の日本古典籍における「くずし字認識」に着目して調査をしました *1。 日本古典籍といった古文書に対して、OCR 等の文字認識技術によって文字情報をデジタル化し、それらの情報をもとに解析を行う流れは現代では自然だと考えています。 しかしながら、一般的に OCR は難しく、また古文書を機械に解析させることはさらなる困難があるのは容易に想像できます。 くずし字認識に対して、近年の取り組みでは ROIS-DS 人文学オープンデータ協働センターが K
Jupyter NotebookでKerasのTraining進行状況を表示する（keras-tqdm） - shobylogy
Jupyter NotebookからKerasを使用すると、Trainingの進行状況がよくわからなくて不便ですよね。 keras-tqdmというライブラリを使うと、Jupyter NotebookでKerasのfitメソッドの進行状態をprogress barで表示してくれます。 GitHub - bstriner/keras-tqdm: Keras integration with TQDM progress bars インストール方法 pipでインストールできます。 pip install keras-tqdm 使い方 modelのfitメソッドを呼び出す際に、callbackとして渡すだけです。 from keras_tqdm import TQDMNotebookCallback model.fit(X_train, Y_train, verbose=0, callbacks=[
AWS上で機械学習を運用しているデベロッパーやデータサイエンティストのためのイベント「ML@Loft」。第11回のテーマは、類似画像/テキスト検索です。ネットショップを作れるサービスBASEには、店舗を横断して類似商品を表示する機能があり、類似商品を検索するためのAPIが使われています。BASE株式会社／Data Strategyチームのエンジニアである氏原淳志氏が、この類似商品APIの仕組みと運用について紹介します。 BASEにおける類似画像検索を利用した関連商品表示の裏側 氏原淳志氏：今日は「『BASE』の類似商品APIの裏側」という内容でお話しします。 まず自己紹介します。私は氏原淳志と言いまして、BASE株式会社でData Strategyチームのエンジニアをやっております。Data Strategyチームというのは、データの分析であったりとか機械学習であったりとかを担当するチーム
ハイパーパラメータを探索するため、グリッドサーチやOptunaなどを利用することがあると思います。 しかし、「ハイパーパラメータ探索してみた」のようなQiita記事などでは間違って書かれていることも多いのですが、XGBoostやLightGBMの n_estimators ( num_boosting_rounds )やKerasの epochs をパラメータサーチの対象にしてはいけません。 いけません、というか、すごく無駄なことをしています。 なぜ、n_estimatorsやepochsを探索すると無駄なのか 理由はシンプルで、これらのパラメータは「大きい値で精度確認する過程で小さい値の結果も分かる」からです。 LightGBMのn_estimatorsは構築する決定木の数を表しています。 例として、n_estimators=5 (こんな小さい値で学習することはないですが、簡単のため)で
はじめに：Optunaとは 使い方 インストール 最適化問題の例 問題設定 最適化 最適化の結果 ニューラルネットワークのハイパーパラメータチューニング 問題設定 実装 ハイパーパラメータを引数に取り、ニューラルネットワークを構成する関数 ハイパーパラメータを引数にとり、最適化手法を返す関数 ハイパーパラメータを引数に取り、学習済のモデルを返す関数 ハイパーパラメータを引数に取り、最小化したい値を返す目的関数 いざ最適化 はじめに：Optunaとは OptunaとはPFNが世に送り出した最適化枝刈りライブラリです。 Pythonのコードとして機械学習のコードのどこにでも入れることができ、非常に使いやすいAPIとなっています。大体、結構丁寧なサンプル・解説が公式ドキュメントに既にあるので、分かる方は此方を読むのが一番早いでしょう。 Welcome to Optuna’s documentat
Googleが開発した多言語の埋め込みモデル「LaBSE」を使って多言語のテキスト分類 - Ahogrammer
自然言語処理において、テキストをその意味を考慮しつつ固定長のベクトルに変換する埋め込みモデルは重要です。文の意味をよく表現したベクトルを作ることができれば、テキスト分類や情報検索、文類似度など、さまざまなタスクで役立ちます。本記事では、Googleが開発した多言語の埋め込みモデル「LaBSE」を使って、テキスト分類をする方法を紹介します。単なるテキスト分類では面白くないため、学習には英語のデータセットを使い、評価には日本語とフランス語のデータセットを使います。 記事では要点だけを紹介するので、コードについては以下のノートブックを参照してください。 Text Classification with LaBSE LaBSE LaBSEは、Googleが「Language-agnostic BERT Sentence Embedding」という論文で提案したモデルです。109の言語に対応しており
Goodfellow先生が紹介していた面白い手法。シンプルかつ強力なCNNの計算コストの削減手法。精度も上がるらしい。サクッと実装できちゃったので試してみました。 OctConv is a simple replacement for the traditional convolution operation that gets better accuracy with fewer FLOPs https://t.co/5CSylHVdA2 pic.twitter.com/kTK96gNj1i — Ian Goodfellow (@goodfellow_ian) April 15, 2019 元の論文 Y. Chen, H. Fang, B. Xu, Z. Yan, Y. Kalantidis, M. Rohrbach, S. Yan, J. Feng. Drop an Octave: R
![[最新論文]Octave Convolution（OctConv）を試してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bbe333c725047d5850a891142cef2a6ae3376140/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU2JTlDJTgwJUU2JTk2JUIwJUU4JUFCJTk2JUU2JTk2JTg3JTVET2N0YXZlJTIwQ29udm9sdXRpb24lRUYlQkMlODhPY3RDb252JUVGJUJDJTg5JUUzJTgyJTkyJUU4JUE5JUE2JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iMjVlZmQ3ZDM4M2UxMDFkYjVkZTg2MTcxNTM5ZDE2NA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrb3NoaWFuMiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZGI1MGMwNmIwYWMzZjkwMDg3MDE5OTEzNWRhMjRkMjg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dc7338b5db7657b1395649549b105022c)
本日12月1日より、プログラマやエンジニア、企業、学生、団体などの有志による2017年の技術系Advent Calendar（アドベントカレンダー）が各所ではじまり、一日目を担当する人の記事が公開されてきている。 一般的なAdvent Calendarはクリスマスを楽しみに待つために、12月1日から24日までの日付部分が扉などになっていて開くことができるカレンダーを指す。そして1日ずつその日の日付の部分を開くと、天使や動物の絵などが見えるという仕組みになっている（様々なバリエーションがある）。 これに発想をえて、技術系Advent Calendarでは、12月1日から25日までの25日間、特定のプログラミング言語縛りなどの緩やかなルールで、毎日別の人（日付を埋めるために同じ人が複数回担当することもある）が自分のblog等にて記事を書くというのが基本的な形になっている（特設サイトを用意して
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンティスト見習い 新卒1年目が終わる - 下町データサイエンティストの日常
【2013年最新版】日本語の有料WordPressテンプレート・テーマ30選 | メシオプレスブログ
そのWin７（VISTA）パソコン 捨てないでください！！
「Python」で“スキャン擦り抜けマルウェア”の開発が容易に？ 判明した問題は
school food punishment official website
Pythonで基礎から機械学習まとめ - karaage. [からあげ]
PyTorchでディープラーニング | moskomule log
Are you readyyy to Deep Learning!? - SEGA TECH Blog
PyCallを使えばRubyでもKerasでDeep Learningができる - 洋食の日記
画像認識モデルを作るための鉄板レシピ
Practical Deep Learning for Coders - 人工知能に関する断創録
TensorFlow Liteを使った組み込みディープラーニング開発
http://www.mathgram.xyz/entry/keras/mnist
Information Dropoutの数理とKeras実装
人気のオープンソースJavaScript機械学習フレームワーク5選
美容サイトARINEで稼働中の機械学習を用いた髪型ネイル識別システム | GREE Engineering
Agen Sbobet Bandar Bola Casino Online
BASEアプリにおける類似画像検索の裏側 機械学習における画像とテキストの使い分け
なぜn_estimatorsやepochsをパラメータサーチしてはいけないのか - 天色グラフィティ
Optunaでハイパーパラメータチューニング - HELLO CYBERNETICS
[最新論文]Octave Convolution（OctConv）を試してみる - Qiita
本日12月1日より、2017年の技術系Advent Calendarが各所ではじまる | gihyo.jp