この処理Pythonでどう書く？ - エムスリーテックブログ
EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ
全部Amazonで買える。生活の質を上げる、買って良かった“ちょっとした物”まとめ。 | DRESS CODE.（ドレスコード）
ぼくは普段から気になったものがあればすぐに買って試してしまうタイプ。中には失敗したなと思う買い物もありましたが、気に入ってずっと使っている物も沢山あります。 この記事ではそうした1つ1つ紹介するほどではないけど、買って良かったと思っている“ちょっとした物”をご紹介します。 紹介するのはどれもAmazonで手軽・安価に買えて、あればちょっと生活の質が上がるものを厳選しました。実際に使って良かったものばかりなので、ぜひ試してみてください。 身だしなみのケア用品 まずは身だしなみを整えるケア製品を紹介。20代後半を迎えてからお肌を始めとして体の至るところが「あ、曲がり角曲がったな」と感じることが増えました。 それ以来、自然と日々のケア用品も積極的に試してみるように。 BRAUN 電動シェーバー 「ヒゲを剃るのにカミソリを使うのは、自分の肌に毎日刃物を突き立ててるのと同じ。」 友人からこう言われて
決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog
こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多
【kerasの使い手必見】複数モデルを学習させるシステム作りました。
俺の思想世界 ほんとディープラーニングって手作業多いよな。。。 → モデル作って実行、モデル作って実行、あーーー。めんどくさい → モデルを複数作って後は自動化したい。 → 自動化したら優秀なモデルだけ保存する機能とかつけてみたり、、、。 気がつくと俺はemacsとterminalを開いていた。 そして、１時間ほどで完成いたしました。 その名も！ Modeler! (モデラー) ソースコードはこちら kerasの復習 kerasに使い慣れている人は読み飛ばして下さい。 ◼️kerasコーディングの流れ データを用意する モデルを構築する モデルに学習させる モデルを評価する 1.データを用意する from keras.datasets import mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() from ker
蒸留 第2回 | DeepX AI Blog
こんにちは、エンジニアの中村です。 前回の記事 (蒸留 第1回) で、ディープラーニング技術における蒸留という手法の基本とその発展を俯瞰的に見てきました。 その中で、ディープラーニングを実用する際に直面する本番環境の計算リソースの制約という問題について触れました。蒸留は、ディープラーニングのモデルを軽量化させる機能があり、それにより、この問題を緩和・解消できることに言及しました。また、具体的には、訓練済みモデルに蓄えられた知識を別の軽量なモデルに継承する形でディープラーニングモデルを軽量化し (モデル圧縮)、本番環境の制約下でも使用可能な、軽量かつ高性能なモデルを開発可能とすることを紹介しました。 今回の記事では、蒸留によるモデル圧縮について、該当する論文をいくつか参照して、詳細に紹介していきたいと思います。分類タスク、回帰タスクそれぞれの代表的な研究例を取り上げます。まず、分類タスクにお
時系列データでVariational AutoEncoder keras - 機械学習を学習する天然ニューラルネットワーク
はじめに 前回の記事で時系列入力に対するオートエンコーダーを組んだ。 aotamasaki.hatenablog.com 今回は潜在変数を正規分布に押し込むというVariational AutoEncoderを組んでみた。CNNとVAEを組み合わせる記事は割と見つかるのに、RNNとなったとたん見つからないものである。 データはMNISTであるが後述するように、時系列だと見なして入力した。 まずはモデルとデータの概要を説明する。そのあと、結果で再構成された数字と生成された数字の例を示す。最後に、潜在変数Zが正規分布になっているのか確かめる。 はじめに モデルの概要 データの概要 結果 Zは本当に正規分布をしているのか？ まとめ 参考文献 モデルの概要 また、赤字で示した損失関数についての数式は以下のようになっている。詳しくは最後に示す参考文献を見ていただきたい。 コードはこんな感じ def
Logging in Python – Real Python
Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Logging in Python Logging is a very useful tool in a programmer’s toolbox. It can help you develop a better understanding of the flow of a program and discover scenarios that you might not even have thought of while developing. Logs provide d
機械学習を用いた要因分析 - 実践編
プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat
Macへのspacemacsインストールメモ - Qiita
普段エディタとして Emacs を使用していますが、vimとのいいとこ取りをした(?) 「spacemacs」 なるものがあることを（今さら）知ったので、インストールして使うことにしました。 公式のインストール手順 も丁寧に書かれているし、特につまずくところもないのですが、メモとして残しておきます。 インストール 事前に インストール済みEmacsのアンインストール ベースとするEmacsとして、公式のインストール手順にも記載されている emacs-plus を使うので、 すでにEmacsがインストールされている場合はアンインストールしておきます。 .emacsの退避 既存のEmacs設定 ~/.emacs.d および ~/.emacs をリネームするなどして退避しておきます。
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ Kaggleの上位入賞者であるKaggle Grandmasterを獲得した、Sansan株式会社のデータサイエンティスト高際睦起さん。模範となるソースコードをもとに考え方や解析手法を教えていただきました。 「Porto Seguro’s Safe Driver Prediction」とは？ 【技法1】前処理 【技法2】特徴抽出 【技法3】予測モデルの作成 Kaggle初心者は何から始めるべき？ データサイエンティストを目指す若き人たちへ 世界中のデータサイエンティストたちが集まり、企業や研究者が投稿したデータに対する高精度なモデルを競い合うプラットフォーム・Kaggle。メンバーは100万人を超えており、良問の多さや参加者のレベルの高さゆえに、機械学習を学ぶ者にとって優れた研鑽（けんさん）の場となって
学習済み分散表現をTensorBoardで可視化する (gensim/PyTorch/tensorboardX)
word2vecや系列モデル等で学習した分散表現の埋め込みベクトル（word embeddings）は、単語の意味をベクトル空間上で表現することが可能です。最も有名な例では「King - Man + Woman = Queen」のように意味としての加算や減算がベクトル計算で類推可能なこともあり、ベクトル空間の解釈として低次元へ写像する形で分散表現の可視化が行われています。 可視化の際に用いられるツールとしては、TensorFlowのツールの一つであるTensorBoardが、豊富な機能とインタラクティブな操作性を備えていて一番使い勝手が良いと思います。ただ、TensorFlowと組み合わせた可視化は容易なのですが、他のツールやパッケージで作成したコードをそのまま読み込めないなど、かゆいところに手が届かないと感じる部分もあります。 そこで今回は、すでに学習された単語の分散表現を可視化するため
畳込みニューラルネットワークの基本技術を比較する ーResnetを題材にー - Qiita
今更ながら、畳込みニューラルネット（CNN）の基本技術を比較します。 やりたいことは、どの技術が一番効果があるのか数値化します。 以下の流れでやっていきます。 （基本のCNN） → （Resnetの各技術を追加していく） → （+最先端技術） 基本のCNNに、Resnetに出てくる技術を追加しながら、分類精度の上昇幅を比較します。 コードはkerasで書いています。 Resnetとは 2015年に登場したモデルで、層を飛ばす仕組みを作ることで、深い層を作っても 学習可能なモデルとなりました。ディープラーニング業界では、斬新なアイデアで 革命を起こしました。 詳しくは以下の記事をご覧下さい。 https://qiita.com/koshian2/items/343a55d59d8fdc112661 データのダウンロード 使うデータはCIFAR-10です。これは、32×32サイズの画像が入った
『Customized Regression Model for Airbnb Dynamic Pricing』を読んでまとめた 【KDD2018】 - honawork
はじめに 2018年8月19日から23日にかけてロンドンで行われたKDD2018（データマイニングの世界的なカンファレンス）に採択されていた『Customized Regression Model for Airbnb Dynamic Pricing』なる論文を読みました。 Airbnbで実装されている価格推薦モデルについての論文で、 ビジネス・ユーザー視点を取り入れており、 「価格を下げれば予約されていた」と、「もっと価格を上げていてもよかった」というニーズ それをうまくモデル化していて、 上記を損失関数として定量化 さらにシンプルな構造で理解しやすい ①予約確率の予測→②最適価格の提案→③パーソナライズと、マクロ→ミクロに落ちていく構造 という点において優れたデータサイエンスの応用例であると感じたため、主要な論点を要約しつつ解説に取り組んでみようかと思います。 はじめに 論文の要旨 最
機械学習モデルのハイパパラメータ最適化
The document discusses hyperparameter optimization in machine learning models. It introduces various hyperparameters that can affect model performance, and notes that as models become more complex, the number of hyperparameters increases, making manual tuning difficult. It formulates hyperparameter optimization as a black-box optimization problem to minimize validation loss and discusses challenge
統計的因果推論のためのPythonライブラリDoWhyについて解説：なにができて、なにに注意すべきか - Unboundedly
機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ
Python: ベイズ最適化で機械学習モデルのハイパーパラメータを選ぶ - CUBE SUGAR CONTAINER
機械学習モデルにおいて、人間によるチューニングが必要なパラメータをハイパーパラメータと呼ぶ。 ハイパーパラメータをチューニングするやり方は色々とある。 例えば、良さそうなパラメータの組み合わせを全て試すグリッドサーチや、無作為に試すランダムサーチなど。 今回は、それとはちょっと違ったベイズ最適化というやり方を試してみる。 ベイズ最適化では、過去の試行結果から次に何処を調べれば良いかを確率分布と獲得関数にもとづいて決める。 これにより、比較的少ない試行回数でより優れたハイパーパラメータが選べるとされる。 Python でベイズ最適化をするためのパッケージとしては Bayesian Optimization や skopt、GPyOpt などがある。 今回は、その中でも Bayesian Optimization を使ってみることにした。 使った環境は次の通り。 $ sw_vers Produ
英語力をどうやって鍛えるか？ 私の勉強法を公開します！｜とくさん｜MYCOPING
この記事は私のブログに過去投稿したものを、追加の情報を入れて再編集したものです。英語の勉強の参考にしてくださいませ！ ------------------ 私が普段どうやって英語の勉強をしているか聞かれることがよくあるので、まとめてみました。 私のバックグラウンドとしては、大学時代に1年間アメリカの大学に交換留学、新卒で入ったメーカーで海外営業、外資IT企業の経営管理部門で外国人役員や本社メンバーとやり取り、という経歴なので、英語はずっと仕事で使ってきました。ただ、英語力は筋肉などと同じで普段から鍛錬していないとすぐなまるので、色々と試行錯誤しています。 リスニングまず、リスニングは毎朝の通勤時にポッドキャストを聴いています。やはり定番のものが良くできていて、まずはBBC Worldです。 さすがBBCという感じで、世界中の政治・経済・文化についてのニュースがコンパクトに30分程度でまとま
代表的なCNNのアーキテクチャについて - HKENTO's Blog
CNNについて調べているとLeNetやVGGなど名前のついた構成のネットワークがでてくるのでまとめてみました。各項目の最後に原著論文を載せています。 LeNet 1998年に提案された、現Facebook AI ResearchのYann LeCun先生によるCNNの元祖となるネットワーク。畳込み層とプーリング層を交互に重ねたネットワークで、この時点ですでに現在使われているアーキテクチャとほぼ同じ形になっている。活性化関数がシグモイド関数な点、プーリング層がMaxプーリングではなくサブサンプリングで縮小している点などが特徴。 Gradient-Based Learning Applied to Document Recognition AlexNet LeNetが登場してから14年ほど経った2012年に発表された、トロント大のHinton教授を含むチームによるネットワーク。ImageNet
Simple Fast Exploratory Data Analysis in R with DataExplorer Package
Exploratory Data Analysis plays a very important role in the entire Data Science Workflow. In fact, this takes most of the time of the entire Data science Workflow. There’s a nice quote (not sure who said it): “In Data Science, 80% of time spent prepare data, 20% of time spent complain about the need to prepare data.” With R being the go-to language for a lot of Data Analysts, EDA requires an R Pr
データ ＆ アナリティクス | アクセンチュア
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
