「jseval」を使用してYouTubeの動画再生数データを取得、スクレイピングするプログラムを書いてみます。 dockerをインストールして、Linux環境下で以下のように実行。 docker run --rm jseval \ --url "https://www.youtube.com/watch?v=kJQP7kiw5Fk" \ --evaluate "$(cat <<- EOT (async function(){ function waitForElm(selector) { // wait for element return new Promise(resolve => { if (document.querySelector(selector)) { return resolve(document.querySelector(selector)); } const obs

PostgreSQLのsql/plpgsqlでinvalid input syntax for type jsonエラーが起こる場合。 例えば以下のようなエラーに遭遇した。 ERROR: invalid input syntax for type json DETAIL: The input string ended unexpectedly. CONTEXT: JSON data, line 1: SQL state: 22P02 解決 jsonファイルの最後に空白行が入っている可能性があるので、それを除去する。 it was beucase an empty line in the end of the json file sql - PostgreSQL invalid input syntax for type json The input string ended unexpec

はじめまして。 本業はアスキーアート (以下AA) 職人のOsciiArtといいます (本業ではない)。 AlphaGo対イ・セドルの対局を見て、「僕もディープラーニングで神AA職人を倒したい！」と思い、pythonをインストールしてちょうど一年の成果を書いていきます。 コードはこちらにアップしてあります。 https://github.com/OsciiArt/DeepAA ここで扱うアスキーアートとは ここで扱うAAとは、 こういうの……↓ ではなく、こういうの……↓ でもなく、こういうの……↓ ともちょっと違って、こういうの……↓ ではもちろんなく、こういうのです。↓ このような、線画を文字を作って再現した「トレースAA」と呼ばれるタイプのAAをここでは扱います。 詳細はwikipediaの「アスキーアート」のページの「プロポーショナルフォント」の項を参照してください。 wikipe

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在してお

#PaaSサービスの簡単な説明 各ベンダーの提供サービスには予め学習されたモデルの翻訳や画像・動画認識などが用意されています。 Google Cloud Platform Google社が提供する機械学習プラットフォームになります。 サイズを問わず、あらゆるデータの機械学習モデルを簡単に構築できるマネージド サービスです。 クラウド上に用意されたTensorFlowも使えます。 ※サイトより抜粋 機械学習の内容 ・Cloud Machine Learning Engine 教師ありの回帰・分類、教師なしのクラスタリングなどさまざまなデータから学習ができます。 使用アルゴリズムは非公開。 Azure Machine Learning Azure Machine Learning は、クラウドの予測分析サービスであり、分析ソリューションとして予測モデルを迅速に作成し、デプロイできるようにします

pohotos by Ronnie Macdonald **「AIが人間の仕事を奪う」と言われ始めてしばらく経ちますが、今や「幻滅期に入った」**なんて言われ方もしています。おかげで僕は仕事を奪われることもなく、毎日満員電車に揺られています。奪う奪う詐欺もいいとこです。 そんなAIの発展にはもう少し時間がかかりそうな一方で、学べる環境は簡単に手に入るようになりました。触るなら、皆が幻滅しかかっている今な気もします。ということで、今更ですがAIの力を知るべく、ディープラーニングに触れてみることにしました。 いろいろ試したのですが、ここでは結果をメインに**「無知の状態から勉強しても、ディープラーニングでこれぐらいは楽しめるよ」**ということを伝えてみます。プログラムはお手本になるようなものではないので、見たい人だけに有料で公開してみます。 Kaggleでディープラーニングのお手並み拝見 最初

はじめに なんか、ガチ素人って書くとAVみたいですね ディープラーニングの知識ゼロの素人でしたが、1ヶ月の勉強でディープラーニング　ジェネラリスト試験1に合格しました。 せっかくなので、自分の経験を踏まえつつ合格への（おそらく）最短ルートをまとめてみます。 これからチャレンジしてみようという方の参考になれば幸いです。 ちなみに、僕のスペックはこんな感じです。 数年前まで理系の大学院生だった。 専攻は機械工学だったので、ディープラーニングの知識はゼロ。行列の計算くらいはできる。 お仕事は上流という名のパワポ職人。 多分これが一番早いと思います Coursera 色々なところで紹介されているので、今更細かい解説はしません。 騙されたと思って、Andrew先生の機械学習講座を修了してください。 修了する頃には「何がわからないかがわかる」＝「次にどんな勉強をすれば良いかわかる」ようになっていると思

はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの説明をハンズオン的に紹介します．これは非常にシンプルかつ柔軟な手法ですが，アドホックな部分が多いためかハンズオン的な解説は見当たりませんでした．Christoph Molnar による Interpretable Machine Learning の Global Surrogate に概要は示されているので機械学習に詳しい人はこちらを読めば十分かもしれません．関連するライブラリに LIME や TreeSurrogate がありますが，わたしがこ

社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス