引っ越しすることになったので機械学習を使って全力で自分の住む家を決めようとした話 - Qiita
みなさん、こんにちは!! こちらは「ABEJAアドベントカレンダー2020」の10日目の記事です。 2日目に続き２回目の登場ですが、また仕事関係ない話です。 11月中旬：遠方に引っ越すことが決まった ここから、このプロジェクトは始まりました。 年内目標での引越しです。 なかなかの短期プロジェクトです。 ※ちなみに転勤や転職ではなく家庭の事情です。ABEJAではフルリモートで働き続けます。 早急に物件を探さねければ 引越し目標まで１ヶ月半、時間がありません。 そして引越し先は実家のある名古屋とまでは決まっているのですが、あまり土地勘がありません。 そのため、どのあたりに住むのがいいのか？それもあまり分かりません。 まずは、賃貸検索サイトで探します。 。。。どの物件も今（横浜）よりは安いです。お得そうです。 でもどれが良いかなかなか絞り込めません。気軽に内覧行ける距離でもありません。 機械学習
Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita
こんにちは、Exploratoryの白戸です。 Appleは新型コロナウイルスの対策支援として、Appleマップでの経路検索をもとにした移動傾向のデータを公開しています。ところが、残念ながらこのデータはそのままでは簡単に可視化できるようなフォーマットになっておらず、ちょっとした加工を行う必要があります。 しかし逆に、加工の仕方さえわかってしまえばそれぞれの都市や地域の移動データを可視化することで、恐怖を煽るばかりのマスコミからは見えてこない現状を理解することができるようになります。 今回はこのAppleの移動傾向データを簡単に可視化できるようにするための基本的な加工方法を、みなさんと共有させていただければと思います。 データはこちらからダウンロードすることができます。 以下は「モダンでシンプルなUIを使ってデータサイエンスができる」Exploratoryを使って、「日本で最も自粛している都
ディープラーニングさえあれば、競馬で回収率100%を超えられる - Qiita
pohotos by Ronnie Macdonald 「AIが人間の仕事を奪う」と言われ始めてしばらく経ちますが、今や「幻滅期に入った」なんて言われ方もしています。おかげで僕は仕事を奪われることもなく、毎日満員電車に揺られています。奪う奪う詐欺もいいとこです。 そんなAIの発展にはもう少し時間がかかりそうな一方で、学べる環境は簡単に手に入るようになりました。触るなら、皆が幻滅しかかっている今な気もします。ということで、今更ですがAIの力を知るべく、ディープラーニングに触れてみることにしました。 いろいろ試したのですが、ここでは結果をメインに「無知の状態から勉強しても、ディープラーニングでこれぐらいは楽しめるよ」ということを伝えてみます。プログラムはお手本になるようなものではないので、見たい人だけに有料で公開してみます。 Kaggleでディープラーニングのお手並み拝見 最初にディープラーニ
レコメンドシステム入門 Javascriptで実装する｜es
レコメンド（推薦システム）に関して素晴らしい記事があったので訳してみました。訳に難があるが、そこはご勘弁ください。 プログラム実行してみると理解できると思います。入門者に打って付けの記事です。 以下、本文。 インターネットの世界はレコメンドで溢れていますね。 Amazonのように商品を購入するeコマース・サイト、Facebookのようなソーシャルネットワーク、YoutubeやNetflixのようなビデオ/映画サイトなど。これらのサイトに共通するのは、あなたに新しいものを推薦するために、映画、商品と友人などの過去のデータを使うことです。 この記事では、レコメンド機能がJavaScriptで、どのように動くか簡単に紹介します。推薦システムを実現するための、異なるアプローチも見ていきます。最終的にはアルゴリズムを切り替えただけで、結果を出力できるようにします。映画評論家の小さいデータセットと、M
中学生でもなんとなくわかるDeepLearningのアルゴリズム
人工知能（AI）やDeepLearning（ディープラーニング），この頃よく聞きますよね． しかし，いまいち何なのかよくわからないという人は多いのではないでしょうか． 私の周りの人たちも教養として興味はあるけれども，数式が出てくると何がなんだかという人が多いようです． また，人工知能やディープラーニングをビジネスに応用したいけど何ができるのか全く見当もつかないといった人も多いようです． そもそも，ディープラーニングとはなんのことなんでしょう．AIや機械学習との違いはどこにあるのでしょう． そこで今回はエンジニアや理系の学生でない人に向けて，ディープラーニング（主にその基礎となるニューラルネット）の仕組み，原理，アルゴリズムや種類，それが何の役に立つのかについて解説してみようと思います． このような場合には，よくわからない記号が出てくる数式は避けるべきだと思います． しかし，すべてを包み隠さ
【スケベ】女性用アダルト動画のデータを分析して、女性から評価が高いアダルト動画をデータ分析してみた
こんにちは、スケベサイエンティストのDai (@never_be_a_pm)です。 世の中の男性、アダルトビデオから間違った性の知識を得がち問題 さて、よく女性からこんな意見を聞きます。 「世の男性はアダルド動画を見すぎている。そこで変な知識をつけてしまって、気持ち良いSEXをすることができない」 確かに、世の男性は女性が喜ぶ正しいSEXをよく理解しておりません。特に経験が足りない童貞にとっては、学びたくても学ぶことが経験から学べないという、深刻な問題を抱えています。その結果、日本では年間６万人以上の童貞が、いきなり局部に手を突っ込んでいると報告されています。 これは非常に社会的な問題なのではないかと思います。そして、もし女性が喜ぶSEXを男性が知ることができたら、童貞もSEXできるし、女性も喜んで童貞とSEXできます。 女性が喜ぶSEXとは何か分かれば、童貞にもチャンスがあるのではないか
Pythonによるスクレイピング&機械学習のお勉強その6-2 - Word2Vecで文章をベクトル変換しよう - Qiita
今回の目標 このシリーズでは教科書(文献1)に沿ってPythonによるスクレイピングと機械学習を学びます。今回は第6章「テキスト解析とチャットボットの作成」から6-2「Word2Vecで文章をベクトル変換しよう」を学びます。 このシリーズの学習では、原則教科書のサンプルプログラムを作成してゆきますが、著作権に配慮し、できるだけそのままではなく類題を作成して勉強してゆく方針です。 教科書で勉強することの整理 この節ではWord2Vecを用いて様々な文章に出てくる単語の解析を行う手法が解説されています。Word2Vecの実装としてはGensimを用いています。教科書のサンプルプログラムでは word2vec-kokoro.pyで「こころ」の文章をWord2Vecモデル化して保存 対話環境で「こころ」のモデルに出てくる単語の類義語を抽出 青空文庫から夏目漱石、芥川龍之介、太宰治の作品を一括ダウン
「TensorFlow.js」公開、Webブラウザ上で機械学習の開発、学習、実行が可能に。WebGL経由でGPUも活用
「TensorFlow.js」公開、Webブラウザ上で機械学習の開発、学習、実行が可能に。WebGL経由でGPUも活用 TensorFlow.jsの基となったオリジナルの「TensorFlow」は、Googleが開発しオープンソースとして公開されている機械学習ライブラリです。Windows、Mac、Linuxなどに対応し、Python、C＋＋、Java、Goなどに対応したAPIを備えています。 今回発表されたTensorFlow.jsはそのJavaScript版で、Webブラウザ上で実行可能。TensforFlow.jsのAPIはオリジナルTensorFlowのPython APIのすべてをサポートしているわけではありませんが、似た設計となっており、機械学習のモデルの構築、学習、学習済みモデルの実行が可能なほか、学習済みモデルのインポートも可能。 WebGLを通じてGPUを利用した処理の高
LINEでみりあちゃんと会話できるようにした(Seq2Seqとキャラ対話データを用いた転移学習によるキャラクター性対話ボットの作成) - muscle_keisukeの日記
この記事はシンデレラガールズAdvent Calendar 13日目の記事です． 目次 目次 はじめに みりあちゃん大好き どうやってみりあちゃんとお話するか みりあちゃんモデルの作成 Seq2Seqで対話ボットの学習 Seq2Seqとは モデルの作成 転移学習でみりあちゃんの口調を学習 転移学習とは 口調の学習を行う方法 データの収集 Twitterから対話データの収集 ツイートとリプライを取得 データの整形 デレマスのSSなどからみりあちゃんの対話データを収集 取得したデータの整形 取得したデータ数 実際に学習を行う 環境 Twitterデータでクソリプボットに データでかすぎ問題 モデルの会話例 転移学習でみりあちゃんボットに モデルの会話例 LINEでみりあちゃんとお話しできるようにする LINE APIの使用 VPSにサーバを建てる 学習済みボットを物理サーバーに載せる VPSの
Deep Learningで「いらすとや風人間画像生成モデル」を作った話（DCGAN、Wasserstein GAN） - ぬいぐるみライフ？
フリー素材サイト「いらすとや」に出てくる人間風の画像を自動生成するモデルをDeep Learningで作りました。実装にはGoogle製のライブラリ「TensorFlow」と機械学習アルゴリズムの「DCGAN」「Wasserstein GAN」を用いています。 以下は生成された人間画像のうちそれなりにきれいなものの一例です。頬のところが赤くなっていて何となく本家いらすとやの特徴を捉えられていると思います。 「いらすとや」とは？ 実装した手法の概要 DCGAN、Wasserstein GANについて Generator Discriminator GeneratorとDiscriminatorの学習 学習や実装の詳細 Generator、Discriminatorのネットワーク構成やパラメーター 訓練データ その他 学習経過 モデルを検証する 入力にバイアスを掛けていい画像を出やすくする ま
ScalaでDeeplearning4jを使い自動運転で峠を攻める！ - FLINTERS Engineer's Blog
こんにちは。菅野です。 最近、AIとか機械学習とかが話題ですね。 AIに仕事を奪われる職業がどうとかの記事もよく見かけます。 このブログ記事もAIが書いてくれたら良いのにと思っている今日この頃です。 …でも思ってるだけでは仕事を奪ってくれないので、やっぱり何かしら自分で作るしか無さそう。 という訳で、今回はJavaでディープラーニングが出来るDeeplearning4jを使って機械学習を試します！ プロジェクトD さて、何を作りましょう？ 最終的には私の仕事を勝手にやってくれるAIを作りたいです。 でも、はじめは簡単なものから少しずつ作っていこうと思います。 よくディープラーニングでネタにされるのは手書き文字の識別ですが、正直面白くないので道路上を自動運転するAIを作ります！ 嘘です。 いきなり作るのは無理があるので、画像の道路が左カーブなのか、右カーブなのか、あるいは直線なのかを分類し画
fastTextの実装を見てみた
最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https
国の統計を自由にグラフ化！総務省の「統計ダッシュボード」を使いこなそう
マーケターのみなさんにとって人口や地域ごとの住宅着工数のような社会のデータを調査する機会は多いでしょう。 しかし、自分でデータを探し、Excelに落とし込んでグラフを作成する作業は手間がかかります。「明日の会議のために急にデータが必要になった」という切羽詰まった状況を経験したことがある人もいるかもしれません。 そんな方にとって必見なのが、2017年5月に総務省が公開した*『統計ダッシュボード』*です。 今回は、統計ダッシュボードの使い方を解説します。 統計ダッシュボードは国勢調査や経済センサスで得ている5,000ものデータをもとに構成されており、知りたい項目を選択するだけで自由にグラフを作成できます。 商用利用も可能なので、社内資料だけでなく、顧客向けの資料でも活用できるでしょう。 参考： [「統計ダッシュボード」の提供開始｜総務省] (http://www.soumu.go.jp/men
トランプ氏のツイートを機械学習し、為替の予測をしてみた。〜GCP ML系使い倒し〜 - Qiita
GCPのML系機能を使いまくりたい・・という時にちょうど良い題材があったのでやってみました。GCPは機械学習を行う上で必要なデータ取得、preprocessing、学習と予測まで、フルマネージドな環境が揃っています。今回はその中で以下を使用しました。 ML Engine Dataflow BigQuery Natural Language API Datalab コードは全てDatalabで実行しました。開発環境を整える必要もなく、インタラクティブに結果を見られるのでGCPのML系を触るときは特におすすめです。 概要 色々発言が注目されるトランプ氏ですが、市場への影響はどれ位でしょうか？ツイートの後と通常(ランダムに時間帯を選択)でUSDJPYの価格変動がどう違うか比較します。 ランダムな日時 ツイート後 横軸は分、縦軸は変動(円)です。きちんと分散をみていませんが、ツイート後10分は荒れ
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
The document summarizes a presentation on machine learning methods for graph data and recent trends. It introduces graph data and common graph neural network (GNN) approaches, including Recurrent GNNs, Convolutional GNNs, Graph Autoencoders, Graph Adversarial Methods, and Spatial-Temporal GNNs. It then discusses the GNNExplainer method for explaining GNN predictions and concludes with an overview
科学者のあり方を変える帰納プログラミング - SmartNews Engineering Blog
こんにちは。スマートニュースの高橋力矢です。前回のブログでデータ分析+ゲーム理論を題材として、帰納と演繹をまとめる利点をお伝えしました。なんらかの入力 (e.g., ゲーム理論における利得表) があり、特定のアルゴリズム (e.g., 各プレイヤーの戦略的意思決定) を記述することで出力 (e.g., ナッシュ均衡) を得るアプローチは、ほとんどのソフトウェア・エンジニアが慣れ親しんでいるプログラミングそのものです。つまり多くのエンジニアが手がけるプログラミングの実態は演繹的プログラミングです。ではこの対極に位置する帰納プログラミング (Inductive Programming) はどの程度進歩しているでしょうか。 帰納プログラミングの一分野である確率プログラミング (Probabilistic Programming) は統計学や機械学習との関係が密接で、日本でも利用者の多いStanを
ニッポンの数字｜統計、企業決算、月次情報を毎日更新
運営者プロフィール 味気ない統計の数字を身近な情報に変換しようと苦心しています。千葉ロッテマリーンズが大好き。 Twitter：@nippon_num 運営サイト：ニッポンの数字
機械学習をやると、AIより人間の方が詳しくなる現象 - bohemia日記
こんにちは。ぼへみあです。 機械学習がすっかりブームになって、仕事や趣味でディープラーニングを使ったことがある人が増えていると思います。 特に画像分野でディープラーニングは成果を上げているので、特定のものを判別・識別するといった事例が多いかと思います。 そうした画像系のディープラーニング経験者なら経験する現象があります。 それは、 「その分野について、作ったAIよりも自分が詳しくなる」 という現象です。 おそ松さん見分けの第一人者になってしまった 以前取り組んだおそ松さんの6つ子をディープラーニングで見分けるネタでは、学習用データセットの作成のために、自力で5000枚以上のおそ松さんたちを見分ける作業を行いました。その結果、アニメを見ても、これは何松だ、と判断できるようになってしまいました。当時はおそ松さんを見分ける能力は誰にも負けない自信がありました。 なぜか学会でおそ松さんの話をする機
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Inside Roborace — Episode 8
カラーの組み合わせもついに人工知能で！指定色から最適な色の組み合わせを導きだすツール -Colormind | コリス
