Python3でcPickleのエラーを回避する - test.py
CIFAR-10を読み込もうとしたら、Python2で動いてたcPickleがPython3では動かない。 import cPickleと書けばImportError: No module named 'cPickle'と吐き、 d = cPickle.load(f)と書けばUnicodeDecodeError: 'ascii' codec can't decode byte 0x8b in position 6: ordinal not in range(128)と吐く。 これらの問題を解決する。 cPicleではなく、_pickleを使う Python3ではcPicleなど存在しない。代わりに_pickleを使えばいいのだが、 修正を最小限にするために、以下のように記述する。 #import cPickle import _pickle as cPickle loadできない場合はエン
Seq2Seqモデルを用いたチャットボット作成 〜英会話のサンプルをTorchで動かす〜 | ALGO GEEKS
最近、チャットボットが話題となっていますが、自然な会話を成り立たせること、は大きな課題の一つです。 ここでは、Deep Learningの一種である、Seq2Seqモデルを用いて、チャットボットを動作させてみます。 ゴールとして、英語を学習させ、実際に会話を行ってみることを目指します。 Seq2Seq (Sequence to Sequence) モデルとは 平たく言うと、ある文字列から、次の文字列を予測するモデルのことです。 上記の図では、「ABC」を入力として、「WXYZ」を出力 (予測) しています。 Seq2Seqモデルの対話タスクへの応用を試みたのがGoogleで、2015年に下記の論文を発表しています。 A Neural Conversational Model http://arxiv.org/abs/1506.05869 これまでの対話モデルは、ドメインを絞り (飛行機を予
LINEでみりあちゃんと会話できるようにした(Seq2Seqとキャラ対話データを用いた転移学習によるキャラクター性対話ボットの作成) - muscle_keisukeの日記
この記事はシンデレラガールズAdvent Calendar 13日目の記事です． 目次 目次 はじめに みりあちゃん大好き どうやってみりあちゃんとお話するか みりあちゃんモデルの作成 Seq2Seqで対話ボットの学習 Seq2Seqとは モデルの作成 転移学習でみりあちゃんの口調を学習 転移学習とは 口調の学習を行う方法 データの収集 Twitterから対話データの収集 ツイートとリプライを取得 データの整形 デレマスのSSなどからみりあちゃんの対話データを収集 取得したデータの整形 取得したデータ数 実際に学習を行う 環境 Twitterデータでクソリプボットに データでかすぎ問題 モデルの会話例 転移学習でみりあちゃんボットに モデルの会話例 LINEでみりあちゃんとお話しできるようにする LINE APIの使用 VPSにサーバを建てる 学習済みボットを物理サーバーに載せる VPSの
lstmで自然な受け答えができるボットをつくった | せかいらぼ
pythonの公式ドキュメントはどうにも不自由な日本語なのでまとめ直しあわせて読みたい:LoggingモジュールのイメージLoggerオブジェクトloggerオブジェクトを各モジュールに明示する( logging.getLogger("hogehoge") )ことで、ログを収集する。loggerは名前で管理され、違うモジュールでも同じ名前を指定すると同じloggerになる。木構造loggerは階層構造を持ち、名前をピリオドで分割することで表現する。Python パッケージ名前空間におけるモジュール名は __name__ で取得できるので、logging.getLogger(__name__)を使ってlo... 学習 自然な受け答えを行う日本語のデータセットということで、ask.fmをクロールしたデータを用いる。 ask.fmのディレクトリは”ask.fm/アカウント名”のようになっていて、
KerasでCNNを簡単に構築 - Qiita
KerasでCNNを構築して，CIFAR-10データセットを使って分類するまでのメモ CHANGE LOG 2020/07/12 * ライブラリをスタンドアロンKeras → Tensorflow.kerasに変更 インポートするライブラリ from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D from tensorflow.keras.layers import MaxPool2D from tensorflow.keras.optimizers import Adam from tensorflow.keras.layers import Dense, Activation, Dropout, Flatten from tensorflow.keras.util
[Keras/TensorFlow] KerasでTensorBoardの利用 - Qiita
サンプルファイル作成 ~/にmnist_mlp_tb.pyを配置 こちらのファイルの以下をベースは変更した。 https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py スクリプト中の### add for TensorBoard と ### で囲まれた部分が追加箇所。 from __future__ import print_function import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers import RMSprop batch_size = 128 num_classes
![[Keras/TensorFlow] KerasでTensorBoardの利用 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cdd72beb21e47745d0c70e27c91c81019dcd710e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCS2VyYXMlMkZUZW5zb3JGbG93JTVEJTIwS2VyYXMlRTMlODElQTdUZW5zb3JCb2FyZCVFMyU4MSVBRSVFNSU4OCVBOSVFNyU5NCVBOCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OWYzNzE0ZTgyNjBjMDQ4NDQ3MzRlYjU0MTU2ZTMyYjk%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwYWd1bW9uJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xNDJiYWZkZWJkMTliYjY3YjU0MTViZTRhZTVhZTQ0NQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Ddc1ee4bcaf0791a5a6895d532c9f907e)
TypeError with GetNext() for TF 1.8+ or 1.7 source · Issue #1111 · tensorflow/tensorboard · GitHub
Hi, I upgraded my tensorflow library to 1.7, and now I get an error when executing tensorboard. System description: TensorBoard version: 1.7 TensorFlow version: 1.7 (compiled from source) OS Platform and version: Linux Ubuntu 16.04.2 Python version: 3.5.3 Error: (tensorflow)/home/username$ tensorboard --logdir=/mydir/log 2018-04-07 01:56:45.493235: I tensorflow/stream_executor/cuda/cuda_gpu_execut
RNNによるツイートの自動生成 - kivantium活動日記
授業で「Deep Learningを使って何か作る」という課題を与えられました。チーム開発なのですが、知らないうちにテーマがツイートの自動生成に決まっていたので実装をやりました。発表内容は以下のスライドを見てください。 以下、実装の詳細を説明します。 使ったコードはkivantium/rnn-twitter · GitHubに置いてあります。 github.com char-rnn (Keras) char-rnnはKarpathyがThe Unreasonable Effectiveness of Recurrent Neural Networksで紹介したことで有名になり、各種フレームワークに移植されているLSTMの有名なモデルです。モデルの説明はKarpathyの記事を読んでください。 Kerasを使いたかったのでkeras/lstm_text_generation.py at ma
「必要最低限のルール」に何を望む？ 徳丸浩×メルカリ八木橋のセキュリティ対談 | メルカリエンジニアリング
きっかけは、メルカリのセキュリティエンジニア・八木橋優のFacebook投稿でした。 対談のきっかけになった、メルカリ八木橋のFacebook投稿 「徳丸本」とは、Webセキュリティの第一人者であり、現在は情報システムの監査やコンサルティングを行うEGセキュアソリューションズ株式会社の代表取締役である徳丸浩さんの著書についた愛称。かくして、社内メンバーでひっそりと行う予定だった輪読会は、徳丸さんというビッグゲストを迎えて開催されることになったのです。 同じWebセキュリティ界隈としてつながりはあったものの、それほど深いやりとりはなかったという2人。ですが、今回の輪読会をきっかけに、甘いものを食べながらじっくり話し合う対談が実現しました。 ▷メルカン記事バージョンはこちら mercan.mercari.com 「より内側」にいるインハウスならではのセキュリティ体制 徳丸：今日は「メルカリでは
【悲報】連絡が返ってこない！！！！！ - ミヤモリハヤト公式ブログ
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
【1周年個展収支公開！】売上57万円、28万円の黒字でした！ - ミヤモリハヤト公式ブログ
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
シェルスクリプトでターミナルのサイズ・カーソルの現在位置を取得する | 俺的備忘録 〜なんかいろいろ〜
bashのシェルスクリプトで、ターミナルのウィンドウサイズやカーソルの現在位置を取得させたいということがあったので、備忘で残しておく。 1. ターミナルのサイズを取得する ターミナルのサイズを取得するのは簡単で、bashでcheckwinsizeが有効になっていれば$LINES、$COLUMNS変数に値が入る。 #!/bin/bash shopt -s checkwinsize; (:;:) echo $LINES # 行数 echo $COLUMNS # 横の文字数 ちなみに、数字は1から数えての数になっている。 2. カーソルの現在位置を取得する 現在のターミナル上のカーソル位置を取得する場合は、ANSIエスケープを利用する。 ANSIエスケープで「\e[6n」を出力させると、「ESC[n;mR」(キャレット記法だと「^[[n;mR」)という出力で現在のカーソル位置を取得できる。 これ
オートエンコーダーとしてのU-Net（自己符号化から白黒画像のカラー化まで） - Qiita
画像の領域検出（セグメンテーション）によくコンペなどで使われるU-Netですが、オートエンコーダー（AE：Auto Encoder）としての側面もあります。今回はU-NetをAEの側面から見て、自己符号化や白黒画像のカラー化といったAEっぽいことをしてみます1。なぜU-Netが強いのかより理解できることを期待します。 全体コード：https://gist.github.com/koshian2/6bcfb03dbc187024da9e86b24c44a5b3 TL;DR U-Netが強いのはEncoderとDecoderとの間に「Contracting path（スキップコネクション）」があるから。この効果はResNetと似ている U-NetはAEの亜種なので、AEでできることは大抵できそう。AEの一種として捉えるとより理解できそう。 その応用として、白黒画像のカラー化とかもU-Netをや
保育施設の入所選考をＡＩで 数千人規模を数秒で割りふり | NHKニュース
保育施設に子どもを入所させる際の選考作業を、ＡＩが行うシステムを大手電機メーカーが開発しました。数千人規模の子どもの割りふりを、わずか数秒で行うことができるということです。 保育所などに入所する子どもの選考作業は、通常、世帯年収や家族構成など自治体側が示す条件と、保護者の希望が書かれた書類などを照らし合わせながら、自治体の職員が手作業で行っています。 このため、作業に時間がかかり、結果の通知が遅くなるケースもありました。 今回開発されたシステムでは、子どもや保護者の状況と保育所の空き状況などを入力すれば、ＡＩが瞬時に入所先を選び出します。 メーカーによりますと、このシステムを使えば数千人規模の子どもの選考作業をわずか数秒でできるようになり、滋賀県草津市などが導入を決めているということです。
Python: k-NN Feature Extraction について - CUBE SUGAR CONTAINER
k-NN Feature Extraction (k-近傍法を用いた特徴量抽出) という手法があるらしい。 これは、文字通り k-NN (k-Nearest Neighbor algorithm: k-近傍法) を特徴量の抽出に応用したもの。 興味深かったので、今回は自分でも Python を使って実装してみた。 手法について知ったのは、以下のブログを目にしたのがきっかけ。 upura.hatenablog.com また、上記は以下のブログに記載のある R の実装を参考にしているとのことだった。 Feature Extraction with KNN • fastknn ただ、先ほどの Python API では、特徴量を付与する対象のデータをパラメータとして指定できない点が気になった。 具体的には、以下のような交差検証を使った性能の計測が難しいのではと感じた。 データセットを学習用と検証
Google Chrome Labs、WebPにも対応したオープンソースの画像圧縮Webアプリ「Squoosh!」を公開。 | AAPL Ch.
Google Chrome Labsがオープンソースの画像圧縮Webアプリ「Squoosh!」を公開しています。詳細は以下から。 Google Chrome LabsのJake Archibaldさんは現地時間2018年11月12日、Googleが開発している画像フォーマット「WebP」にも対応したWebベースの画像圧縮ツール「Squoosh」を新たに公開したと発表しています。 🎨 https://t.co/sCMU33lR1G – make images smaller using best-in-class codecs, right in the browser. — Jake Archibald (@jaffathecake) 2018年11月12日 Squoosh! Squoosh is an image compression web app that allows you
プロダクトマネージャーは、自分達が「頭がいい」ことを理解しなければならない – Teruhisa Fukumoto – Medium
みなさんこんにちは。 チャットボット開発のスタートアップでプロダクトマネージャー（以下PM）兼エンジニアをやっている福本です。 先週11月6日~7日にかけて、プロダクトマネージャーカンファレンス2018(pmconfjp)が行われましたね。僕も参加してきましたが、「PMという職種が市民権を得てきている」というのが、当日の盛況ぶりから伝わってきました。 さて、今回はカンファレンスで色々な方と接して改めて感じた「PM」という人種について(偉そうに)語っていきたいと思います。例によって、この記事は僕の妄想に基づいた怪文書となっています。 「頭がいい」とは今回もタイトルを刺激的にしてみたわけですが、僕はPMの地位を不当に上げるために「頭がいい」という表現を使ったわけではありません。ましてや、PM上げをすることで遠回しに「オレは頭がいいぞ」という主張がしたいわけでもありません。 僕はPMの「頭の良さ
TwitterのドーシーCEO、ツイート修正ボタンは「慎重に実現すべき機能」 - ITmedia NEWS
米Twitterのジャック・ドーシーCEOは11月12日（現地時間）、インドのインド工科大学で開催のイベントで、Twitterの「修正ボタン」の追加を避けることはできないと語った。 インドのテクノロジー系メディアETTech.comによると、質疑応答で編集ボタンについて尋ねられたドーシー氏は「（ツイートの）編集機能については、正しい方法で追加するために非常に長い期間検討している」と語り、重要なのは編集機能によって本来保存されるべきである1度公開された情報が正しく保存されるようにすることだと主張した。 例えば誰かのツイートに賛同してRT（リツイート）したのに、後で元ツイートがまったく違う内容に修正されてしまえば、自分が賛同していない内容についてRTしていることになってしまうとドーシー氏は説明した。「こうした問題は修正履歴を表示するといった方法で回避できる。（中略）最終的には、皆さんがサービス
デザイン思考とデータ分析のミエナイ落とし穴 - Quipper Product Team Blog
はじめまして、Quipper 東京オフィスでデザイナーをしております @daitorii です。 幼い頃は公園でよく落とし穴を掘っては友達が落ちて行く様を笑い転げて見ていました。なんでこんなのに引っかかるんだよ、俺は絶対に引っかからねえ。とは思っていたものの、もちろん自分も落とし穴にハマり（しかも結構壮大だったし若干トラウマ）、子供ながらになんとなく感じた古い記憶があります。 「自分が当たり前だと思っている前提や認識は、誰かにとっての当たり前ではない」 という事です。 今日はリアルな落とし穴の話ではなくデータの分析やデザイン思考の落とし穴の話。 ですが、実は根本的な問題は同じような気もしています。 デザイン思考と科学的方法 最近よく「デザイン思考」という言葉を耳にする方も多いと思いますが、結局のところそれは何だということで Wikipedia 先生に聞いてみました。 デザイン思考（でざいん
「わずか数秒」AIが保育所入所選考 富士通、自治体のIT化に手応え - ITmedia NEWS
富士通が、AI技術を使って保育所の入所選考業務を効率化するソフトウェアを、市町区村の役所向けに提供すると発表した。これまで10日以上掛かることもあった複雑な入所選考業務を、AIを活用して数秒で処理するという。 保育所の入所選考にAI（人工知能）技術を使い、わずか数秒で数千人規模の児童を各施設に割り当てる――富士通は11月12日、市町区村の役所など向けに保育所の入所選考業務を支援するソフトウェアの提供を始めた。自治体が定める入所選考基準と保護者の希望を基に、AIが保護者の優先順位に沿って児童を各保育所に割り当てる。これまで30以上の自治体で実証実験を行っており、2018年中に滋賀県大津市が導入する予定。
コンテナ未経験新人が学ぶコンテナ技術入門
最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コードをから」 => 「終了コードから」 p.39: 「HTTPSが利用できない」=> AWS上では、SSL終端するLBがサポートされています。https://kubernetes.io/docs/concepts/services-networking/service/#ssl-support-on-aws p.40: 「ユーザがingress controllerをmaster上にセットアップする必要」 => master上にセットアップしなければならないという制約はありません。例えばGCEのingress controller(GLBC)はPodとして動作します。https://gi
「HTTP/3」がHTTP-over-QUICの新名称に。IETFのQUICワーキンググループとHTTPワーキンググループで合意 － Publickey
現在IETFで仕様策定が進められている、UDPをベースに効率的で高速な通信を実現するためのプロトコル「QUIC」をトラスポート層に用いる新しいHTTPの名称が「HTTP/3」になることが決まりました。 HTTP/3のベースはGoogleが開発したQUIC。IETFで標準化へ もともとQUICは、Googleが高速なHTTPの通信を実現するためのプロトコルとして2013年に発表し、同社のChromeブラウザやクラウドサービスなどに実装してきました。 QUICは、従来のHTTPでトランスポート層に用いられているTCPの代わりに、UDPを用いています。 TCPはエラー訂正機能などを備え信頼性の高い通信が可能な一方、比較的オーバーヘッドの大きなプロトコルです。そこでTCPの代わりに通信の信頼性は保証されないもののオーバーヘッドの小さいUDPを用い、独自に一定の信頼性を保つ実装を組み込みつつHTTP
VR＆360度動画・画像のビジネス活用事例｜VRは今後どうなる？ | Marketing Native（マーケティング ネイティブ）
VR（Virtual Reality＝バーチャルリアリティ、仮想現実）のビジネスへの活用が注目されています。「VR元年」と言われた2016年当時は、ゲームなどエンターテインメント業界での活用が中心でしたが、その後、旅行、不動産、広告、健康産業などさまざまな分野でVR＆360度動画・画像が導入されています。一般家庭への普及こそ、いまだ大きな進展は見られないものの、企業レベルでの活用は今後も飛躍的な進化を遂げながら拡大していくでしょう。 この記事では、効果的なデジタルマーケティング戦略を検討中のマーケターの方向けに、企業や自治体におけるVR＆360度動画・画像の活用事例をご紹介します。 VR＆360度動画・画像×観光 VRとは、テクノロジーによって作られた架空の環境です。一方、360度動画・画像は、現実世界を中心に360度全方位にわたって視聴できるという点に特徴があります。 VR＆360度動画
イオン270万回来店装う ポイントだまし取った男逮捕 | NHKニュース
ショッピングセンターの「イオン」で、１回の来店につき２円分のポイントがもらえるサービスを悪用してポイントをだまし取ったなどとして、29歳の無職の男が逮捕されました。警察によりますと、パソコンの位置情報を偽装するなどして、九州の店舗に270万回近くにわたって訪れたように装っていたということです。 警察によりますと、菅野容疑者は、イオンの公式アプリで１回の来店につき２円分のポイントがもらえるサービスを悪用し、ことし、自分のパソコンのＧＰＳの位置情報を偽装して店で使えるポイント140円分をだまし取ったほか、およそ538万円分のポイントをだまし取ろうとしたとして、詐欺や詐欺未遂などの疑いがもたれています。 九州各地の店舗に270万回近くにわたって訪れたように装っていたということです。来店回数が異常に多いことに会社側が気付き被害届けを出していました。 警察によりますと調べに対し容疑を認め、「ポイント
新人にドヤ顔で説明できるか、今風フロントエンド開発ハンズオン(git/node.js/ES6/webpack4/babel7) - Qiita
新人にドヤ顔で説明できるか、今風フロントエンド開発ハンズオン(Git/Node.js/ES6/webpack4/Babel7)JavaScriptNode.jses6webpackbabel 概要 今風の手法でJavaScriptアプリを作ろうとすると色々ツールがあって便利な反面、複雑でわからないことがたくさんあります。 わからないことがあったら、それを放置せず、しっかり理解して大いに寄り道しつつブラウザで動作するJavaScriptアプリをゼロから作っていきます ブラウザ上で動作するフロントエンドアプリを作ったら、ライブラリ化してnpmモジュールとして公開します 対象読者＝今風のJavaScript開発の入門者、初心者 11年前からタイムトラベルしてきたひと ブラウザ用アプリを作りたいが今風の手法の初心者(jQueryだけでなんとか生きてきた人とか） Node.jsの環境をつかってフロン
MNISTはどういったデータの構造をしているのかについて考える。 - ぽきたに 〜ありきたりな非凡〜
どうもたっきーです。 最近、研究のモチベーションは高いけど大学に行くモチベーションはとても低い。 モチベーション 機械学習初心者なので、MNISTの784次元配列＋ラベルのデータセットを分類したい対象のN次元配列＋ラベルのデータセットに入れ替えると既存のコードで機械学習が簡単にできる。。。等と安直な考えでいる。 そのためにはMNISTってどんなデータの形しているのかしる必要があるので検証してみる。 環境 macOS High Sierra 10.13 Python 3.6.3 Jupyter notebook 5.0.0 numpy 1.13.3 tensorflow 1.4.0 準備 まずはインポート import tensorflow as tf import numpy as np from tensorflow.examples.tutorials.mnist import inp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nicolas-ivanov/seq2seq_chatbot_links: Links to the implementations of neural conversational models for different frameworks
医療現場、人手不足で「2交代制」が過去最多 うち6割が「夜勤16時間超」 医労連調査 - 弁護士ドットコムニュース
シンプルなブログプラットフォームを構築するためのOSS・「Write Freely」 | かちびと.net
Scratch開発者ミッチェル・レズニック氏、子ども達の創造的な学びと最新のScratch 3.0を語る！――日本初のカンファレンス「Scratch 2018 Tokyo」基調講演レポート - Watch Headline
すごい人は「勉強」していないんです。「遊んでいる」のです。宮末啓吾（ベガコーポレーション）～Forkwellエンジニア成分研究所 - Forkwell Press
スマホやタブレットをPCのBluetoothキーボードにできるアプリ「Rickey+」の無料お試し版が登場 - Engadget 日本版
【Python】３分でMacをmecabが使える環境に整える | chat-blog