サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
review-of-my-life.blogspot.com
前回は相席屋の空席情報をIMPORTXML関数を利用して、スクレイピングしました。 相席居酒屋の空席状況をリアルタイムでスプレッドシートに更新し、グラフ化することで男しかいない糞相席屋を撲滅する試み 糞相席屋を撲滅する試み 昔友達とネタで相席居酒屋に入ったら、男しかいなくて「相席でもなんでもねえじゃん」と思って遺憾の意だったため。行くまで空席状況がわかりにくいというのが問題だと思う。 今回は、Google Apps Scriptのスクレイピングを、IMPORTXML関数で行い、その結果をGoogle Apps Scriptで定期実行プログラムを組むことによって、時系列データを取得してみたいと思います。これをすることによって、リアルタイムの1点の値ではなく、時系列データを取得することができるようになります。 手順としては、 1. IMPORTXML関数で各相席屋の空席状況を取得し、表形式にま
機械学習には、教師あり学習と教師なし学習がある 教師あり学習(Supervised Learning):人が「このようなクラス分類結果にすべき」という基準になる学習データを与えたうえで、そのような結果になるように分類パラメータを調整するアルゴリズムに基づく機会学習 クラス1とクラス2はそれぞれ異なる分布を持つ母集団から得られたものであるという過程を置くのが通例 未知データがクラス1、クラス2の母集団に同じように分布しているとしたら、このクラス分類モデルは「未知データに対しても最適な」モデルといえる 学習データのクラス分類と未知データのクラス分類は同じである クラス分類のモデル性能を調べるために交差検証法(Cross Validation)を使う 学習データからランダムに一部を取り出し、これを除いたデータで暮らす分類モデルを推定⇒おの一部のデータに対してクラス分類モデルをあてはめてみて、正答
PandasとJupiter Notebookを使ってデータ分析をする機会が増えてきましたが、その際やっているデータの前処理がだいたい一緒だと気づきました。そこで、データのクリーニングでよく使うメソッドを、一覧形式でまとめておきたいと思います。なお、グーグル検索で英語で検索されることも多いため、英語でも記述します。 前提 COBOL.csvが存在 列には、以下の値が入っている workers:従業員数:ex 13名 age:従業員平均年齢:ex 31歳 income:年収: ex 400万 ~ 600万円 establishment:創立年度:ex 1998年03月32日 requirement:必要要件 title:求人のタイトル名 pandasのインポート(import pandas) - データを扱えるようにするライブラリPandasを入れる import pandas as pd
うまくインストールされているか、確認します。 ルーティングを見てみます。管理画面が作られているのがわかりますね。 $ rake routes Prefix Verb URI Pattern Controller#Action refinery / Refinery::Core::Engine Routes for Refinery::Core::Engine: login GET /refinery/login(.:format) refinery/authentication/devise/sessions#new logout GET /refinery/logout(.:format) refinery/authentication/devise/sessions#destroy new_signup GET /refinery/users/register(.:format) re
先日、友人に完全教祖マニュアルという本を教えてもらいました。一から自分で教団を立ち上げ、信者を獲得し、国家を支配する方法をマニュアル化されているとのことだったので、「仕事中におっぱいと言える社会にしたい」というミッションがある私としては、読んで少しでもノウハウを学びたいと思い、すぐさまポチって購入しました。 完全教祖マニュアル (ちくま新書) posted with amazlet at 18.04.23 筑摩書房 (2016-07-29) 売り上げランキング: 996 Amazon.co.jpで詳細を見る そしてこの本を読んで、SNSのインフルエンサーと教祖は非常に似ていると感じたので、書評がてら「教祖がいかに信者を獲得するか」というアプローチと、「インフルエンサーがいかにフォロワーを獲得するか」というアプローチをアナロジーで見てみたいと思います。先に本の紹介をして、そのあとにインフルエ
実際に学生時代からエンジニアリングをやっていて、かつ新卒エンジニアとして働いている人の話数人から聞いた、大学生から新卒で市場価値の高いエンジニアになるための最短ルートを考えてみました。 目次 大学生のころこそ、エンジニア力を付けておくべき理由①大学時代でないと、エンジニアに必要なスキルを身に着けるのが難しくなる②いつでもどこでも働けて、成長した結果が収入に反映される③大学時代に投資したエンジニアリングの費用対効果はめっちゃくちゃ高いどうやったら新卒で市場価値の高いエンジニアになれるのか作りたいものを決める 1週間プログラミングの基礎を固める 3週間チュートリアルを見ながらまずは実装する 2カ月プログラミング学習スクールへ行って、プロダクトを自分で作る経験をする 2カ月自分のサービスを作る ツイッターで発信する 3カ月クラウドソーシングで案件を受けてみる 2カ月エンジニアインターンで大規模開
先日、プログラミングの技術チュートリアルをnoteで売るという実験をしたのですが、非常に大きな反響がありました。はてなブックマークでも603ブックマークでした。 スケベAI「スケベ博士」をPythonとGoogle Apps Scriptで作るスケベ・チュートリアルを公開します で、僕みたいな独学スケベサイエンティストではなく、もっと仕事でコードを書いているような人にやってほしかったんですよね。 #やりたいこと 優秀なエンジニアの人が個人でチュートリアルをnoteに作る文化を作る。 — Dai (@never_be_a_pm) March 28, 2018 なので、こんな僕でもマネタイズができるか証明するために、試行錯誤してチュートリアルを作ってまいりました。その結果、なんと2カ月で50万円達成してしまいました!ありがたや! その結果(なのかはわかりませんが汗)、身の回りの人が様々なチュー
こんにちは!DAIです。突然ですがプログラミングの学習って初心者だったときマジで非効率だったのを思い出しました。ここ最近はクラウドソーシングで案件取ったり、データ分析などをPythonでできるようになってきたのですが、最初の勉強方法とだいぶ変わってきたなぁと感じています。 そこで、最近ツイッターで初心者の視点からよい学習方法を発信しているのですが、ツイートの中で反響が大きかったものをまとめました。プログラミングを独学でやっている人に、おすすめの学習方法についてです。 目次 1. 作業ログをGithubのIssueに残す 2. 2週間で基礎は終わらせる 3. チュートリアルをやる 4. メンターに聞きながらトライアンドエラーをする 5. 自分のプロダクトを決めて作りはじめる 1. 作業ログをGithubのIssueに残す Githubはソースコード管理を行えるソフトウェアですが、その中でIs
こんにちは、スケベサイエンティストのDaiです(@never_be_a_pm) つい最近、noteというサービスが、コードを挿入できる機能を追加しました。 noteでコードが投稿できるようになりましたβ|深津 貴之 (fladdict)|note エンジニアのnoteクリエイターさん達に、素敵なお知らせが。 pcのnoteエディターに、コード埋め込み機能(β)がつきました。エディタでテキストを選択し、ポップアップのコードボタンを押すと、コードブロックを埋め込めます。 こんな感じですね。 for(int i=0; i<100; i++){ println("hello world"); } あわせて、コードブロックの中では、TABボタンが使えるようになります。まだ実験中なので、使いにくいところはあるかと思います。 アプリでの対応はリニューアル後になってしまいますが、年内には搭載されるはずです
こんにちは、スケベサイエンティストのDAIです。 スケベツイートが1万RT超えしてしまったせいで、実はスケベ博士の利用者が大変なことになっています。 画像のURLを入れると、それに似たAV女優の名前、合致度と、DMMの出演している動画リストが見れるページのリンクを返す、変態博士が完成したぞ。 pic.twitter.com/gHUj6qH24P
「マッシュアップ」(Mash Up)という単語は「混ぜ合わせる」という意味で、もともとは音楽用語です。いろいろな曲を混ぜ合わせて(マッシュアップして)、違う曲にしてしまう手法のことです。 転じて、Web上で使われる「マッシュアップ」は「2つ以上のWebサービス(Web API)を利用して混ぜ合わせて新しいサービスを生み出す」ことを指します。 いまさら聞けない「マッシュアップ」超入門 (1/3) XMLで提供されているデータは加工や編集がとても手軽にできるのが特徴です。なので、「A」というWeb APIから得たXMLデータを「B」というWeb APIで利用する...... といった使い方ができるのです。もし、それぞれが勝手なフォーマットでデータを提供していたら、Web API間でデータをやりとりするのもとても大変な作業になってしまいます。 マッシュアップアプリで何ができるの? 複数のWebサ
AIで似ているAV女優を紹介しているスケベAI「スケベ博士」を作りました。①アプリ紹介編 の続きです。実際にどう実装したかという話です。 まだ友達追加していない人はここからチェケラ https://line.me/R/ti/p/6XAcvOifDl AIで似ているAV女優を紹介しているスケベAI「スケベ博士」を作りました。①アプリ紹介編 こんにちは。スケベサイエンティストのDAI(@never_be_a_pm)です。 AIで、画像から似ているAV女優を紹介してくれるLine Bot「スケベ博士」を作りました。 背景 私たち男性がスケベするときに、よく妄想しますよね。 中学生の頃は「○○ちゃん」のことを想像しながらスケベしておりました。 問題点 ... 実装技術編 前処理編 まず、前処理です。流れとしては、 PythonでエロサイトからAV女優名とサムネイル画像をスクレイピング 取得したデー
Pythonでいろいろスクレイピングしてきましたが、Google Apps Scriptでのスクレイピングがかなりよいです。 目次 GASを利用したスクレイピングのメリット 環境構築一切不要で初心者に優しい 定期実行が超絶簡単かつカスタマイズ性が高い 学習コストが超絶低い 取得結果をだれにでもスクレイピング結果をリアルタイムに共有しやすい 伝家の宝刀IMPORTXML関数でスクレイピングもできる Google Apps Scriptで向いてるスクレイピング 小規模なデータの取得 Google Apps Scriptで向いていないスクレイピング Google Apps Scriptが向いていないスクレイピング 大規模なデータのスクレイピング ブラウザ操作(クリック・フォーム入力)が求められるスクレイピング Google Apps Scriptでのスクレイピング方法は? IMPORTXML関数
こんにちは、DAIです。僕は2014年から2017年まで、RISU Japanという、算数のタブレット教材を提供する会社で、インターンをしておりました。(今は別の会社に就職しています)教育ITベンチャーはとっても新しい気づきが多かったので、卒業を機にRISU Japanのインターンで衝撃を受けたことを書いていきたいと思います。 そもそもRISU Japanとは RISU Japanは、子どもの才能開花を理念に掲げている教育企業です。RISU Japanでは、主な事業として、RISU 算数という、幼児・小学生向けのタブレット型算数教材、また業界初遠隔家庭教師サービスを行っています。僕が働いていたのはのは、この両方の事業でした。 RISU算数とは何かに 教育のビッグデータを取得し、お子様のレベルにぴったりな最適な問題を出題 RISU算数がすごいところは、学年という概念がないところです。1年生で
プログラミング初心者だと、質問するのはとても難しいです。最初は何がわからないのか、わからない状態なので、どう質問していいかすらわかりませんよね。プログラミングを学習し始めた段階だと、ほとんどの人がみな同じ感情を抱きます。 特に初心者だと、とにかくエラーだらけになるので、「できないフィルター」にかかりがちです。実はほんの些細なタイプミスでも、わけわからないエラーが出てくるので、無条件でプログラミングが難しいと感じてしまうことが多々あります。 プログラミングのメンターを趣味でさせていただいているのですが、やっぱり初心者だと、できないフィルターにかかってしまい、本来であれば自分で解決できることに関しても調べる方法がわからず、また質問の仕方がわからず、非効率的な質問をしてしまっているんだろうなぁと最近感じます。(いうて自分も人のこと言える立場ではないのですが・・・・) さすがに独学とは言え、2年書
KindleのAPIから、セール情報を取得し、HTML上に出力するPythonスクリプトを作成。こうすることで、アフィリエイトにも転用できる。 pic.twitter.com/NxwKiqzMtG — DAI (@never_be_a_pm) November 21, 2017 つい最近、ほけきよさん(@hokekiyoo)が、AmazonのAPIを使って、自動記事作成で3日で1万円儲けたみたいな話をしたので、僕もやってました。やり方については企業秘密にしていたので、僕が公開しちゃいますよと。 とりあえず、やりたいこととしては、 Amazonのセール商品をAPIから取得 自分のアフィリエイトコードを入れたURLを作成 bootstrapで、いい感じにそのデータをもとに自動で記事を作成 import bottlenose import time import requests from fl
#背景 ちはっす。DAIです。 会社の同僚と自宅でよく作業会をやっています。音楽聞いて、料理食べて、あとはただコツコツとみんなでそれぞれが勉強するだけなのですが、とてもQOLが高いです。 #やりたいこと チケットを譲ってくれる人を見つけられるサイトがあるそうです。ここの最新情報を毎日自動でSlackで更新するようにします。 おけぴチケット救済サービス(定価以下限定チケット掲示板) ミュージカルや演劇、劇団四季、宝塚歌劇、クラシック、コンサート、ライブ等の空席救済を目的とした観劇鑑賞生活応援サイトです そのサイトでは、自分の見たいタイトルの舞台の名前を入れると、そのチケットを渡してくれる人を探すことができるそうなのですが、毎日検索して確認するのが面倒だそうなので、これを毎日プログラムが取得して、まとめたデータをSlackに通知してくれたら便利じゃね?ってはなしになり、作ってみました。 処理の
Qiita初めて一週間で週間トップ10入りしました こんにちは、DAIです(@never_be_a_pm) ここ一週間くらいで、Qiitaをはじめました。自慢しますが、投稿を初めて1週間になりましたが、Qiitaの週間TOPユーザーにTOP10入りしました。 ちなみに投稿した記事は、過去の記事の焼き増しです。特にバズったのはこの記事でした。はてなではQiitaに投稿したものが804ブックマークです。Qiitaページ自体のアクセス数は3日で1万ほどでした。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~ - Qiita やりたいこと * はてなブックマークで、Python記事を検索しトレンドを分析 * はてなブックマークにSeleniumでログ
ここ最近、初めてメルカリを使ってみて、ユーザービリティに感動したのですが、それ以上に「データ面白い!」となりました。 というのも、値が付きにくいものに、価格がつけられていて、かつ同じような商品のサンプルデータが豊富だからです。 例えば、普通に中古品でルンバが欲しかったとして、電化製品を中古屋に行ってみてください。そこにルンバはあっても10種類ほどでしょう。中古のルンバの相場が、そこにいっただけではわかりません。 しかし、メルカリのデータを利用すると、一体全体その商品の中古相場はどのくらいなのかを特定することができます。 また、メルカリには購買済みか否かを判断する条件が存在するので、どのくらいの値段で売れば売れるかを可視化できるはずです。 分かったらうれしいこと
AndroidアプリをWebブラウザ上で動かす方法 つい最近、相席屋のアプリで空席情報がリアルタイムで更新されることを知りました。そこで、どうにかして相席屋のAndroidアプリをWebブラウザ上で立ち上げ、そこからスクレイピングできないものかと考えておりました。 Appetize.io で、最近見つけたのが、appetize.ioというサイトです。 Appetize.io Stream iOS & Android Native Apps in the Browser. For embedding apps in websites, development, client demos, testing and more. ここにAndroidアプリのAPKをアップロードすると、アンドロイドアプリがディプロイされます。ディプロイされたURLを登録したアドレスに送ってくれますので、メールからそ
スクレイピングをPythonでするときは、Cloud9・Selenium・Herokuで決まり!誰でもできるスクレイピングマニュアル こんにちは、DAIです。 さて、Pythonでスクレイピングする際に必要になってくるSelenium。そしてこのスクレイピングプログラムを定期実行したい。これをCloud9上で実行したい人も多いのではないでしょうか。 昨日、久しぶりにCloud9上でSeleniumの環境構築を行ったのですが、どうも毎回調べてはエラーを繰り返して・・・・という感じだったので、一回Cloud9上でSeleniumの環境構築し、ディプロイするまでをまとめておきたいと思います。だれでも5分以内に同じ動作で、Cloud9上でSeleniumが利用できる環境をセットアップできることを目指します。 #対象者 ・HTML/CSS/Javascript/jQuery/Git/Python基礎
日本にHTC VIVEのチュートリアルが足りていないと感じたため、海外のものを翻訳しています。今回は、HTC Vive Tutorial for Unity(By Eric Van de Kerckhove @BlackDragonBE)を翻訳してみたいと思います。ものをつかんで投げたり、テレポートできるようになります。 (Since Japan has few tutorials on VR development, I translated tutorials abroad, "HTC Vive Tutorial for Unity" written by Eric Van de Kerckhove @BlackDragonBE) 完成するとこんな感じになります! — DAI (@never_be_a_pm) November 10, 2017 このチュートリアルについて HTC Vi
安心して!大学の統計学は基本わかりにくいから笑 こんにちは、大学センター数学1Aが49点だったDAIです。そうです、ど文系です。 きっとこの記事読んでいる人は、大学で学ぶ統計学に、何らかの苦手意識があると思うんですね。 安心してください。僕もそうでした。ど文系の私も、大学で初めて統計学の講義に出たときに、思いました。「ちょ、大学の統計学の授業って、どんだけわかりにくいんだ!www」「大学の統計学の授業ってどんだけつまらないんだwwwww」と。 で、この直感は当たってました。というのもですね、大学の統計学の授業って、高校レベルの数学ちゃんとマスターしてますぞい!って人を対象にしているので、ど文系でいきなり「おい!なんとかついて来いよ!お前らわかってる体でやるからなwwwがはは!じゃあこのシグマは・・・・」みたいな教授に教えられても、「先生、そのたらこ唇みたいな記号なんですか?」みたいな話にな
PythonのSeleniumを利用して、「次へ」ボタンが存在するページをすべて取得する方法を解説します。 目次 挙動を確認する 日本語でアルゴリズムを考える 実装する サンプルコード 挙動を確認する 実際にはてなブックマークの検索ページに行きまして、「R」と検索してみてください。そうすると、以下のようなURLに飛びます。 http://b.hatena.ne.jp/search/text?q=R 検索語句ですが、実は検索語句のtext?q=Rの中に、検索語句が含まれています。このように、q=[]の中に検索語句を入れれば、検索結果が取得できるようになるというわけです。 次の40件のボタンのXpathを取得します。 こちらを、前の記事で紹介したように、xpathで位置を保存してください。 【Python】Webスクレイピングチュートリアル -ログインが必要なサイトの場合- Pythonの S
プログラミングの基礎を学ぼう:HTML・CSS・Javascirpt・Python (10日) クリア条件 HTMLの初心者レベルを理解している CSSの初心者レベルを理解している Javascriptの初心者レベルを理解している Pythonの初心者レベルを理解している Gitが何をしているか理解できている コマンドラインが何をしているか理解できている Webスクレイピングから、データ分析を行うためには、最低限HTML、CSS、Javascript、 Pythonの知識が必要です。というのも、まず処理全般を扱うのがPythonなため、Pythonはマストで必要となります。 また、Webスクレイピングを行う場合、ページからデータを取得する必要がありますので、HTML、CSS、Javascriptという、ページの見た目を操作している言語を学ぶ必要があります。いかのページを読んで、学習してみて
どうも、新卒エンジニアのDAIです。ここ最近、趣味で2chのひろゆきさんの番組を見ていたのですが、COBOLという言語に興味を持ちまして。気になって調べてみたところですね、 - COBOL(コボル)は、1959年に事務処理用に開発されたプログラミング言語である。名前は「Common Business Oriented Language」(共通事務処理用言語)に由来する。(wikipedia) - 世界で稼働しているシステムの過半数は、COBOLで構築されている」 - 現在でもライフラインを支えるような重要なシステムでは、メインフレームが使われ、主にCOBOLが使われている - 普通は浮動小数点数になるからそこで誤差が生じるけど、COBOLは10進演算で行うことと言語仕様で決まっている(Togetter) (ほええ、おいらもCOBOLにお世話になっているのか!) そんで、ひろゆき氏が言ってて
Pythonの環境構築がだれでも簡単にできるようになる方法 Python初心者が必ずぶち当たる壁があります。環境構築です。ある言語を動かすための環境設定する作業が環境構築なのですが、これが実は初心者にとって本当に難しいです。 僕は、3年前にPHPフレームワークLaravelで環境構築の壁にぶち当たり、2年間プログラミングアレルギーになってしまいました。しかし、1年前に、ある方法を使って「環境構築せずに」RubyフレームワークのRuby on Railsに手を出したところ、かなりハマりました。 中級者でも、環境構築でつまづくことも多々あります。それなのに、せっかくのデータサイエンスブームで、Pythonを触ってみたいという人が増えているのにもかかわらず、多くの人が「環境構築の壁」を超えられないのは、勿体無いと思います。 そこで、今回は、一切環境構築せずに、完全無料でPythonを動かす方法を
こんにちは、Daiです。最近Pythonが人気ですが、機械学習には手を出せない、とはいえプログラミングの挨拶プログラムを作るのには飽きた!みたいな人って結構多いのでじゃないでしょうか。 最近、Qiitaという技術掲示板でも、PythonのWebスクレイピングの方法を解説する記事が人気でしたが、まったくの初心者にはどうすればいいかわからないというレベル間だったと思います。そこで、今回はプログラミング初心者の人でも、何を学べばWebスクレイピングをPythonでできるようになるか、解説したいと思います。 開発環境 何はともあれ、Pythonが動くようになる環境を構築する必要があります。環境構築というやつですね。僕は基本的にPythonの開発は、Cloud9というクラウド上の開発環境を利用しています。Cloud9を利用するメリットは、環境構築がいらないので、初心者にとっつきやすいところです。詳し
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~ この数年間、Pythonの人気が高まっています。Googleトレンドによると、Pythonの検索流入数は、この10年間で2倍近くになりました。特にグラフから見ると、だいたい2015年ぐらいからPythonの検索数は増えている模様です。 さて、この数年間で、Pythonがどのような言語として扱われ、どう変化してきたののでしょうか。Webスクレイピング→データ収集→整形→分析を行い、今回は、2006年度から2017年度までのはてなブックマーク上のPython記事で、50ブックマーク以上の記事をすべて取得することによって、時代によってブックマークされやすいPython記事を分析してみようと思います。
次のページ
このページを最初にブックマークしてみませんか?
『Review of My Life』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く