はじめに こんにちは。 機械学習エンジニアの辻です。 本記事はdely Advent Calendar 2018の22日目の記事です。 dely Advent Calendar 2018 - Adventar dely Advent Calendar 2018 - Qiita 昨日は弊社のサーバサイド・エンジニアの山野井が「【Vue.js】算出プロパティの仕組みについて調べてみた」という記事を書きました！ とてもわかり易く解説しているので興味のある方は是非読んでみてください。 tech.dely.jp さて本日は「Lispの車窓から見た人工知能」と題しまして、プログラミング言語Lispから見た人工知能の風景を眺めていきたいと思っています。ぼくはEmacs使いのLisperですが、Lispを書くのは自分用のスクリプトや、Emacs Lispの設定変更といったものだけで、ふだんの機械学習に関す

この記事はServerless2 Advent Calendar 2018の21日目の記事です。 qiita.com 先日 AWS Lambda Custom Runtimes芸人 Advent Calendar 2018 の方はちょっとはっちゃけすぎた感もありつつ実戦にすぐに役に立つような内容ではなかったですが、今回はマジメにより実戦的な内容で行きたいと思いますｗ marcy.hatenablog.com はじめに 私は普段は主にPythonでLambda Functionを書いているのですが、イベントの処理方法を予め決めてデコレータで共通処理を行うようにしています。それによってServerlessな開発でよく話題になるトレーサビリティの問題やエラーハンドリングの煩雑さなどをある程度上手く解決できているので紹介したいと思います。 なお、出てくるコードは実際に使用しているものに近いですが、

この記事は Serverless2 Advent Calendar 2018 - Qiita の20日目です。 今年開催された re:Invent2018でAWS Lambda Layersが発表されました。 このアップデートによってC拡張のライブラリや容量の大きいライブラリの利用がより便利になりました。 その中でも特に自分が最初に「使ってみたい！」と思ったHeadless Chrome on Seleniumの使い方を解説します。 自分が普段使っているServerless Frameworkは既にAWS Lambda Layersに対応しており、これを使ったやり方になります。 最終的なフォルダ構成＆Versions ここから作業していきますが、先に最終的なフォルダ構成を書いておきます。 tree -L 2 ├── lambda # Layerを使うアプリケーションのディレクトリ │ ├─

シティハンター、コブラ、ルパン三世のような余裕があって掴みどろこのない大人が主人公の漫画が読みたい。そういう漫画を知ってたら教えてほしい。

機械学習プロジェクトをいい感じにプロダクトに載せていく今風のやり方について考える この記事は裏freee developers Advent Calendar 2018の18日目の記事です。 どうも、@aflcです。freeeで機械学習とかやってます。freeeだとRoyで通ってます。 今日は、なんとかしてモデルは作ったもののその後どうしよう、という話をします。 TL;DR TensorFlow Servingとkubelessで、サーバーとか何も考えずにデプロイ出来るようになることを目指します。 本日話す内容 機械学習モデルのデプロイ 前処理・後処理の実装 モデルのバージョン 話さない内容 評価・テスト 開発時の環境 TensorFlow以外で実装する場合 APIの設計 などなど Python以外の言語の話題 はじめに あなたが様々な苦労を乗り越え、イカした機械学習モデルを構築できたとし

この記事はGoogle Cloud Platform その１ Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" なら Stackdriver + BQ + Datastudio を使うと作業時間10分・ほぼ無料で作れるので、うちはそのやり方を採用していますね。… https://t.co/9yoni22iw7— ゆずたそ (@yuzutas0) August 17, 2018 もくじ もくじ はじめに この記事のゴール 解決したい課題 課題の背景 実行方針 完成イメージ 作業手順 1: BQクエリ実行ログを流す 2: DataStudioでダッシュボードに表示する 応用編 1: 全体コストを可視化する 2

単語分散表現のひとつGloVeを使ってみました。 この記事では理論については詳しく書きません、numpyを使って実装されているGloVeの使い方について書いていきます。 関連リンク GloVe 使い方 1. ライブラリとかの準備 2. データの用意 3. 単語辞書と共起ペアの作成 4. 学習 5. モデルの保存 6. 似ている単語を見つける 7. 似ている文書を見つける ソースコード 関連リンク GitHub - hans/glove.py: Python implementation of GloVe word embedding algorithm (Pennington et al., 2014) for educational purposes GloVe 単語分散表現のひとつGloVe（Global Vectors for Word Representation）を使ってみました

この記事は 機械学習工学 / MLSE Advent Calendar 2018 - Qiita の15日目です。 Stacking/Blendingは実装が面倒 Kaggleなどでよく使われるアンサンブル手法にStacking/Blendingがありますが自分で実装すると結構面倒です またモデルの精度を測る際にK-Fold Validationを行うこともありますが、同じpredictを何度も発生してしまい、単純に行うと無駄な処理が多くなってしまいます。 今回紹介するライブラリheamyでは、それらの問題点が解決されており、 抽象化されたAPIで簡単にStacking/Blendingを実装でき 、かつ、 内部でpredictされた結果がキャッシュされており、高速に計算を行うことができます またheamyではWeighted Averageも簡単に実装できる仕組みがあります。 また、St

「rebuild.fmの統計学」というタイトルで発表しました。 資料はSpeakerDecからご覧ください！ speakerdeck.com LIFULLさんで開催された「Ltech#3 【podcast × IT】LT Night !」で話しました。 lifull.connpass.com 使ったコードは全Githubに上げましたが、簡単にどんなことをしたのか解説したいと思います。 python-sandbox/rebuild.fmの統計学.ipynb at master · ikedaosushi/python-sandbox · GitHub そして、この内容を今週土曜日の勉強会で話そうと思ってます。まだ参加申し込みできますので興味ある方は是非！ tskubapy.connpass.com サイトから情報の取得 サイトからの情報取得にはrequests-htmlを使っています。 en

本記事はLIFULLAdvent Calendar 2018 6日目の記事になります。 こんにちは。新卒3年目のえびといいます。好きな寿司ネタはえんがわです。 最近デザイナーからフロントエンドエンジニアへジョブチェンジしました。 主にLIFULL HOME'S新築一戸建てのコーディング業務をしています。 寿司※ みなさま、寿司はお好きでしょうか。私は大好きです。 特にえんがわが好きですが、サーモンやねぎとろの王道からアボカド・豚カルビなどの変わり種までなんでも食べます。 寿司に貴賤はありません。 どの寿司も誰かのOnly One, Only Sushiです。 とはいえ自分好みの寿司が必ずそこにあるとは限りません。 そこで、今回はSassでフリースタイルな寿司を作ってみたいと思います。 ※握り・巻物・ちらしと寿司も千差万別ですが、この記事では寿司＝握りと定義します。予めご了承ください 実際に

Pythonの著名なHTTPクライアントライブラリのrequestsに似たAPIで、シンプルなAPIでスクレイピングに必要な機能が実装されています。実際には他のいくつかのライブラリをラップしています。 Requests-HTML: HTML Parsing for Humans (writing Python 3)! — requests-HTML v0.3.4 documentation 以下のようなコードで、簡単にChroniumを自動でダウンロードしてブラウザでレンダリングして、HTMLをパースして必要な情報を取り出すことができます。Chroniumの操作は内部ではpyppeteerを利用しているようです。 r = session.get('http://python-requests.org/') >>> r.html.render() >>> r.html.search('Pyt

この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります

つくばPythonもくもく会 No.2 を開催しました＆ No.3 を12/15(土) に開催します。 先週の日曜(11/18)にNo.2を開催しました tskubapy.connpass.com No.1 から参加者が大幅に増え合計13人の方に参加いただきました 🙏 ありがとうございます！ 早速ですが、No.3のイベントを作成しました。connpassからお気軽にご参加ください。 tskubapy.connpass.com 開催してみて 今回一番驚いたことは、様々なバックグラウンドを持つ方に参加いただいたことでした。 大学生から研究員、フリーランス、SIer、そしてクリーニング店まで想像を超える様々な方とお話できて刺激的でした。 またエリアも茨城だけでなく、東京や栃木など離れた場所からお越しくださった方もいらっしゃいました。 またTsukubaRをオーガナイズしていらっしゃる、Uryu

Pythonをこれから勉強したい or 最新情報のキャッチアップがわからない、という方に tskubapy.connpass.com つくばPythonもくもく会 No.2を開催しました！ 参加者の方の中にはこれからPythonを始めたい、という方もいらっしゃったので、今まで自分が勉強してきた中で役に立ったものをリストアップして、LTしました。 自分は機械学習系のエンジニアをしていて、そっちの方向で学んでいることも多いので、「言語について」と「機械学習/データ解析」という分け方をして紹介したいと思います。 「機械学習/データ解析」に関してはPythonに関係するものだけに絞っています。 書籍に関してはたくさん挙げられても迷ってしまうと思ったので、本当は他にもたくさん素晴らしい書籍があるのは理解しつつ、「あえて選ぶなら」を載せています。 学習する上で注意すること 勉強する教材を選ぶ上で個人的

The Qiita Advent Calendar 2018 is supported by the following companies, organizations, and services.