Bill Gates wrote, “Before there was Office or Windows 95 or Xbox or AI, there was Altair BASIC."
Abstract Google スプレッドシートをpython用ライブラリgspreadを通して読み書きします.流れはよくまとまった記事に書かれている感じです. 下準備 全体的に先人の記事の劣化コピーです. APIの有効化 まずGoogle Developers Consoleで適当にプロジェクトを作成します(今回はtestとします).ダッシュボードからAPIとサービスの有効化をクリックしてGoogle Sheets APIを有効にしましょう. OAuth用クライアントIDの作成 「認証情報」→「新しいクライアントIDを作成」→「サービスアカウント」を選択して「クライアントIDを作成」しましょう.サービスアカウントが初めての場合は新しいサービスアカウントでサービスアカウント名を入力しましょう(役割はよくわからなかったのですが役割なしで作成できたので今回は役割なしでいきます).jsonファイ
どうも!大阪オフィスの西村祐二です。 LambdaのログはCloudWatch Logsに出力されますが、別のサービスで参照するときや見やすくするためにJSON形式で出力したいときってあると思います。 簡単にできると思ったら少しハマってしまったので、ブログにしておきます。 はじめ、下記ブログを参考にloggingを使ったのですが、ログが行毎に分割されてしまいました。 【小ネタ】AWS Lambdaで複数行のログを送るときの挙動を調べてみた 環境 Python 3.7 最終的なコード 最終的なコードは下記のようなコードになりました。見せ方の関係で一つのファイルに記載していますが、別ファイルから呼び出すなどして使いやすくしてください。 下記リンク先を大いに参考させていただきました。 https://stackoverflow.com/questions/50233013/aws-lambda-
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #1.簡単な概要 この記事では都内ラーメン屋の食べログ口コミを使ってWord2vecでモデル構築するをやり方を解説していきます。 私自身🍜が大好きで昔は年間100杯以上食べ歩いてきた自称ラーメンガチ勢です。しかしながら、直近の健康診断にひっかかり、医者からドクターストップをかけられてしまいました。。。 行き場をなくしたラーメン熱を発散すべく機械学習でラーメンレコメンド(隠れた名店をレコメンドで発掘)に挑戦してみることにしました。 今回は、スクレイピングで取得した口コミを学習データとしてWord2vecでモデル構築を行います。 世の中に
グラフ理論の基礎 - Basics of Graph Theory - ねらい グラフ理論の基礎を学ぶ グラフ (graph)、頂点 (vertex, node) 、辺 (edge) 連結リスト (linked list)、次数 (degree) 深さ優先探索 (depth-first search) 、幅優先探索 (width-first search) 連結成分 (connected components, connected subgraph, cluster) 、シングルトン (singleton) 切断点 (cut vertices) 、切断辺 (cut edges) 経路 (path) 、閉路 (cycle) 最小木 (minimum spanning tree)、最短経路 (shortest path) 巡回セールスマン問題 (traveling salesman probl
自己紹介1 高橋 太郎 インターマン株式会社 社内エンジニア(FileMaker、インフラ周り、その他いろいろ) いま一番興味のある技術:Google Colaboratory 趣味でこんなもの作ってます。 500円で作る自転車用防犯カメラ お品書き MacでSeleniumを動かそう DockerでSeleniumを動かそう デモ 解説 MacでSeleniumを動かそう ある日、こんな依頼がありました 「ブラウザで毎日やっている作業があるんだけど自動化出来ない?」 「多分出来ますよ(SeleniumとPythonでやってみよう)」 MacでSeleniumを動かすのは結構簡単 前提としてHomebrewとPython3がインストール済みであること 動いたのでレビューしてもらおう 同僚の開発マシンはWindows 7 レビューのためにWindows用の手順書をつくるのはめんどくさい そう
この記事はPython Advent Calendar 2015の8日目の記事です。 普段はGoを書くのがほとんどで、Pythonは正直滅多に書かないです。数理学でそろそろ本腰いれて使用していこうかと思っているので、今回PythonのAdventCalendarに飛び込んでみました。 さて、Goではinterfaceを定義して抽象化されたパターンで実装していくことが大規模に開発していくには重要になります。これは別にGoに限った話ではなくオブジェクトは抽象化され、節度をを守って使用されるのが可読性の高く、また、依存性の低い素晴らしいコードへとなっていきます。 そんな中、Pythonで抽象化をするにはどういう手法があるのか調べてみました。言語仕様には存在せずABC (Abstract Base Class) という名前のモジュールとして提供されているものを使用します。 ABC - Abstra
borg.py � ���U 0!w��U """ Singleton class encapsulating a psycopg2 connection. """ import psycopg2 from psycopg2.extras import DictCursor psycopg2.extensions.register_type(psycopg2.extensions.UNICODE) psycopg2.extensions.register_type(psycopg2.extensions.UNICODEARRAY) class DB(object): """Borg pattern singleton""" __state = {} def __init__(self): self.__dict__ = self.__state if not hasattr(self, '
機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか?そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt
最近、Kaggle などのデータ分析コンペで使われることの多い Adversarial Validation という手法について調べたり考えていたので書いてみる。 もくじ もくじ 背景 Adversarial Validation 試してみる 下準備 二つのデータが同じ分布に由来するとき 二つのデータが異なる分布に由来するとき 異なる分布でそのまま分類してみる 検証用データに似ているものを取り出す 取り出したデータを使って学習してみる ラベルごとに似ているデータを取り出す どれだけ取り出して学習させれば良いのか Adversarial Validation の応用例 背景 Adversarial Validation という手法は、データ分析コンペに存在する、ある課題を解決するために考案された。 その課題とは、提供される複数のデータセットの分布が異なる場合に、いかにして正しく予測するかとい
※初心者向けじゃないと言う指摘を受けたためタイトルをまんま採用させて頂きました。 はじめに Pythonで競技プログラミングを始めてみると基本的な文法以外にそれそう使うんだ!?という常識が存在したりします。標準入力やif, for などの構文を一通り扱えるようになったけどまだA問題やB問題もスマートに解けないよ、(ワンライナーに憧れている人)、という方の参考になればいいかなと思って書きました。 また、以下の記事がわかりやすいのですが、こちらに載っていないようなテクニック、を判断基準にしています。 具体的にはpython的に基本の文法というよりも基本の文法を実際にはこんな使い方もあるよ!といった内容です。 Pythonで競プロやるときによく書くコードをまとめてみた Pythonで使う競技プログラミング用チートシート 競技プログラミングを始めたら色々ある中でもAtcoderに登録する方はかなり
画像処理100本ノックとは 以下のような素晴らしい記事を発見しました。 https://qiita.com/yoyoyo_/items/2ef53f47f87dcf5d1e14 (リンク切れ) 画像処理を、OpenCV等の高度なライブラリを使わず行うことで、画像処理の理解を深める、非常に有用な練習問題集です。自分も画像処理の基礎を学びなおしたかったので、自己学習のため活用させていただくことにしました。 ただ、初学者にとってハードルになりそうなのが、環境構築のところです。GitHubのREADMEに丁寧に描かれているのですが、初学者にとっては難易度高く、時間もかかります。また、自宅以外の環境でちょっと学習したいときなどにも不便です。 そんな手間を解消するために、Googleが提供している環境構築不要・無料でPythonの開発が可能なWebサービス「Google Colaboratory」を使
どんなアプリ? みんな大好き「いらすとや」さん。 でも、キーワードによる画像検索に苦労していませんか? その苦労を解決するために、 文章を与えると、それに近い意味を持った「いらすとや」画像を探してレコメンドしてくれるアプリを作ってみました。 例えば、「暴走したAI」という文章を入力すると、その文章の意味に近い画像として次のものがレコメンドされます。 注意して見ていただきたいのですが、検索結果の説明文に「暴走」というキーワードはどこにも出てきません。 でも、人間が読めば「暴走したAI」に意味合いが近いと判断する説明文が付いた画像が提示されています。 そう、今回作るのは、いわゆるキーワード型検索エンジンではありません。 言葉の意味をベクトルで表現する分散表現という機械学習技術(自然言語処理技術)を活用することで、与えられた文の意味に近い説明文を持った画像を探し出します。 つまり、キーワードがマ
はじめにこんにちは。DATUM STUDIOの安達です。 最近社内で日本語のテキストを用いた自然言語処理でよく質問を受けるのですが、前処理についてはそこそこ同じような内容になるため、本記事では社内共有の意味も込めて前処理に関して用いてきた&用いれそうな手法を列挙します。 比較的同じ内容を扱った既存の記事としては以下のようなものもあり、読者の方はこれらも参考にされて要件に合わせて取捨選択してください。 自然言語処理における前処理の種類とその威力 – Hironsan自然言語処理の前処理・素性いろいろ 本記事における使用言語、環境は以下の通りです。 ・osx 10.13.6・anaconda 5.2.0・python 3.5.2Table of contents ・形態素解析段階での前処理 ・文字表現の正規化 ・URLテキストの除外 ・Mecab + neologd 辞書による形態素解析 ・形
Comprehensive Python CheatsheetDownload text file, Fork me on GitHub, Check out FAQ or Switch to dark theme. ToC = { '1. Collections': [List, Dictionary, Set, Tuple, Range, Enumerate, Iterator, Generator], '2. Types': [Type, String, Regular_Exp, Format, Numbers, Combinatorics, Datetime], '3. Syntax': [Function, Inline, Import, Decorator, Class, Duck_Type, Enum, Except], '4. System': [Exit, Print,
from fastprogress import master_bar, progress_bar n_epochs = 20 # エポック数 b_batches = 10 # 1エポックあたりのバッチ数 x_bounds = [0, n_epochs] # 表示させる学習曲線の図のx軸の範囲 y_bounds = [0, 1] # 表示させる学習曲線の図のy軸の範囲 mb = master_bar(range(n_epochs)) for i in mb: # エポックに関するイテレーション for j in progress_bar(range(n_batches), parent=mb): # バッチに関するイテレーション # バッチごとの学習処理を記述 train(x_batch, y_batch) graphs = ... # グラフに関する設定 mb.update_graph(
はじめに 機械学習/ディープラーニング/Pythonに関する、私が書いた記事をまとめたものです。対象のブログは主に以下になります。 karaage. note.mu まとめページを新たに作りました ここにある情報もだいぶ古いものが多くなってきたので、新たに自分が学んだことを以下のページにまとめ直しました。今からだと、こちらから見ていった方が良いかもしれません。 Pythonで基礎から機械学習まとめ 概要・初心者向け 機械学習もディープラーニングもPythonも詳しく知らない・初心者という方は、まずはこちらを参照下さい。 人工知能・機械学習・ディープラーニング関係の雑多なまとめ Pythonで最初に知っておきたかったことのまとめ【初心者向け】 環境構築 環境構築に関する記事です。 Pythonで機械学習をするための環境を雑にセットアップする方法(Jupyter notebook環境、ディープ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く