ChromeとPythonのchromedriver-binaryのバージョンを合わせたい。 - Qiita
はじめに 今回は本当に備忘録な記事です。 ただ、あとあと「こうすれば解決するけど、なぜそうなるんだろう？」みたいなところは追記したいと思います。 また、晴れてChrome 75がリリースされた後でも、この方法が使えるかどうかは確認しようと思います。(20190603 追記) 追記：20191006 設定が最初に記載した時点でも有効かどうか確認、一部修正して、ソースコードをGitHubに上げました。 https://github.com/akiko-pusu/qiita-article-chrome-python 今回やりたかったこと Python3のDockerイメージを利用して、サッとPython＋Seleniumの環境を作りたい headlessモードで動かせればいいので、できるだけシンプルにしておきたい ChromeはGoogleのリポジトリを追加して安定版をインストールする chr
データサイエンティストが知っておくべき5つのグラフアルゴリズム - Qiita
こちらの記事は、2019年 8月に公開された『 Data Scientists, The 5 Graph Algorithms that you should know』の和訳になります。 本投稿は転載であり、本記事はこちらになります。 はじめに 私たちデータサイエンティストは、Pandas、SQL、他のどんなリレーショナルデータベースに対しても、かなり満足しています。 私たちは、ユーザーの属性を列で表現し、ユーザを行として並べることに見慣れています。 しかし、現実の世界は本当にそのようになっているでしょうか？ コネクテッドワールドでは、ユーザーを独立したエンティティと見なすことはできません。 ユーザーはお互いが一定の繋がりをもっているため、機械学習モデルを構築するときに、関係性を含めたい場合があります。 リレーショナルデータベースでは、異なる行（ユーザー）の間でこのような関係性を使用する
BERTの学習済みモデルを利用して日本語文章の尤度を測る - Qiita
概要 BERTの本家には文章の尤度を測るサンプルがなかった。 尤度を測れるまでの作業メモ 本家 GitHub google-research/bert 言語モデル拡張 GitHub xu-song/bert-as-language-model 日本語モデル BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました 日本語モデルコード GitHub yoheikikuta/bert-japanese 謝辞 google-researchチーム、xu-songさん、yoheikikutaさんに感謝いたします。 フォークしたソース GitHub KTaskn/bert-as-language-model 手順 言語モデル拡張をgit cloneする 日本語モデルコードからtokenization_sentencepiece.pyをダウンロードす
Np-Urのデータ分析教室
2021-06-12 【お手軽監視カメラ】Raspberry Pi + USBカメラ + Python + Slack で自宅を守るぞ！ ハードウェア Docker Pythonで実践編 Slack 最近、利便性は高いけど少し治安の気になる地域への引っ越しを考えていまして…。 自宅に監視カメラがあれば、心置きなく引っ越しを進められるなと思い、Raspberry Pi と USBカメラを使って自作してみることにしました！エンジニアだったら自分で作って当たり… 2020-12-24 YouTubeの視聴回数をGAS（Google Apps Script）から取得してSlackに送りたいんです Google Apps Script Slack YouTube 本記事は、Google Apps Script Advent Calendar 2020の21日目の記事です。 投稿遅れて申し訳ございませ
コピペから脱却して自由に Deep Learning するための TensorFlow 再入門 - Qiita
はじめに TensorFlow はなかなかとっつきにくい部分があるかと思います。書き方が独特なので、慣れるまでに時間がかかるかと思います。公式の MNIST は一通りやったけど、自分で考えたディープニューラルネットワーク (DNN) をどう書いたらいいかわからない……なんてこともあるのではないでしょうか。 この記事では、シンプルな問題を題材にして、 TensorFlow をコピペに頼らず、自分の書きたい DNN を 低レベル API を使ってどのように書くかを最小構成で説明していきます（今さら感はありますが。。）。ベースは公式ドキュメントの Low Level APIs のあたり です。 内容としては： TensorFlow の最小構成要素 TensorFlow で線形関数のフィッティング TensorFlow で DNN を実装 のようになっています。また、以下のような方を対象としており
Python3.4 の新機能 asyncio を使ってみる - Cybozu Inside Out | サイボウズエンジニアのブログ
山本泰宇です。こんにちは。 運用本部では最近 Python3 への移行を進めています。そちらの話は別途ご紹介する予定ですが、今回は Python3.4 で追加された asyncio モジュールの使いかた(というか落し穴)を解説します。先に結論を書いておくと、Python3.5 の改良を待つのが吉という話です。 サンプルとして複数の SSH を一斉に呼び出してうまいこと処理してくれる passh を GitHub で公開しています。実際に社内で利用しているものをデチューンして使いやすくまとめたものです。 本題の asyncio ですが、Python3 で非同期 I/O 処理を実現するために追加されたイベント駆動処理のフレームワークです。最初に書いておきますが、以下で言及する難ありな点のいくつかは Python3.5 で改良される予定のようです。[PEP-0492, PEP 492 vs. P
logging入門 - Qiita
はじめに Pythonのloggingについて検索すると、qiitaの記事だとhttps://qiita.com/amedama/items/b856b2f30c2f38665701 が上位にくるんですが、正直わかりにくくなっているだけだと思います。本記事では、基本の使い方と、実際の有名所のライブラリのloggingの活用例(3つ)の2部構成で説明していきたいです。 対象者 ライブラリを作成するのに、loggingを活用したい人 そろそろprintデバッグやめたいけど、loggingの玉石混交の解説を見て、半ば諦め気味の人. どれが本当に正しい説明なのか、あんまり良くわかってない人 本記事の特長 いろんなブログの説明や記事を見ると、オレオレ視点でこうしよう、みたいに書かれている内容のものが多すぎる1ので、可能な限り公式の引用元を明示した。 本記事の「基本の使い方」の説明をカバーするために、
ログ出力のための print と import logging はやめてほしい - Qiita
はじめに Python入門系の記事では概して、Pythonのロギング機能の紹介で最初にlogging.debug()といったloggingモジュール付属の関数を呼ぶ方法を案内しています。 Python本家が提供するloggingの「基本チュートリアル」でもこの点で大差ありません。Python本家の基本チュートリアルでは、print()関数を使用する方法もロギングの手段として有効であるとし、タスクに応じてprint()やlogging.debug()を使いわけよう、という流れで記述されています。 コマンドラインスクリプトやプログラムで普通に使う、コンソール出力の表示 : print() そのような「基本」の説明の後「上級」チュートリアルになってようやく、Python言語付属のロギングメカニズムの説明が始まります。「上級」では4+1種類のデータ構造が紹介され、ここで「基本」で多用されていたlo
Google Colaboratoryが便利・高速で凄過ぎる - Itsukaraの日記
Googleが研究の一環で提供しているColaboratoryを試してみました。 Jupyterと同じようなGUIでPythonのプログラムを実行可能で、GPUも使えます。 Jupyterと同様に、先頭に「!」を書くことで、Linuxのコマンドを実行可能であり、「!pip」「!conda」「!apt-get」などで機能を追加できます。 実行結果をファイルシステム上に保管でき、共有リンクを使って取り出せます。 ただし、12時間経過すると強制終了されて、ファイルは失われます。 しかし、Notebookが動いている仮想マシンにGoogleドライブをマウント可能であり、これにより、実行結果をGoogleドライブ上のファイルとして保管できます。 Deep Learningでは、途中の状態をファイルに保管して、そこからResumeできるようにプログラムを書くことが多いので、12時間で一度強制終了しても
TensorBoardの最も基本的な使い方 - Qiita
TensorFlowの勉強メモです。 TensorBoardを使ってみたので、出来るだけ分かりやすく解説してみたいと思います。 TensorFlowのコードは主にこちらの書籍を参考にしています。 はじめに 1月から12月までの各月の平均気温の変化を、四次関数で近似するプログラムを例に、TensorBoardの基本的な使い方を解説してみます。 まずはTensorBoardを使わないコードを紹介してから、そのコードへTensorBoardで表示するためのコードを追加していきます。 TensorBoardを使わないで実装 # 必要なライブラリのインポート import tensorflow as tf import numpy as np # 変数の定義 dim = 5 x = tf.placeholder(tf.float32, [None, dim + 1]) w = tf.Variable
Getting Started With TensorFlow を翻訳 - Qiita
TensorFlowを始めてみることにした。 チュートリアルとしてMNIST等はすでに先人の日本語訳があるため、見当たらなかったGetting Started With TensorFlow (https://www.tensorflow.org/get_started/get_started) (2017/3/11現在)を訳すことにした。 間違い等、ご指摘下さい。 このガイドであなたはTensorFlowでのプログラミングの準備ができます。このガイドを使う前に、TensorFlowをインストールして下さい。このガイドを最大限活用するには以下のことを知っている必要があります。 Pythonでのプログラムの仕方 配列(arrays)について最低限少しでも知っていること 理想的には何かしら機械学習について。もし少し、または全く知らなかったとしても、その時はこれがあなたの読むべき最初のガイドとな
初心者の為のCaffe Model Zoo【年齢と性別の分類】 - Qiita
anaconda環境でのcaffeを動かしたかったが、Makefile.configを変更してもうまく動作せず。いったんバージョン管理を使わない環境での構築手順はメモしておく。 間違っていたら連絡を頂ければありがたいです。 ubuntuでのインストール 一般的な依存関係 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler sudo apt-get install --no-install-recommends libboost-all-dev
Pythonの機械学習プロジェクトにおけるプログラミング設計 - Qiita
はじめに タイトルの通り、Pythonの機械学習プロジェクトにおけるプログラミング設計について、 最近私が意識していることを書いてみたいと思います。 この内容が役に立つかもしれない人は、機械学習のプログラミングをする人で、 あまりPythonを書いたことが無い 仕事でプログラミングしたことがあまりない いつもプログラムの構成で悩んで、スッキリ書けないことが多い という人です。 設計方針 設計は「何に備えるか」を考える事に近いと思います。 通常私が機械学習プロジェクトで意識しているのは以下のような点です。 設定により振る舞いを簡単に変えることができる 例えば、「前処理の方法」「Modelのレイヤー数」「学習するEpoch数」のような局所的な振る舞いから、 開発環境 or Staging環境 or Production環境毎に異なる「データソースの場所」や「認証情報などの機密データ」の指定、
文章をベクトル化して類似文章の検索 - Qiita
Doc2Vecで類似文章を検索してみたので、実装を紹介します。 Doc2Vecとは コンピュータが自然言語を処理するためには、まず人間の言葉をコンピュータで扱える値にする必要があります。 単語の意味をベクトル化する手法としてWord2Vecが存在します。 詳しくはリンク先がとてもわかりやすいのですが、ざっくり言うと前後n単語のリストでその単語を表現します。 こうすることで、例えば「犬」と「猫」は同じような文脈で使われるため、似た「意味」であると考えることができます。 Doc2VecはWord2Vecを応用し、文章をベクトル化するものです。 実装サンプル 今回Doc2Vecを用いて実現するのは、以下の2つの機能です。 単語で文章を検索 類似文章の検索 サンプルとして、青空文庫の文章を使用しました。 なお、この記事で使用するコードはGitHubで公開しています。 (学習に使用した文章もzipに
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
kondou.com - Beautiful Soup 4.2.0 Doc. 日本語訳 (2013-11-19最終更新)
Beautiful Soup¶ Beautiful Soup はHTMLやXMLファイルからデータを取得するPythonのライブラリです。あなたの好きなパーサー(構文解析器)を使って、パースツリー(構文木)の探索、検索、修正を行います。 これはプログラマーの作業時間を大幅に短縮してくれます。 (訳注)石鹸は食べられない¶ この文書は Beautiful Soup 4.2.0 Documentation の日本語訳です。”Beautiful Soup”を”ビューティフルソープ”と読んでしまう英語が苦手でちょっぴりHな後輩のために翻訳しました。 2013年10月29日からこの文書の翻訳をはじめました。11月1日現在まだ全てを訳し終えていませんが、スクレイピングに使う主な部分はとりあえず訳したので、一旦これで公開して、あとは年内を目処にまったりと翻訳をすすめ、あわせて質を高めていこうと思っていま
tech note: python_select から python_select が無くなった
Sunday, May 15, 2011 python_select から python_select が無くなった port sync, port outdated したら python関係のものがもりもり新しくなってたので port upgrade outdated して python_select が 0.3_1 になりました。 % port installed python_select The following ports are currently installed: python_select @0.3_1 (active) これまでパッケージ名と同じ python_select コマンドで切り替えられていたのだけど、 python_select コマンドが無くなった模様。 % port contents python_select Port python_select
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DL4US コンテンツ公開ページ | 東京大学松尾研究室 - Matsuo Lab
チュートリアル — ディープラーニング入門：Chainer チュートリアル