RDBしか知らない奴がBigQueryを触ってみた
RDBしか知らない奴がBigQueryを触ってみた RDBしか知らない奴がBigQueryを触った際のメモ メモなので正確性はない。 基本的に公式ページとGoogle BigQuery:The Definitive Guideを参考にしている。 手っ取り早く要点を掴む本としてはGoogle BigQuery:The Definitive Guideが一番マシに感じた。 しかしながら、2019年11月発売 2020年6月に最終更新なため、それ以降の情報は入っていない。 一旦本に目を通してReleaseノートで重要そうなものを閲覧するのが良さそう。 随時更新予定(型の話はまとめておいた方が良さそうなのであとでかく） ML関係については実験コストが高いので保留。 基本的なこと BigQueryはデータ分析に使用する。 トランザクションはあることはあるが、それが主目的ではないので、RDBではできる
PythonでPDFのレイアウトを維持したまま翻訳してみる - Qiita
はじめに PDFを機械翻訳する方法は色々ありますが、レイアウトを維持して翻訳をするという意味ではDocTranslatorが使いやすいです。 しかしながら、サイズの制限があるらしく、PDF32000_2008.pdfなどは翻訳に失敗してしまいます。 今回はレイアウトを崩さずに翻訳する方法を考えてみます。 なお、結論からいうと、今回説明する方法は面倒くさいので、別の方法でいいなら別の方法をお勧めします。 PDFに注釈として訳を埋め込む DocTranslatorのように本文にレイアウトを崩さずに訳を埋め込めるならば、いいのですが、色々うまくいかなと予測できるので、注釈として訳を埋め込むことにします。 たとえば、PDF32000_2008.pdfを翻訳した場合の結果は以下の通りになります。 http://needtec.sakura.ne.jp/doc/tmp/output.pdf ※Adob
新型コロナウイルス感染症の感染拡大を踏まえたオンライン診療のPDFデータを利用してみた - Qiita
#はじめに 新型コロナウイルス感染症の感染拡大を踏まえたオンライン診療の対応機関一覧リストが以下に公開されています。 これを用いて、近所のオンライン診療の対応機関がどんな感じになっているか取り出す処理を作成してみます。 これにより政府の提供するPDFのデータを使用することができるかも合わせて検討してみます。 ##成果物 https://needtec.sakura.ne.jp/yakusyopdf/ https://github.com/mima3/yakusyopdf 経度と緯度を入力して検索すると・・・ 近くの病院の一覧が表示されるので、行をクリックします。 すると地図に詳細情報が表示されます。 説明 処理の流れ (1)新型コロナウイルス感染症の感染拡大を踏まえたオンライン診療の対応機関一覧リストのホームページからPDFを取得します。 (2)PDFからテーブル情報を抜き出してJSONに
xlrdでpythonからexcelファイルを操作する（個人的メモ） - Qiita
# coding: utf-8 from xlrd import open_workbook, XL_CELL_TEXT , cellname import re from datetime import datetime wtdlist = ('月', '火', '水' , '木', '金', '土', '日' ) wb = open_workbook('test.xls') outfile = open('bscs_rate', 'w', 1000 ) for s in wb.sheets(): print 'Sheet:',s .name channel = s .cell(0 ,0 ).value # date -> 2014-02-01 ymd = s .cell(0 ,26 ).value s_date, others = ymd.strip().split( '（') tda
徹底攻略PDFオープンデータ。PDFMinerで始めるPDFテキスト分析。 - Qiita
紹介 オープンデータは、 政府データを、全ての人が自由に加工し、自由に再配布し、自由に商用利用できるようにしていこうとする政治活動です。 現在、政治の透明性や経済の活性化の観点から注目されており、 日本政府も実際にデータを出し始めています。 -> 参考サイト：Open DATA METI | 経済産業省のオープンデータカタログサイト ただし、日本のオープンデータの問題として、 ☆１のオープンデータが出てくるケースが多い事が挙げられます。 オープンデータは、そのオープン性により５つ星で評価されます。 ☆１のオープンデータ、つまりPDFは、 構造化データではない為に最もクローズドとされています。 しかし、技術に疎い公務員の方に機械可読性の重要性を説くことは難しく、 それを理解して貰えたとしても機械可読性の為の予算を割り振って貰えるかは微妙です。 現実問題として、PDFに対峙する必要があるのです
Raspberry PiとDHT11で温度・湿度を測る - Qiita
はじめに Raspberry Piでセンサーを接続し、部屋の温度・湿度を測ります。 今回は「DHT11」という温湿度センサーを使用します。 温湿度センサー「DHT11」 DHT11は、価格も安価で入手し易い温湿度センサーです。 センサー単体、基盤に設置されたものなど、用途に応じた様々な形態で販売されており、秋月電子通商では３００円で購入することができます。（左の画像がセンサー単体です） 【秋月電子通商】 秋月電子通商 温湿度センサ モジュール ＤＨＴ１１ 回路を組む 秋月電子で公開されているデータシートを参考に回路図を組んでみます。使用するのはDHT11のセンサー単体のものです。 DHT１１のピン構成は、 １番：5V ２番：GPIO ３番：NC（Non-Connected = 使用していない） ４番：GND という構成になっています。（３番の使用していないピンがあるというのは謎ですね…）
Check! Raspberry Pi で Bluetooth 経由のセンサーデータを取得する 〜 準備編 - Qiita
こんにちは、オークファンの @dz_ こと大平かづみです。 Prologue - はじめに Raspberry Pi で Bluetooth を使ってセンサーデバイスのデータを取得できるように、Bluetooth の扱い方について調べました。 なお、この試みは当初 Raspberry Pi Zero でやりはじめたのですが、メモリ不足で必要なライブラリがインストールできなかったので、 Raspberry Pi 2 Model B にて進めることとなりました。 Raspberry Pi で Bluethooth を使う Bluetooth アダプタの用意 今回使う Raspberry Pi には Bluetooth は搭載されていないので、USBアダプタを利用します。 Bluetooth のUSBアダプタあれこれ よく利用されているのは、PLANEX の製品のようです。私は、某電気屋さんにい
pythonで東証から株価をAPI取得して、データをChartに表示させる - Qiita
はじめに めざせ不労所得！目指せ億り人！目指せ、現代のゴールドラッシュ！ という前置きはさておき、普段はPythonでプログラムを書いています。 株価を取得して、機械学習して、株価予測のプログラムなり、Webサービスってできないかな？ と業務中に思い立ちました（パチパチ） さらっと調べて、とりあえず株価をAPIでとってグラフ表示するまではできたので、 メモ程度にQiitaに置いときます。 今後は機械学習ライブラリと組み合わせてデータを予測対象とする予定。 webアプリ化なども検討か。。？ まずはグラフ表示 こんな感じ ソースコード 以下で動きます。 import quandl import pandas as pd import matplotlib.pyplot as plt quandl_data = quandl.get("TSE/2181") quandl_data.to_csv(
プログラマが持つべき心構え (The Zen of Python) - Qiita
はじめに この記事はstackoverflowのThe Zen of Pythonに関する質問と解答(CC BY-SA3.0 ライセンス)を訳したものです。 The Zen of Pythonの日本語訳は"我々は「Python」に何を求めているのか?"を参考にしました。 The Zen of Pythonとは The Zen of Pythonとは、Pythonプログラマが持つべき心構えを簡潔にまとめたものです。 Pythonを書かないプログラマにとっても、これは大いに役に立つはずです。 ちなみに、"Zen"は日本語の「禅」です。 最初から全文を読もうとする必要はありません。この記事にざっと目を通してみて、気になった部分を読むことをおすすめします。 全文はPythonインタプリタ上で The Zen of Python, by Tim Peters Beautiful is better
UWSC を Python で置換しよう（1）環境構築編 - Qiita
はじめに Windowsの自動化には、昔からUWSCという超便利なツールがあったのですが、開発者がいなくなってしまい、今後バージョンアップや、新しいOSへの対応が期待できない状態になってしまいました。そこで、今後も開発が継続されていくであろうPythonにその機能を移植していきたいと思います ※構築には2時間ほどかかります ※(2019/08/21) OpenPyXL 追加 次の話はこちら UWSC を Python で置換しよう（2）関数置き換え ここでは、UWSCに合わせて、Windowsでの実行環境を用意していこうと思います UWSCが持っていた機能に合わせてモジュールを追加します OS : Windows 10 64bit MW : Python 3.7.4 64bit -- : PyAutoGUI (画像判定 / マウス・キーボード操作) -- : OpenCV (画像処理) -
UWSC を Python で置換しよう（2）関数置き換え - Qiita
はじめに 「UWSC を Python で置換しよう」第二回です。今回は低レベル操作系の置き換えをしていこうとおもいます。 とりあえず、方向性として、サンプルスクリプトを用意するか、UWSCの関数をPythonで再現するか悩んだ結果、UWSCの関数をPythonで再現する方向でやってみようかと。 ※要はUWSCスクリプトを動かせるラッパーを目指したのですが、結論から言ってしまうと、UWSCとは似ても似つかない中途半端なものができてしまったので、次回は、大人しく、UWSCスクリプトの動作をPythonで再現する方向にしようと思います。取り敢えず、微妙なものになりましたが、どうなったのか気になる人もいる(?)とおもうので公開しておきます。 前回は UWSC を Python で置換しよう（1）環境構築編 次回は UWSC を Python で置換しよう（3）チートシート[1] 今回の対象はUW
Windows10でWSLを利用したLinuxの開発環境構築 - Qiita
VMはメモリを固定して利用するため、一度に複数起動するのは難しいです。 情報はlinux用が多いです。Windowsネイティブは.exeとかパスが\とか何かと読み替えないといけません。 速度的にはどれもほぼ同じで特に問題はありません。 Windowsネイティブは環境が破壊されます。下手するとWindowsが起動できなくなる可能性もあります。 Windows Subsystem for Linuxの有効化 突然ですが、検索ボックス使ってますか？ ここです。 入力するといろいろ検索してくれます。 通常EdgeでBingの検索結果が表示されるだけなので、使えないって思っている人が多いと思うのですが、PCの内部の検索する場合はここから行うと速い場合が多いです。 というわけでここに「windowsの機能」ぐらいまで入力してください。 そうすると、「Windowsの機能の有効化または無効化」と出てくる
感情分析でニュース記事のネガポジ度合いをスコア化する - Qiita
はじめに 文章の感情分析に挑戦したのでその内容をまとめます。 今回は公開されているニュースコーパスを材料にし、各記事のネガポジ度合いのスコア化に試みます。 参考 感情分析の実装に当たって下記を使用、参考にさせていただきました。 単語感情極性対応表 日本語評価極性辞書 感情分析とは何か 感情分析概要 感情分析とは様々なテキスト情報をテキストマイニングや機械学習の技術を用いて、その記述内容の感情を分析する手法です。ポジティブorネガティブの1軸の分析が最もオーソドックスな印象ですが、より細かい感情の分析に踏み込んでいるものもあります。 感情分析の方法 感情分析において最も一般的なのは文章に含まれる単語に着目する方法で、ポジティブ（ネガティブ）な文面にはそれ特有の単語が含まれるはずという考えに基づいています。そのような特定の単語を集めたリストを極性辞書と呼び、今回の感情分析ではこの極性辞書を用い
スクレイピングでQiitaの「いいね」一覧を取得する - Qiita
はじめに まず初めに書いて置きますが、僕は文章を書くのは得意ではないので読みにくかったらもうしわけありません。 さて、私は、いいねをストック代わりに使っていたので、いいねの一覧を見ることができないと知って、非常に、憤っております。twitterやQiitaでも、多くの方々が悩んでいるようです。1 2 というわけで、pythonでスクレイピングして、いいね一覧を取得します。 導入 python3をインストールしたら、pipコマンドでrequests、BeautifulSoup4,progressbar2 をインストールしてください コード 記事一覧を取得して、results.jsonファイルに保存します。 # -*- coding:utf-8 -*- from bs4 import BeautifulSoup import requests from time import sleep im
Pythonで久しぶりにHTMLを出力したくなったのでテンプレートについて調べる - Qiita
はじめに ひさしぶりにPythonで久しぶりにHTMLを出力したくなったのでテンプレートについて調べます。 環境： Python 3.7.4 標準ライブラリでの文字列の書式の扱い まず標準で使える範囲で文字列の書式をどう扱えるか調べます。 これについては下記の素晴らしいまとめが存在します。 Python String Formatting Best Practices https://realpython.com/python-string-formatting/ ここで紹介されている方法は以下の通りです。 古い形式の文字列の書式 新しい形式の文字列の書式 PEP498で定義された書式設定方法 テンプレート文字列 古い形式の文字列の書式 昔ながらの文字列の書式の指定方法です。 name = 'アンジュ' age = 18 print('古いやり方----------------------
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonのWebフレームワーク Bottleをロリポップサーバ(ロリポプラン)で動かしてみる - Qiita
Pythonで半角・全角の変換を高速に行う - Qiita
Python 3.4 から標準ライブラリに入る Enum 型が今からでも便利 - Qiita
Pythonで翌日や翌月みたいな日付の計算をする - Qiita
SSL HandShake Error querying Twitter API with Python httplib2/oauth2