[サーバレス] Googleスプレッドシートでスクレイピング - Qiita
スクレイピングがやりたかったんだけど、サーバの管理がめんどくさくなったので、Googleスプレッドシートの上でスクレイピングを出来るようにした。 やりたいこと 献血で、400mlAB型の血液が不足してます、A型は今大丈夫です、みたいな情報が、献血センターのwebサイトに掲載されるようになった。 たとえば 宮城県赤十字血液センターの今週の献血状況。AB型の人は成分献血にするか、次の機会にしたほうが良いらしい。 これ以外の県も、各県の献血センターに掲載されている こういう情報をオープンにしてくれたのはとてもうれしいことなんだけど、webページに掲載されたって、ぼくらがわざわざ見に行かない限り気が付かない。できればこう、SNSで「今週の献血状況」みたいなことを発表してくれるといいよね。そしたら、「あ、AB型足りない？今週は余裕があるからじゃあぼく行くね」みたいなことが出来ていいと思うのよ。 ない
![[サーバレス] Googleスプレッドシートでスクレイピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/887726243bc177ea271bd5e4156739bf5152ac79/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUFDJUUzJTgyJUI5JTVEJTIwR29vZ2xlJUUzJTgyJUI5JUUzJTgzJTk3JUUzJTgzJUFDJUUzJTgzJTgzJUUzJTgzJTg5JUUzJTgyJUI3JUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgxJUE3JUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1jMDMxYmRhZGMzYzgxODQ4YzQ4OWVjOTIzYTk5NjgzNg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBtb2d5YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Y2Y1YTI5ZDlmNGVjNjYwMWRkYjAyNjZiM2UyMTMyMDg%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g6YGL5Za26ICF44Ku44Or44OJ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D6702fb6f54a8fa3741edd3899a82a324)
Node.js でお手軽スクレイピング 2020 年夏 - Qiita
皆さんは Web ページのスクレイピングって書いた事ありますか？私はあります。だってどんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。「うわーまじか！API ないのかよ…。」的な。 そうしたら HTTP クライアントと HTML パーサのライブラリを探してきてインストールした上でごりごり書くことになると思います。でも実際に書いてみると、そうやってライブラリのインストールをしたりサンプルコードで動作確認している時間よりも、HTML を解析して実際にパースしたところから対象の要素を取得して欲しい値を取り出す試行錯誤の時間の方が長かったっていう事はないですか？ 今日ご紹介する Node.js でお手軽スクレイピングは、その辺の試行錯誤の手間を極力減らすことが出来る方法です。2020 年夏の最新版です。 まずは環境から。特に古いものを使う理由もないので 202
USBポートに差し込むだけ!! VPNで保護されたWi-Fi APの作り方 (RaspberryPi Zero Wを使って) - Qiita
USBポートに差し込むだけ!! VPNで保護されたWi-Fi APの作り方 (RaspberryPi Zero Wを使って)VPNRaspberryPiRDBOX はじめに RaspberryPi Zero WをVPNネットワークを利用した手軽で安全なWi-Fiアクセスポイントにする方法を紹介します。完成するとクラウドもしくはオンプレミスのプライベートなネットワークに対して安全に接続することができます。ルーティングテーブルをいじれば、全ての通信をVPN経由にすることももちろん可能です。 またキットを使えば、冒頭の写真のようにUSBポートに差し込むだけで簡単に使うことが出来ます。非常にかっこいいですね。 セキュリティ警察の方々を初め、USBを接続することにセキュリティ上の不安がある方も多いと思いますが、本システムはPCからは電源供給を受けているだけです。また、Raspberry Pi Zer
現代の僕「コンピュータが生まれた歴史知りたい」 - Qiita
TL;DR コンピュータの歴史も何も知らなかった私が、「ありがとう、先人たちよ」と言えるぐらいまでコンピュータの歴史を調べたので共有したいと思います。 最初の動機 「コンピュータってどうやって動いてるんだろう」 あなたは、この疑問に自信を持って答えられますか？ そして、仮にコンピュータを知らない人類がいたとして、「コンピュータとは何か」を説明できますか？ 私はできませんでした。 もちろん、コンピュータを使うことはできます。 こうして、キーボードをカタカタを打つと、見慣れた文字となってディスプレイに映すことが出来ます。 しかし、「使えること」と、「それが動く原理を説明すること」 は途方もなく大きな壁で隔てられています。 この記事では、コンピュータが動く原理を、その歴史をたどることで探っていきます。 コンピュータの歴史をまとめつつ、 「コンピュータってどうやって動くの？」 に答えられるようなも
転職したらKubernetesだった件 - Qiita
TL;DR Kubernetes がどのように、人間の作業を自動化しているのかを、実際に Kubernetes がやっている作業を手作業で行なう ことで学びましょう。 このQiita の内容は、CloudNative Days Tokyo 2019 における発表の、「転職したらKubernetesだった件」を書き下ろし、実際にデモが行えるように修正を加えたものになります。 YouTube Speakerdeck この物語はフィクションであり、登場する団体名・会社名・人名等は架空のもので、実在する団体・会社・人物等とは、一切、関係がありません。 これまでのあらすじ ある日、某Z社に転職した稲津さんに与えられた仕事は、“Kubernetes の一員”になることだった！？ 某Z社は、親会社からの依頼で Kubernetes クラスタを運用しなければならなくなりましたが、 「Kubernetes
Raspberry PiでPINTOさん謹製「TensorFlowLite-bin」を使ってお手軽に爆速エッジコンピューティング - Qiita
Raspberry PiでPINTOさん謹製「TensorFlowLite-bin」を使ってお手軽に爆速エッジコンピューティングRaspberryPiTensorflowLitePINTO PINTOさんの「TensorflowLite-bin」を使ってみる 最速にして、最狂。ビルドジャンキーのPINTOさん。最速を目指して、日夜TensorFlowのビルドに励んで、バイナリをみんなに提供し続ける素晴らしい方です。いつも凄いなと思ってみていたものの、Qiitaの記事を読んだだけで震えてしまい、ほとんどその恩恵にあずかれていませんでした。 そんなPINTOさんの凄さを少しでも感じるために、PINTOさんが作ってくださった成果物を簡単に試してみる方法をまとめました。この凄さを広めないのは、世の中の損失と思い使命感（？）をもって記事書きました。 今回使用するのは、PINTOさん謹製のリポジトリ「
[TensorFlowで株価予想] 9 - 年利6.79% - Qiita
TensorFlowで株価予想シリーズ 0 - Google のサンプルコードを動かしてみる 1 - 終値が始値よりも高くなるかで判定してみる 2 - 日経平均225銘柄の株価予想正解率ランキング〜 3 - 日本3506銘柄の株価予想ランキング 4 - 実際に売買したら儲かるのかシミュレーションしてみる 5 - 大きく上がると予想されたときだけ買ってみるシミュレーション 6 - 学習データの項目を増やす！隠れ層のサイズも増やす！ 7 - 株価が何%上昇すると予測したら買えばいいのか？ 8 - どの銘柄を買うか 9 - 年利6.79% はじめに これまで学習データやパラメーターなどを調整してきてなんとか黒字になる状態にもってきました。そして前回、日経平均２２５の銘柄の中から優れた成績を残せる３０銘柄を抽出しました。株価予想シリーズの最後として、この銘柄を使用した売買シミュレーションを行います
![[TensorFlowで株価予想] 9 - 年利6.79% - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/afb263bad435c08c5cb628e864c0c8e1a6cc05ad/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVGVuc29yRmxvdyVFMyU4MSVBNyVFNiVBMCVBQSVFNCVCRSVBMSVFNCVCQSU4OCVFNiU4MyVCMyU1RCUyMDklMjAtJTIwJUU1JUI5JUI0JUU1JTg4JUE5Ni43OSUyNSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9Y2Q5Zjk2ZjdkN2Q0ZTNkODU1Mzk2MTIyMDI5YTI5MTc%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBha2lyYWFrJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yNzkwYWU3NDM5YThkOGY5NzEyNDdjNDQzMzBiMGYyMg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da22fd4b43f31c3dda1775e26045dbd54)
ロックフリーアルゴリズムによるFIFOバッファ - Qiita
はじめに 私が組み込みプログラミングを始めたころ(まだインターネットもなく組み込みマイコンもAKI-80とかZ80系主流で遊んでいた時代)に大学の先輩に教えてもらったテクニックです。今どきのCPU向けではないですが、私自身が古典的かつ重要な要素が含まれており、組み込みプログラミングに引き込まれたきっかけの一つでもありますので、当時を思い出しつつ記事にしてみます。 「ロックフリーなアルゴリズム」についてはこちらのWikipediaの記事がわかりやすいです。 これらのアルゴリズムは、割り込み禁止やミューテックスなどのロックを用いずに、割り込みハンドラやマルチタスク／マルチスレッドなどの異なる非同期な実行コンテキスト間で情報を渡すことを目的としており、今回はその応用内でのFIFOバッファの構成例となります。 近年ではArduinoなどの組み込みプログラミングも手軽に行える環境が増えています。また
Googleスプレッドシートを利用した、たぶん史上最も簡単にデータを更新できるマップツール - Qiita
最も簡単にデータを更新する方法 Webシステムでデータを更新する方法としては、管理画面にログインして、リスト上にデータが並んでおり、「編集」ボタンをクリックすると、フォームが並んだ編集画面に遷移して、そこでデータを更新したあと、「更新」ボタンを押して完了、というのが定番であろう。 しかし、筆者が考える一般の方が最も簡単にデータを更新出来る方法、それはエクセル状のシートの更新だと考えている。 住所を持ったデータがあって、それらを Google マップ上にピンを置いて参照できるようにしたい。その上、それらのデータを随時編集したり、新しいデータを追加したい、という要件があって、まず浮かんだのは Google マイマップでした。しかし、Google マイマップの場合、Google スプレッドシートから簡単に Google マップにデータをインポートはできるのですが、スプレッドシートと Google
Arch Linux 快適デスクトップ環境の構築 2019 - Qiita
前置き 今回のコンセプトは Mini-ITX の小型機に Ryzen 7 2700X を積む、だ。 ( Ryzen 3000 は待てなかった…） 具体的な構成とお値段は以下。いずれも2019年5月時点。 分類 部品名 価格
raspberry pi をラジオサーバにしてラジオ番組のCMカットを企む - Qiita
伊集院光のラジオ番組を録音し、それをCMカットする事を試してみました。 20210131追記： フラッシュのサポート終了に伴い、下記の方法では録音ができなくなりました。もっと便利なツールを紹介しているので、こちらをお試しください。 環境 ・デバイス：raspberrypi 1B ※zeroと同等のスペック ・OS：2019-09-26-raspbian-buster-lite インストール raspberry pi インストールを参考に初期設定を行います。いずれの設定も、絶対に必須というわけではないのですが、SSHの設定とwi-fiの設定はしておくとteraterm接続が出来るようになるので非常に便利です。 ラジオサーバを構築 ラジオサーバを構築します。raspberrypiでラジオサーバを構築する手段はいくつかありますが、この方法が最もシンプルでラクチンです。ただしGoogleドライブへ
raspberryPi に NFCリーダー/ライター(PaSoRi)を繋いでIDを取得するまで - Qiita
環境 raspberryPi 3 Model B Raspbian 10(buster) Python3 CPU(ラズパイのモデル)、OS、pythonの環境は以下の通り $ cat cat /proc/cpuinfo | grep Revision Revision : a22082 $ lsb_release -a No LSB modules are available. Distributor ID: Raspbian Description: Raspbian GNU/Linux 10 (buster) Release: 10 Codename: buster $ python3 --version Python 3.7.3 $ pip3 --version pip 18.1 from /usr/lib/python3/dist-packages/pip (python 3.7)
ゴリゴリの文系がＡＩをほぼ独学した半年 - Qiita
ゴリゴリの文系（偏差値４０前半）がAIを学んだ半年 どうも、ゴリゴリの文系です。 商業高校卒業したあと、文系学部にいったので、そこらへんの文系とは格が違います。 文系界のサラブレットです。 肝心な数学力ですが、高校で数学Aまで勉強して、大学で数学入門とっただけです。 つまり、戦闘力0.1ぐらいです。 これから勉強する人に向けてポエムをつらつらと書いていきます。 やってきたこと 実装から始めたい人はある程度参考になるかと。 理論から始めたい人は微積、線形代数、確率統計の基礎を習得してからcouseraに行くのが良いのではないでしょうか。（個人の感想です。） 独学はモチベドリブンでやんないとしんどいので自分でカスタマイズしていってください。 0ヶ月目 会社の研修でプログラミングの基礎を習得。 ここでJavaを勉強してそこそこ組めるようになりました。 研修が終わってから2日くらいかけて、pyth
コツコツやらない小6がVirtualBoxで「30日でできる!OS自作入門」をやり遂げる話。1日目 - Qiita
追記 12/7 公開してから一年の月日が経ちました。早いですね。僕もこの一年に色々な経験をしていました。 記事を挙げた二日目には止まってしまったこのシリーズ。でも僕は諦めてません。絶対に戻ってきます。絶対に次の記事を書いて30日目までがんばります。少し待っていてください。（12月中にリニューアルさせたい） あと実は9日目くらいまでは完成していたのですがあんまり仕組みがわかってないです（） 自己紹介 はじめまして。色んなことに挑戦してエラーで諦めてしまう小6のtatsuです。文章の所々間違っていると思いますがよろしくです。 環境構築 VirtualBox https://www.oracle.com/technetwork/jp/server-storage/virtualbox/overview/index.html バイナリエディタ Hex Fiend https://ridiculou
小中高大生にプログラミング教育をしてきて分かったこと - Qiita
はじめに 私はこれまでにアルバイトやTA (Teaching Assistant)を通して小学生、中学生、高校生、大学生にプログラミング教育をしてきました。また、予備校に通って一浪して大学に入学したという経歴もあります。これらの経験から、「教育とはどうすべきか」「学ぶのに必要なものは何か」「プログラミング学習の特別な点はなにか」などを自分なりに悟りました。 本記事ではこれらのことを踏まえながら、「プログラミングが上達しない人の傾向」や「よく陥るエラー」などを紹介しつつ、プログラミング教育者がすべきことのヒントを示せたらいいかなと思います。 ※本記事はプログラミング教育のハウツーをまとめたものではありません。 プログラミングが上達しない人の傾向 検索力が低い、検索の仕方を知らない、知ろうとしない 調べる癖がない、分からなかったことを分からないままにしていても生きていられる 説明文を読まない、
ディープラーニングさえあれば、競馬で回収率100%を超えられる - Qiita
pohotos by Ronnie Macdonald **「AIが人間の仕事を奪う」と言われ始めてしばらく経ちますが、今や「幻滅期に入った」**なんて言われ方もしています。おかげで僕は仕事を奪われることもなく、毎日満員電車に揺られています。奪う奪う詐欺もいいとこです。 そんなAIの発展にはもう少し時間がかかりそうな一方で、学べる環境は簡単に手に入るようになりました。触るなら、皆が幻滅しかかっている今な気もします。ということで、今更ですがAIの力を知るべく、ディープラーニングに触れてみることにしました。 いろいろ試したのですが、ここでは結果をメインに**「無知の状態から勉強しても、ディープラーニングでこれぐらいは楽しめるよ」**ということを伝えてみます。プログラムはお手本になるようなものではないので、見たい人だけに有料で公開してみます。 Kaggleでディープラーニングのお手並み拝見 最初
至高のDockerイメージ生成を求めて -2019年版- - Qiita
この記事は@yugui氏の書いた至高のDockerイメージ生成を求めてに感謝しつつ、記事が投稿された当時には無かったさまざまな事情を組み込んで再度まとめたものである。 良いDockerイメージ 良いDockerイメージとは何だろうか。Dockerの利点は次のようなものだから、それを活かすイメージが良いものであるに違いない。 ビルドしたイメージはどこでも動く 適切にインストールされ、設定されたアプリケーションをそのままどこにでも持っていける。 コンテナ同士が干渉し合うことはないので、任意のイメージを互いに配慮することなく柔軟に配備し実行できる 必要のないサービスがコンテナ内で走っていないので、セキュリティの向上に資する イメージの転送が効率的である ベースイメージ部分は一度送ればいちいち再転送する必要がないので、ベースイメージを共有する複数のイメージを効率的に転送できる 標準のレジストリAP
Pythonで行うWebページスクレイピング - Qiita
Pythonで機械学習を行おうと思った時にどうしても必要となる各種データ。それを集めるための手段の一つであるWebページからのスクレイピングを極簡単にやってみたいと思います。 1,目的 スクレイピングについての理解を深める 実際のwebページからデータを取得してCSVファイルに保存する 2,スクレイピングとは？ Webページから特定のデータを抽出する技術 といっても、Webページをそのまま取得してデータベースやファイルに突っ込めば、そのままデータが得られるわけではありません。 ご存知の通り、Webページはお望みのデータだけでなく、各種タグやCSS、ものによってはJSなどが含まれており、そこから目的となるデータを取り出さなくてはなりません。 その為に必要なのが、Webページの構文解析になります。 これは読んで字のごとくなのですが、取得したWebページを解析し、任意の条件や要素を持つもののみ引
mruby + TensorFlow Liteで画像分類する - Qiita
0. 概要 @mattn さんの mruby から TensorFlow Lite を操りブラックホールとポンデリングとオニオンフライを見分ける - Qiita を読んで面白そうだったので、Ubuntu上(実際はWSL)でx86版のmrubyと TensorFlow Lite をビルドし、さらにmruby-gdとMobileNetを使って画像分類してみた。 1. TensorFlow Liteのビルド まずは libtensorflow-lite.a を作る。 https://github.com/tensorflow/tensorflow からcloneし、適当なバージョンをチェックアウトする(今回はr1.13.1を使った)。ホストのネイティブ版のライブラリは https://stackoverflow.com/a/55144057 のUPDATEに書いてある通りにコマンドを実行すればビ
GCPで永久無料枠を利用してサービスを立ち上げたときにしたことの備忘録 - Qiita
はじめに 最近GCPでWebサービスを立ち上げたので、そのときに実施したことをメモとして残しておきます。 今回はGCEで Debian + Nginx + Railsで環境を作りました。 ドメイン取得以外は終始無料で進めるための努力をしました。 また、今回はRailsアプリケーションを作成することは目的としていませんので、そこについてはあまり触れません。 やったこと GCEでインスタンスを立ち上げる アカウント作成時に貰える無料トライアル枠とは別に、無料で利用できるリソースがあります。 Always Free と呼ばれていて、GCEの場合は以下の要件を満たすインスタンスのみ永久に無料でインスタンスを立てることができます。 リージョンをus-*1から選択する 1つのf1-micro VM インスタンス 30GB以内 の永続ストレージ ※無料対象リージョンはus-*1のみというご指摘を受けまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
