Cloud Functions with Puppeteer + Google Apps Script でスクレイピングサーバーをサクッと作る - Qiita
const puppeteer = require('puppeteer'); let page; async function getBrowserPage() { // Launch headless Chrome. Turn off sandbox so Chrome can run under root. const browser = await puppeteer.launch({ args: ['--no-sandbox'] }); return browser.newPage(); } exports.getTrends = async (req, res) => { if (!page) { page = await getBrowserPage(); } await page.goto('https://qiita.com'); const result = await
アイコン ライブラリ | Google Cloud
Google Cloud でワークロードをビルドまたは移行するためのリファレンス アーキテクチャ、図、設計パターン、ガイダンス、ベスト プラクティスを示します。
swap ファイルをswapon するとエラーになる。(btrfs) - それマグで！
2022/05/23 追記 Linuxのカーネル 5.x から btrfs 内部にスワップファイル設置がサポートされてます。新しい方に書き直した。 新しい方法 → btrfs 内部にスワップ・ファイルを設置する - それマグで！ swap ファイルが作れない takuya@raspi3:/var/samba$ sudo swapon out.swp swapon: /var/samba/out.swp: swapon failed: 無効な引数です takuya@raspi3:/var/samba$ LANG=c sudo swapon out.swp swapon: /var/samba/out.swp: swapon failed: Invalid argument btrfsにはswapが作れない エラーメッセージがinvalidとしかでないのでわからなくなる 散々、検索して理由を探
直近１年のQiita記事分析で分かった７つの「驚愕」 - Qiita
背景 Qiita殿堂入り記事ランキングを作った物語のつづき。 前回の投稿は以下を参照： Qiita殿堂入り記事ランキングを作った物語 今回は、その第二の目的、記事の分析結果についてお伝えする。 全部の分析が済んでから公開する予定だったが、 途中段階でもかなり興味深い結果もあったため、 データ取得時から日数がたって鮮度が落ちないうちに公開したいと思った。 本投稿の内容 直近１年＝2017年6月～2018年5月の投稿とする。 過去記事の方が、平均いいね値が数倍高くなる傾向を、前回述べた。 ご参考： Qiita殿堂入り記事ランキングを作った物語 2018年5月いいね平均＝ 6.9 2017年6月いいね平均＝ 8.1 （ここまでの期間を対象） 2016年6月いいね平均=15.6 (仕様変更も影響.。もっと前はより差が大きい） そのため、あまり長期間にわたっての分析は望ましくない。 また、技術の
Jupyter/Pythonでデータ分析する人にお勧めしたい！便利なライブラリー「PixieDust」をザクッと紹介します - Qiita
Jupyter/Pythonでデータ分析する人にお勧めしたい！便利なライブラリー「PixieDust」をザクッと紹介しますPythonSparkpandasVisualizationJupyter はじめに こんにちわ！石田です。皆様、「PixieDust1 」ってPythonライブラリー、ご存知ですか？昨年出て超便利なのに、なぜか日本ではぜんぜん知られてませんッ2。日本語の記事はQiitaの「これ」くらい。。 Plotlyやipywidgetでシコシコ書くよりぜんぜん楽だし守備範囲も広いので、「このまま埋もれさせるのはモッタイナイ！」と思ってご紹介の記事を書きました。一番ウケそうな「インタラクティブなチャート・ウィジェット」については別記事「Jupyter/Python上でたった3行でインタラクティブなチャート・ウィジェットを作れる！PixieDustを触ってみた」にHow-To含め書き
BigqueryとColaboratoryで売上を統計分析する基盤を試作した話 - Qiita
Excelの限界 弊社の某プロダクトでは個々の契約の利用料金は自動的に算出しているのですが、 それ以上の粒度、例えば四半期や通期の売上総額や、各メニュー毎の売上等の集計には（多くの企業でそうであるように）Excelが用いられています。 Excelは誰でも直感的な操作が可能な素晴らしいものですが、その反面いろいろな制約があります。 扱えるデータが小さい データの再利用性が低い 10万行くらいで操作性的にかなりしんどく、100万行を超えると物理的に扱うことができません。また、データの参照と加工が一体化しており直感的な反面、長期的な再利用が難しく、長期間にわたる集計を行うのは重労働になりがちです。いきおい長期的なデータを様々な角度から自由に分析する、というのはなかなか難しくなります。 今回は、私が担当している某プロダクトの売上等のデータを長期的に集積し、統計処理や可視化を行うための基盤を試作して
整然データってなに？
TokyoR 62 （2017年6月24日）で発表したときのスライドです。整然データ (tidy data) というデータ分析に役立つ概念を紹介し、Rでそれを扱うための手法を簡単に紹介しています。Rの初心者向けです。
BigQueryのクエリ課金額をslack通知する - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の阿部です。 Gunosyには社内警察と呼ばれる人がおり、たとえばデータ可視化の際に円グラフを使うと正しい使い方を教えてくれる、母数という言葉の使い方を正してくれる、方々がいます。 tech.gunosy.io 今回はBigQueryで課金額の高いクエリを投げると警告してくれる、課金警察というボットを作ったので紹介します。 BigQueryはクエリで使われるデータ量に対して従量的に課金されるため、クエリ毎の課金額が把握できると便利です。 Gunosyではエンジニア・非エンジニア問わず、インターン生でも自由にクエリを書いて分析できる環境となっているため、知らず知らずのうちに大胆なクエリが投げられることもあります。 そのため、課金警察でクエリ毎の課金額をSlackに通知しお互いに監視して注意しようという意図です。 どうやってやるか BigQueryにはクエリの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery connector | Dataproc Documentation | Google Cloud
データ分析の前に散布図を見よう - Qiita
機械学習基盤を一人で構築するということ / Hitori ml team - Speaker Deck