野球のビッグデータをGCPとPySparkでいい感じに使いやすくしてみた - DataprocとGCFを使った緩いデータ基盤 - Lean Baseball
最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform
Python が Cloud Functionsで使えるようになったので試してみました - astamuse Lab
こんにちは、アスタミューゼでデザイナーをしている@YojiShirakiです。最近、細かい自動化したい処理が増えてきて困っておりまして。そんな折に Cloud Functions で Python が使えるようになったと聞いたので早速触ってみようかと。 そこそこちゃんと書いたので、読む時間が無い方はブックマークすることをおススメします。 目次 Cloud Functions とは 今回の練習アプリ 前提 JSON キー の発行と管理 権限の追加 Search Console へのアカウント追加 KMS を利用して JSON 鍵 を暗号化する JSON 鍵 を暗号化するための暗号鍵を作成 暗号鍵を用いて JSON 鍵 を暗号化 バイナリファイルを文字に変換する Cloud Functions のコード 構成 main.py BigQuery のテーブルスキーマ function のデプロイ
Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita
知っている人は知っていると思うが、Qiitaではたびたび大量のスパム記事が投稿されている。 深夜24~26時頃に記事一覧を確認してみて欲しい。 スパム記事がわんさか出てくるはず。 登録したてのQiitaユーザは不安よな。1 ———— @dcm_chida 動きます🧐 はじめに これはNTTドコモサービスイノベーション部AdventCalendar2019の1日目の記事です。 我々の部署では日頃から「KDDCUP2」や「論文読み会」に取り組んでおり、若手から中堅社員まで最先端の技術取得に励んでいます。 そうした活動をもっと外部へと発信していこうと始めたのがこのAdventCalendarです。社員一人一人が書いた記事を通して、少しでも多くの方に興味を持って頂ければ幸いです。 さて、僕は4年目社員ですがプログラミング初心者の頃から現在に至るまで、Qiitaにはかなりお世話になりました。 自分
Django初心者が5か月かけてWEBサービスを開発した過程 - Qiita
はじめに 先日、PythonとDjangoで開発した自社用の営業支援システム(SFA : Sales Force Automation)をオープンソースとして公開しました。 Djangoで開発するのは初めてでしたが、どうにか5か月で社内リリースすることができました。 この記事では要件定義からソースの公開までの過程を書いていきます。 ※タイトルの「Django初心者」というのは本当ですが、エンジニアとしてはわりとベテランです。初心者向けの内容ではありません。 ソースコード https://github.com/sikkimtemi/FreeSFA デモサイト https://free-sfa-demo.herokuapp.com/ Heroku上で動かす手順 https://qiita.com/sikkim/items/5bb30abc44e5ac7676f6 背景 弊社はアスクルの代理店で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
