Python が Cloud Functionsで使えるようになったので試してみました - astamuse Lab
こんにちは、アスタミューゼでデザイナーをしている@YojiShirakiです。最近、細かい自動化したい処理が増えてきて困っておりまして。そんな折に Cloud Functions で Python が使えるようになったと聞いたので早速触ってみようかと。 そこそこちゃんと書いたので、読む時間が無い方はブックマークすることをおススメします。 目次 Cloud Functions とは 今回の練習アプリ 前提 JSON キー の発行と管理 権限の追加 Search Console へのアカウント追加 KMS を利用して JSON 鍵 を暗号化する JSON 鍵 を暗号化するための暗号鍵を作成 暗号鍵を用いて JSON 鍵 を暗号化 バイナリファイルを文字に変換する Cloud Functions のコード 構成 main.py BigQuery のテーブルスキーマ function のデプロイ
PythonからDataprocを操作してシームレスに並列処理を実現する - astamuse Lab
初めまして。2019年6月にAstamuseにjoinした rinoguchi です。 ついに昨日、日本でも緊急事態宣言が出ましたね。小学校の休校も１ヶ月程度延長されましたし、会社もリモートワークにほぼ移行してますし、ここできっちりウイルスの拡散を防ぎたいところです。 ちなみに、妻がドイツに単身赴任中なのですが、ドイツでは感染者は多くて外出自粛モードになっているものの、現地の人たちはせっかくだからと日曜大工したり、庭を改造したりとそれなりに楽しんでいるみたいです。私たちも制限された環境の中ですが、せっかくなので楽しみたいですね！ 屋根瓦. なんとなく並列処理を連想しませんか？ はじめに それはそうと、私は当社で、特許データなどの名寄せ（同一人物に対してユニークなIDをふる作業）を担当しております。 特許の名寄せには、人物名・組織名・出願日・共同出願人など様々な特徴を利用するのですが、中国人
Scalaから始めるRust入門 - astamuse Lab
お久しぶりでございます。Scalaでバックエンドを開発しているaxtstar(@axtstart)です。 みなさまゴールデンウィークはいかがお過ごしだったでしょうか？ 我が家はあまり旅行に行くということもなく、近場のドライブや、ちょい大き目の公園などで過ごすことが多かったです。 さて、そのおかげというわけではありませんが、この連休を利用して、 新たにRustとWebAssemblyに入門してきたので今回はそのあたりの話を、書きたいと思います。 Image by prettysleepy1 from Pixabay 前書き 遅ればせながら、前々から気になっていた、Rust Programming Languageの勉強をGWを利用して初めて見ました。 随分昔ですが、Visual C++でDLLを作ってそれをフロントのVisual Basicで呼び出すのが最強と思っていた時があります。 それと
Excelとscalaのケースクラス間で入出力ができるライブラリをgithubに公開しました - astamuse Lab
scalaでバックエンドを開発しているaxtstar(@axtstart)です。 今回は、Excelをプログラムから扱うにあたって、面倒だなと感じていた部分をバインド変数の様なアイデアで少し楽にするライブラリを作成、公開しましたのでそちらの紹介をします。 面倒な話 Excelからデータを取得するのってなくなりそうで無くならないですよね。 例えばこんなExcelシートからデータを取得したいとします。 ↓こんなの（data.xlsxとします） apache-poiを使ったプログラムの場合、下記のようなコードになると思います。 import java.io.File import org.apache.poi.ss.usermodel._ val workbook = WorkbookFactory.create(new File("data.xlsx")) val sheet = workbo
Spark でUnit Testを書く - astamuse Lab
こんにちは、朴と申します。 本日はSpark-testing-baseを使ってSpark処理の単体テストの書き方について触れてみたいと思います。 ローカルで並列処理の単体テスト動かすのは少しハードル高く感じるかもしれませんが、 ちょっとした設定でスムーズに動かせたので、設定から簡単なテストまで書いてみたいと思います。 Spark-testing-baseの概要 ローカルでSparkのプログラムの単体テストを書く為のフレームワークです 複雑な設定をせず簡単にSparkプログラムの初期化、起動ができます。 簡単な紹介など、以下のリンクから確認できます。 Spark-testing-base 設定 とりあえず、公式サイトにある通り設定を行います。 sbtプロジェクトのbuild.sbtに以下のdependencyを追加します。 ※2.2.0の部分は実際使うSparkのバージョンに合わせてください
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
