Scala for Everything: From Frontend to Backend Applications - Scala Matsuri 2020 Scala is a powerful language; You can build front-end applications with Scala.js, and efficient backend application servers for JVM. In this session, we will learn how to build everything with Scala by using Airframe OSS framework. Airframe is a library designed for maximizing the advantages of Scala as a hybrid of ob
SoRの性質が強いBtoBアプリケーションでは、「堅く」作ることを求められる箇所がしばしばあります。 Scalaの型安全性が頼もしく感じられるのは、まさにこのような箇所においてです。 「堅く」作るために、私たちがいま注目しているのが refined と newtype というライブラリです。 この記事では、refinedとnewtypeを使ってScalaの型安全性をさらに引き出すテクニックを紹介します。 Value Class / Tagged Type refined + newtypeの話題に入る前に、これまでにどのようなテクニックが使われてきたかを簡単に振り返りましょう。 ここに、SNSのユーザーアカウントを表現するクラスがあります。 case class User(id: String, email: String, age: Int) val user1 = User("@tod
先日行われました AWS JAPAN SUMMIT ONLINE 2020 にて、「大規模な組織変遷と100以上のAWSアカウントの横断的セキュリティガードレール運用について」のテーマにて、私たちのグループで取り組んでいる全ての AWS に対する横断的な取り組みを ビジョナル CTO 竹内 と ビジョナル CIO 園田 より発表させていただきました。 今回は、その発表内容について、発表の中で伝えきれていない内容などより詳細にお話しさせていただきます。 こんにちは、システム本部 プラットフォーム基盤推進室 ORE (Organizational Reliability Engineering) グループ の 長原 です。 私が在籍するグループでは、 Visional グループの全事業のクラウドや非機能要件等に対して、横断的にエンジニアリングによる課題解決に取り組んでいます。 複数事業・マルチ
GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ こんにちは、サイオステクノロジー武井(Twitter:@noriyukitakei)です。今回は、第4回シリーズで、WSL2、Visual Studio Code、Docker、Windows Terminalなどの
積立NISA、ジュニアNISAともにしているが、これをメインバンクからお金の移動を自動化するのはなかなか面倒だったので備忘録的にまとめる。 結果こうしたメインバンク │ ↓銀行引落サービス(毎月27日引き落とし、翌月15日反映) SBI銀行 ├ SBIハイブリッド預金振替(自動) │ └SBI証券 │ └ 積立NISA購入(毎月16日) │ │ ↓自動振込 楽天銀行(子供名義) └ 毎月自動振込 ※10万円以上の預金が無いと手数料取られるので注意 | ↓自動振込 └ SBI証券(銀行振込用口座宛) └ 積立買付NISA購入(毎月16日) SBI証券 銀行引落サービスとは通常 他行への振込は手数料がかかるが、SBIでは無料で銀行から引き落としてくれるサービスがある。 SBI証券 銀行引落サービス ただし、引落日と入金日に半月ほどのタイムラグがあるので注意。 ※半月ほどお金が消えている状態
out: type: bigquery auth_method: json_key json_keyfile: content: ${env.secret_gcp_credential} +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secret:aws.access_key_id} secret_aws_secret_access_key: ${secret:aws.secret_access_key} sh>: embulk run embulk.yml.liquid +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secr
pandasで、テキストに対して処理する時、「よくわからないからfor文使うか」とならないための備忘録。 日本語テキストの前処理を目的として、情報をまとめる。 もっと良い処理方法があれば教えていただけると幸いです。 実行環境 - macOS Catalina - Python 3.7.4 pandas 0.25.3 TL;DR 簡単な処理は df["カラム名"].str のメソッドに実装されている pandasに実装されていない処理をしたい場合 df["カラム名"].apply() サンプルデータ HPからスクレイピングしてきたレディースのファッションブランドの店舗情報。 csvには企業名・ブランド名・店名・住所が保存されている。 複数のHPからスクレイピングしているため、半角全角だったり、空白など統一されていない。郵便番号が含まれていたりいなかったりもする。 下記の表はデータの一例。 こ
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
はじめにPID 1 問題というのは、コンテナを実行した際にアプリケーションのプロセスが PID 1(プロセス番号が1番)で実行されることで、コンテナに対して SIGTERM などのシグナルを送信してもコンテナ内のプロセスが正常に終了しないというものです。ここでは2020年3月現在でこの PID 1 問題を回避する方法を Docker と Kubernetes のそれぞれで紹介します。 TL;DRアプリケーションが「明示的にシグナルをハンドリングするようにする」、または「PID 1 で実行されないようにする」の2つの回避策があるアプリケーションプロセスが PID 1 で実行されないようにする場合、Docker では Tini のような軽量 init を使う、もしくは Docker 1.13 以上の場合は docker run の --init オプションを使うで問題を回避できるKuberne
機械学習ではよく使われるJupyter Notebookですが、これを使ってプロダクションで動くコードを書くのは非常に難しいなと思い、皆どのように使っているのかを知りたくてアンケートをとってみました。 結果としては、多少拮抗しているのですが、EDAから予測までJupyter派が多かったようです。ついで、学習のプロトタイプまで、EDAだけ派と続いています。 この質問で失敗したなと思ったのは、「MLの開発」と書いたものの、研究・実験用途で使っている人とプロダクションまで持っていく用途で使っている人が混ざってしまったであろうという気がしています。 ただ、1000票以上集まったので面白い結果となったのではないでしょうか。 その他の回答としては、Emacs派や全部.py派、全部C++派などがいることがわかりました。
AI事業本部 Dynalystの事業責任者の木村です。 Dynalystは広告配信プロダクトとしてもうすぐ6周年を迎えるサービスなのですが、ある程度理想とする組織の姿に近づきつつあるので、プロダクトを支えるデータサイエンスチームについてどういう風にプロジェクトが育っていったか少し紹介しようと思います。 前提とする状況は以下。 広告配信に関わるログは基本的に全てS3に蓄積されている 分析基盤としてRedshiftが稼働しており、だいたいのログはSQLでアクセス可能 配信のアプリケーションはScalaでできている (分析で利用する言語はPython, Rが主) 当然最初からチームがあった訳ではなく、徐々にプロジェクトらしくなっていったというのが正直なところです。 人数論で語るべきものではありませんが、実際やれることの幅は変わってるなということで、規模に応じてどう変わっているかをみてみます。 【
統計についてほとんど何も知らない人が読むべき本としては『マンガでわかる統計学』が一番のおすすめである。 『マンガでわかる統計学』 「統計って、今まで全然勉強したことはないけれども、将来必要になるかもしれないから、勉強してみようかな」とか、「統計を勉強してみたいとは思ってるんだけど、何から始めれば良いか見当がつかないんだよね」と思っている人は少なくないと思う。こうした人、すなわち統計学についてほとんど何も知らない人は何を使って勉強し始めれば良いのだろうか。 こうした初心者は、まず入門として『マンガでわかる統計学』という本を読むのが良いと私は考えている。この本は、統計に関する知識がほとんどない人にとって、わかりやすく、そして取り組みやすい本だ。 高橋信. (2004). 『マンガでわかる統計学』 東京:オーム社. この『マンガでわかる統計学』という本は、統計について特に何も知らない女子高生のル
大阪オフィスのYui(@MayForBlue)です。 つい昨日、Amazon ECRを触っていたら、AWS CLI v1 → v2 の移行で使用できなくなっているコマンドがあることを知ったのでその話です。 $ aws ecr get-login-password を使う 結論から言うと、ECRにログインするために必要な以下のコマンドがv2で使用できなくなっていました。 $ aws ecr get-login 公式のリファレンスを確認すると、以下のページに記載がありました。 AWS CLI version 2 replaces ecr get-login with ecr get-login-password このコマンドをv2で使用すると、以下のように、コマンドが使用できない旨のメッセージが表示されます。 usage: aws [options] <command> <subcommand
第2回 データアーキテクト(データ整備人)を”前向きに”考える会でトークをさせて頂きました https://analytics-and-intelligence.connpass.com/event/161997/ -- JapanTaxi, Inc. All Rights Reserved 102-0094 東京都千代田区紀尾井町3-12 3-12 TEL 03-6265-6265 FAX 03-3239-8115 https://japantaxi.co.jp/ 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights ReservedRead less
昨今、自社のデータを活用して、分析やAI開発に取り組もうとしている企業は多い。しかし、それらの試みが一足飛びに上手く行くケースはほとんど見ない。データ活用プロジェクトにおいては、さまざまな観点から用途に合わせた事前準備が必要となるためだ。 事前準備におけるエンジニアリング業務を担うのが「データエンジニア」という職種だ。データサイエンティストがAI開発を行う際や、データアナリストがデータ分析を行う際に、すぐに作業に取り掛かれるような環境を整備することがデータエンジニアの役割となる。 そこで今回は、株式会社富士通クラウドテクノロジーズのデータエンジニアである尾崎健太氏に、データ活用プロジェクトにおける必要な事前のプロセスについて、同氏による実際の案件での経験も踏まえて寄稿してもらった。 適切なデータ活用のためには「用途に応じた整形」が必要Photo by Markus Spiske on Un
この記事はZOZOテクノロジーズ #5 Advent Calendar 2019 7日目の記事になります。 また、今年は全部で5つのAdvent Calendarが公開されています。 ZOZOテクノロジーズ #1 Advent Calendar 2019 ZOZOテクノロジーズ #2 Advent Calendar 2019 ZOZOテクノロジーズ #3 Advent Calendar 2019 ZOZOテクノロジーズ #4 Advent Calendar 2019 概要 Digdagのstoreパラメータに大きな値を入れたときに後続のジョブがすべて遅くなってしまうと言うことがあったので紹介します。 考えてみれば大きな値を毎回DBから取り出してDigdag側でパース等しているので重くなるのは当たり前なのですが。 そこで今回は実際にどんな感じで遅くなるのかを紹介します。また、その回方法を紹介
Python を使い始めると、ディレクトリの階層で分けてファイルを管理したくなります。 そこで出てくるのが __init__.py ファイル。 これは一体何者なのか。 色々と情報がころがってはいるものの、なかなか納得行くように説明しているものが見当たりません。 Python のドキュメントでも、何を参照すれば正解なのかがわかりにくい1。 ということで、__init__.py についてまとめてみました。(少し長いです) 読み物形式で書いていますので、結論(「__init__.py の役割」)だけ見たい方はスクロールして最後の方を読んでください。 python コードの例は、主に 3.6/3.5 を使用しています2。 「モジュール」と「パッケージ」と「名前空間」 モジュールと階層構造 単一ファイルのモジュール ディレクトリによる階層構造と名前空間 ディレクトリと名前空間のマッピング __ini
概要 以前、ポエム~お前のインデックス~を書いたところ、勉強するための書籍について教えて欲しいという声を頂きました。ありがとうございます。 ただ、株の本、為替の本と言ってあれこれ読んでくれというのは、個人的には違和感があります。というのは、我々が学ぶべきは、株がどうこうとか仮想通貨がどうこうという知識ではなく、資産を運用するための「科学的なアプローチ」だからです。株に詳しい、FXに詳しい、テクニカルに詳しいというのが、それだけで良い投資家に繋がるものじゃないということです。 株に詳しい、FXに詳しいという投資対象への理解は、資産運用のごく一部にすぎません。また、非科学的な占いのようなアプローチを「初心者向け」として一番に紹介されることが、何年も何年も繰り返されていますが、それはそれで捨て置きます。ということで、本の紹介をする前に、資産運用の能力ってなんだろう?何を学べばいいの?ということを
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く