Go Conference 2019 Spring
Kubernetes の API Client における
キャッシュ設計 / Cache Design in Kubernetes API Client
Go Conference 2019 Spring
pandas-datareaderで株価や人口のデータを取得 | note.nkmk.me
pandas-datareaderを使うと、Web上の様々なソースに簡単にアクセスして、株価や為替レート、人口などのデータをpandas.DataFrameとして取得できる。 pandas-datareader — pandas-datareader 0.8.0 documentation pydata/pandas-datareader ここでは以下の内容について説明する。 pandas-datareaderの概要 インストール データソース 株価（Alpha Vantage） データ取得 CSVで保存 グラフをプロット 人口、GDPなど（World Bank） データ取得 indicator 階層データの整形 以下のサンプルコードのpandas-datareaderのバージョンは0.8.1。2020年5月22日時点で動作を確認している。バージョンやデータソースの仕様が変わると動作しない
俺的CloudFormation テンプレートの便利な定義 3選 - サーバーワークスエンジニアブログ
こんにちは、技術4課の多田です。 CloudFormation を最近業務でよく使うのですが、自分が使っていてこの定義は便利だなと思ったものがあります。 今回は、その定義 3つをまとめていきます。 Mappings を使ってリソースタグをまとめて設定 Metadata を使って入力パラメータを見やすく管理する Condition を使って条件判定する Mappings を使ってリソースタグをまとめて設定 Mappings を使うと、キーと名前付きの一連の値とが対応づけられます。 Mappings 業務で、大量の AWS リソースに対してタグ付けを行なっているのですが、固定したタグの値が決まっているのであれば、この Mappings を使えば統一的にタグ設定ができます。 例えば、 CloudFormation のコードで以下のように定義します。 下記の定義で、NameタグがEC2_TEST、
Master Guide to Java Memory Management - DZone
You might think that if you are programming in Java, what do you need to know about how memory works? Java has automatic memory management, a nice and quiet garbage collector that works in the background to clean up the unused objects and free up some memory. Therefore, you as a Java programmer do not need to bother yourself with problems like destroying objects, as they are not used anymore. Howe
Memory footprint of the JVM
The JVM can be a complex beast. Thankfully, much of that complexity is under the hood, and we as application developers and deployers often don't have to worry about it too much. With the rise of container-based deployment strategies, one area of complexity that needs some attention is the JVM's memory footprint. Two kinds of memory The JVM divides its memory into two main categories: heap memory
Java Memory Management for Java Virtual Machine (JVM) | Betsol
Java memory management is an ongoing challenge and a skill that must be mastered to have properly tuned applications that function in a scalable manner. Fundamentally, it is the process of allocating new objects and properly removing unused objects. Get ready for a deep dive! In this article, we will be discussing Java Virtual Machine (JVM), understanding memory management, memory monitoring tools
最近のAndroid開発でよく使われているっぽいライブラリまとめ(2021/08) - Qiita
私は去年から真面目にAndroid開発を始めたのですが、プロダクトの開発で息するように使われているライブラリなどは誰も教えてくれず知るまでなかなか時間がかかりました。この記事ではこれからAndroid開発を始める人向けに今よく使われているライブラリをまとめます。 「よく使われている」は完全に主観です。 AAC Android Architecture Componentsの略で、Android Jetpackのコンポーネントの一つです AACに含まれるライブラリの中でも特によく使うものについて紹介します。 Data Binding Library 文字通りデータバインディングに使うライブラリです。私はMVVMでの開発でよく使ってます。XMLにオブジェクトをバインドしたり、後述するLiveDataなどで双方向のデータバインディングもできるので大変便利です。 Lifecycle Activit
小説家になろうを機械学習でデータ分析してブックマーク10以上を獲得しやすい条件を探す - Qiita
はじめに これを書いてる人の機械学習・データ分析のスキルはpythonの拡張子が.pyであることを知ってから10日目ぐらい、「決定木」「最小二乗法」「特徴量」「RMSE」といった単語を初めて見てから7日目ぐらいといったレベルです。なのでより良い方法がある場合や、分析の途中間違っている箇所などがあればコメント欄等でどんどん指摘してくださると有り難いです。(コードが汚い、変数の命名がおかしい等はご容赦ください) 本記事について 小説家になろうの作品でブックマーク10以上を獲得するために、有利なジャンルはあるのか、作品のタイトルとあらすじの文字数は重要か、本文の文字数は重要か、ジャンルが重要ならどのジャンルが良いのか、文字数が重要ならどのぐらいの文字数が良いのか、といったことを調べていきます。 先に分析の結果を書くと 大ジャンル ジャンル 15禁止作品かどうか、タイトルの文字数、あらすじの文字数
忙しいひとのためのCQRS/quickly-cqrs - Speaker Deck
All slide content and descriptions are owned by their creators.
Differential Data Quality Verification on Partitioned Data | Sebastian Schelter
Differential Data Quality Verification on Partitioned Data Sebastian Schelter, Stefan Grafberger, Philipp Schmidt, Tammo Rukat, Mario Kiessling, Andrey Taptunov, Felix Biessmann, Dustin Lange Abstract Modern companies and institutions rely on data to guide every single decision. Missing or incorrect information seriously compromises any decision process. In previous work, we presented Deequ, a Spa
journaldを経由せずにrsyslogから/dev/logを使う
CentOS 7 で、とあるサーバを構築し、負荷試験を実施したところ systemd-journald がCPU100%使い切っており、本来のパフォーマンスが発揮されないことが判明しました。 レガシーの syslog() で秒間数万行以上の大量のログを出力しており、systemd-journald プロセスの処理が追いつかず /dev/log ソケットでメッセージが詰まってしまったことが原因でした。 根本的な原因は syslog() で大量のログを出力していることにあるのですが、systemd-journald も結局は rsyslog に転送してログファイルに書き出しているだけなので、ボトルネックになってほしくはありません。
Amazon EKSでIngress Controllerに何を採用するか検討した | Recruit Tech Blog
こちらの内容は2019年5月当時のものです。内容が古くなっています。 当時はalb-ingress-controllerという名前でしたが、aws-load-balancer-controllerとなり、ingressのグルーピングの機能も追加されています。 最新のものは以下の記事で紹介しています。 TargetGroupBinding を使って AWS EKS で Kubernetes を無停止かつ DNS 切り替え無しでバージョンアップしました こんにちは、スタディサプリ ENGLISH SREグループの大島です。 現在、Amazon Elastic Container Service for Kubernetes（以下EKS）を本番運用するにあたって各要素について検討を行なっています。今回は、その一貫でAmazon EKSでIngress Controllerに何を採用するかについて
実践クリーンアーキテクチャ with Java
この記事について こちらの記事はクリーンアーキテクチャの Java 実装による解説記事です。 MVC フレームワークに組み込むために一部変更している部分もあります。 それをふまえてご覧ください。 講演内容が @IT さまに記事にしていただけました。 あわせてご参照ください。 https://www.atmarkit.co.jp/ait/articles/1907/08/news002.html クリーンアーキテクチャよりも軽量で無理なく導入しやすいアプリケーションアーキテクチャパターンを考案しました。 https://nrslib.com/adop/ スライド JJUG CCC 2019 Spring での発表資料です。 この発表をするにあたって記事を書くことにしました。 YouTube YouTube でこちらの解説を行いました。 その他解説もしています。もしよろしければチャンネル登録を
The Volcano/Cascades Optimizer
The document describes the Volcano/Cascades query optimizer. It uses dynamic programming to efficiently search the large space of possible query execution plans. The optimizer represents queries as logical and physical operators connected by transformation and implementation rules. It explores the logical plan space and then builds physical plans by applying these rules. The search is guided by es
AWSアカウントを作ったら最初にやるべきこと ～令和元年版～ | DevelopersIO
はじめに 中山（順）です 4年ほど前にこの記事のタイトルと同じテーマで資料を作成したことがあるのですが、古い内容があったり新しいサービスのことが含まれていなかったりするので改めてまとめてみました。令和だし！ その時の資料はこちらです（クラスメソッドにジョインするくらい2年前です）。 AWSアカウントを作ったら最初にやるべきこと サインアップ （業務利用の場合）非個人メールアドレスでサインアップ サポートプランの確認 ID管理 / 権限管理 CloudTrailの有効化 ルートアカウントのMFA設定 IAM User / IAM Groupの作成 パスワードポリシーの設定 GuardDutyの有効化 Security Hubの有効化 請求 IAM Userによる請求情報へのアクセス許可 支払通貨の変更 Budgetの設定 Cost Explorerの有効化 Cost Usage Report
How Airbnb is Boosting Data Literacy With ‘Data U Intensive’ Training
Since we introduced Airbnb’s Data University, the program has continued to thrive and evolve. One improvement has been the addition of team-specific trainings with content tailored to the work of that team. In this post, we describe the impact of this addition and the lessons learned in its implementation. What is Data University?Data University is Airbnb’s dynamic data education program, with the
コワクナイヨ TypeScript - static typing reloaded -
WebXRでポートフォリオを作ろう/Let's make your portfolio with WebXR!
DynamoDBの基礎まとめ ― 読み込み(RCU)検証 - Qiita
import boto3 import logging dynamoDB = boto3.resource("dynamodb") table = dynamoDB.Table("SampleTable") def lambda_handler(event, context): try: itemdata = table.get_item( Key={ "userid" : "U00001", "updatedatetime" : "2018-04-08 09:01:00" }, ConsistentRead=True ) except Exception as e: logging.error("type : %s", type(e)) logging.error(e) RCU計算しやすいように、ConsistentReadをTrueにし、DynamoDB はオペレーション時に強い整合性
ペアプログラミングして気がついた新人プログラマの成長を阻害する悪習
最近、あまりプログラミングが得意でない人のサポートをする形で、長い時間にわたってペアプログラミングを行っている。そのなかで、気がついた悪い習慣と成長するための良い習慣というものをまとめてみる。 この記事のバックグラウンドとなる体系的知識が本になりました。 エンジニアリング組織論への招待 ～不確実性に向き合う思考と組織のリファクタリング あわせて読みたい 経営者マインドが足りない！vs. 現場に任せてくれない！の対立をなくすカードゲームをつくった話 新人プログラマに知ってもらいたいメソッドを読みやすく維持するいくつかの原則 新人プログラマに知っておいてもらいたい人類がオブジェクト指向を手に入れるまでの軌跡 ペアプログラミングして気がついた新人プログラマの成長を阻害する悪習 あきらめるにはまだ早い！ソースコードの品質向上に効果的なアプローチ 心理的安全性ガイドライン（あるいは権威勾配に関する一
A Course in Machine Learning
by Hal Daumé III Machine learning is the study of algorithms that learn from data and experience. It is applied in a vast variety of application areas, from medicine to advertising, from military to pedestrian. Any area in which you need to make sense of data is a potential consumer of machine learning. CIML is a set of introductory materials that covers most major aspects of modern machine learni
The Hundred-Page Machine Learning Book by Andriy Burkov
This is the supporting wiki for the book The Hundred-Page Machine Learning Book by Andriy Burkov. The book is now available on Amazon and most major online bookstores. WARNING! To avoid buying counterfeits on Amazon, click on See All Buying Options and choose Sold by Amazon.com and not a third-party seller. But better, avoid Amazon by all means. The best way to make sure the author receives a fair
Elastic Beanstalkの.ebextensions集 - Qiita
commands: timezone: command: cp -p /usr/share/zoneinfo/Japan /etc/localtime files: "/etc/sysconfig/clock": mode: "000644" owner: root group: root content: | ZONE="Japan" UTC=true swapを有効にする swapのサイズは、ddの引数を適宜変更してください。以下の例だと、4GBになります。 （Linuxディストリビューションによっては、/var/run がRAMディスク等の大きいファイルが作れないファイルシステムに割り当てられているので、その場合は /var/swap 等、ディレクトリを変更するようにしてください） commands: create_swap: test: test ! -f /var/run/swa
【AWS】Elastic BeanstalkのEC2インスタンスに任意のタグを付ける | DevelopersIO
よく訓練されたアップル信者、都元です。EC2をはじめとする大部分のAWSリソースには「タグ」というキー・バリュー形式の情報を付与できるのはご存知の通りです。このタグ情報に基いて課金額等を分類したり、まぁ色々な使い方があります。 が、Beanstalkが起動するEC2インスタンスに対して任意のタグを付けることは、Beanstalkの機能としては提供されていません。 .ebextensions ところで、Elastic Beanstalkには、アプリケーションデプロイのタイミングで、インスタンス上で任意のコマンドを実行する仕組みがあります。.ebextensionsです。Beanstalkのアプリケーションバンドル *1直下に.ebextensionsというディレクトリを作り、その中に拡張子.configが付いた設定ファイルを配置することで制御します。 この仕組みを使って、デプロイのタイミング
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - awslabs/deequ: Deequ is a library built on top of Apache Spark for defining "unit tests for data", which measure data quality in large datasets.
We want AWESOME CLI tool & development
標準パッケージにおけるテストでの利用例から学ぶ testing / quick パッケージ/golang-testing-quick
高トランザクションシステムとしてのメールシステム
TypeScriptの型表現
gas-webpagetestで パフォーマンス計測を始めよう / get-started-measuring-performance-with-gas-webpagetest
Formの送信ログから反省する、 本当は必要だったバリデーションや機能たち
Information Theory, Inference, and Learning Algorithms.pdf