Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
はじめにTIG真野です。失敗談をテーマにした連載で、ちょうどプロダクト開発的に良い区切りのタイミングでもあるため、振り返りがてら、DynamoDB,Go,AWS Lambdaの技術要素について自分自身の理解・見込みの甘さについて反省します。 DynamoDBのシステム項目created_atとかupdated_atのタイムゾーンはJSTにすれば良かったDynamoDBは日付型を直接サポートしておらず、文字列型で保存することになります。 https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.NamingRulesDataTypes.html#HowItWorks.DataTypes.String データサイズや諸々の理由でUnixTime 勢力もあるかもしれませんが、アプリケーションから直接参照
API越しでタイムスタンプをやりとりする時のフォーマットをどうするべきか - その手の平は尻もつかめるさ
APIのリクエストにせよレスポンスにせよ、タイムスタンプを利用するというのはよくある話です。 この時、そのタイムスタンプのフォーマットをどうするのが良いのかという話題です。IDLを使って縛るというというのは良い考えだと思いますが、IDLを使うにせよフォーマットについては決めなくてはならないので。 1. 文字列を使う これあんま良くないと思うんですよね……というのも、とあるAPIを触っている時に「タイムスタンプはRFC3339です」というフィールドがあったんですけれどRFC3339ではないフォーマットで返却されたり受け入れられたりしたのであまり信用ができない…… まあフォーマットが不正というのは極端な例かもしれないですが、仮にフォーマットが不正だと多くの場合 strptime() や time.Parse() なんかの時刻文字列のparserが正しく動かず (良いケースだとエラーが上がる、悪
はじめに UZOUという広告配信プラットフォームでバックエンドエンジニアをしている@muroon01です。 Goのロギングライブラリであるzerolog, zapは(使用法によりますが)ゼロアロケーションであると言われています。 そこでゼロアロケーションのロギングライブラリとは一体どのようなつくりなのか、またGoのソースをゼロアロケーションにする方法について記述していきたいと思います。 ゼロアロケーションとは？ (メモリ)アロケーションとはプログラムが動作するのに必要なメモリの割り当てを意味しており、スタック領域へのもの(静的アロケーション)とヒープ領域へのもの(動的アロケーション)が存在します。 スタック領域へのメモリの割当は割当サイズおよび確保・解放されるタイミングがプログラムの記述時に静的に決まります。 一方、ヒープ領域は宣言時にメモリの最大割当サイズを指定せずに、プログラム実行時に
Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 game_counter_stack.py from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます
Moment.js 送別会を開催した
9/25(金)に Moment.js の送別会を YouTube Live / Discord で行いました。フロントエンドから卒業することになった Moment.js の思い出と、今使っている時刻操作ライブラリなどについて語る会となります。 この時点では特に何も決めておらず、オフィシャルに言及されている Day.js や date-fns、 Luxon の話を交えつつ、 Temporal の話題などができると良いなくらいの気持ちでいました。 しかし、なんだかんだ話題が広がって最終的に同時に Discord で議論に参加してくれていたメンバーが 10 人程度いるなど、かなりの大所帯になったのは良い意味で予想外なイベントとなりました。 イベント本編について その場の流れで決まった企画ではありますが、イベントはイベント。せっかくなので、送別会として、これまでとこれからの話をゆるーくすることにし
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
CloudWatch Logs を文字列検知してログ内容をメールを送信してみた | DevelopersIO
コード ”関数コード” 画面では ランタイム を Python 3.6 にします。 コードは以下を貼り付けます。 from __future__ import print_function import json import boto3 from botocore.exceptions import ClientError import datetime import os print('Loading function') def lambda_handler(event, context): #print("Received event: " + json.dumps(event, indent=2)) message_orig = event['Records'][0]['Sns']['Message'] message = json.loads(message_orig) SNS
Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 | Amazon Web Services
Amazon Web Services ブログ Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 現在、企業は構築するアプリケーションに最適にフィットした複数のデータストアを利用しています。例えば、ソーシャルネットワークアプリケーションを構築するような場合は、リレーショナルデータベースよりは Amazon Neptune のようなグラフデータベースの方が多くのケースで最適です。同様に頻繁な反復処理(fast iterations)のために柔軟なスキーマが求められるワークロードには、 Amazon DocumentDB (with MongoDB compatibility) がより適しているでしょう。Amazon.com のCTO/VPである Werner Vogels が述べているように、「複数の明確に異なる要件を満たすことが出来る単一のデータベース
——————————————————————————————————————————————————— Redis(REmote DIrectory Server)Redisは例えば以下の特徴を持つLLOOGGを元としたインメモリの非リレーショナルのデータベースです。 String, List, Hash, Set, Sorted Setに代表される豊富なデータ型シングルスレッド処理イベント駆動処理 by aeライブラリ通常RESPプロトコルによるクライアント/サーバーモデルでリクエスト/レスポンスデータは条件を満たす場合にメモリ最適化されて保存。CPUとのトレードオフRAXを利用したメモリ利用量の最適化(Redis 4.0~)この記事では、入門から始まり、実装をより意識することで深く理解することを目標としています。 以下の説明中の(*)マークは、特にVanilla Redisでの話となり
VSCodeでServerless FrameworkのAWS Lambda(TypeScript)をデバッグする | DevelopersIO
どうも！大阪オフィスの西村祐二です。 最近、AWS LambdaをTypeScriptで書く機会が増えてきました。 また、Serverless Frameworkを使う機会も個人的に多少あります。 そこで今回はそのVSCode上でAWS Lambda(TypeScript)をデバッグする方法を紹介したいと思います。 どうやるか 前提として、Serverless Frameworkのaws-nodejs-typescriptテンプレートで雛形を作成したとして進めていきます。 VSCodeのデバッグ設定で下記の設定をすることで、VSCode上で、Serverless FrameworkのAWS Lambda(TypeScript)をデバッグすることができます。 ポイントはsmartStepをtrueにしておくことです。そうしないと、ブレークポイントで止まらずに処理が終了してしまいます。 ファン
こんにちは、Gunosy Tech Lab内定者の濱下と谷口です。 今年も昨年同様エンジニア向けデータ分析サマーインターンシップを実施しました。 メンターアルバイトとして参加したので，その様子やメンターとしての気付きなど，当日の写真を交えながら紹介します！ Gunosy Summer Internship 2019 について 講義 課題について 作業環境 ランチ・おやつ 結果発表 インターン参加者の感想 1位 : 京都大学・大村 和正 さん 2位 : 東京大学・大野 佑 さん 3位 : 早稲田大学・片山 颯人 さん メンター総括 濱下 谷口 Gunosy Summer Internship 2019 について Gunosy Summer Internship 2019は、株式会社Gunosyが2019年夏に開催した短期インターンシップです。 今年は「機械学習コース」と「サービス開発コース」
[VSCode] Time Converter で Unixtime(Epoch Time) を生成・変換するとめっちゃ便利 | DevelopersIO
データのタイムスタンプとして、DynamoDBのデータなどでUnixtime (Epoch Time)をよく使います。 データの作成日 データの更新日 データの有効期限 など これらのUnixtimeを確認するとき、変換Webサイトで次の作業を行っていました。 DynamoDBのタイムスタンプを「人間が分かる形式」に変換する 例）1581068547 -> 2020-02-07T18:42:27.000+09:00 任意の時刻（現在時刻も含む）からUnixtimeを作る 例）2020-02-07T18:42:27.000+09:00 -> 1581068547 これらの作業が、VSCodeで完結します！ Time Converter という拡張機能です。 Time Converter - Visual Studio Marketplace できること たくさんの変換ができますが、個人的によ
Swarm（旧Foursquare）のチェックイン過去履歴をGoogleカレンダーに一括登録する方法（後編）
情報管理LOGの@yoshinonです。 前回は、「 Swarm（旧Foursquare）のチェックイン過去履歴をGoogleカレンダーに一括登録する方法（前編） 」ということで、Swarmのチェックイン履歴をGoogleカレンダーに一括登録するために悪戦苦闘する様子を書きました。ぶっちゃけ、Foursquareでエクスポートしたデータは、癖が強すぎて扱いが大変なんですよ！ しかし、過去のチェックイン履歴を無事Googleカレンダーに復活させるためにやれることは、全てやりました。なお、皆様は、そんな苦労をする必要はありません。 最後の方にチェックイン履歴をGoogleカレンダーに一括登録するためのスプレッドシートをダウンロードできるようにしていますので、ご安心を！ まずは、前回までの振り返りをしてみたいと思います、 Swarmのチェックイン履歴が、3月末でGoogleで表示されなくなってし
署名付きCookieはCloudFrontで配信するコンテンツをプライベートなコンテンツとして配信するための機能です。よく似た機能で署名付きURLもあります。今回は署名付きCookieでコンテンツの制限とアクセス検証します。 信頼されたキーグループのキーペアの作成 CloudFront + S3でコンテンツの配信準備 コンテンツを署名付きCookieで制限しプライベートコンテンツとして配信 CloudFrontの署名付きCookieを使ってプライベートコンテンツの配信を試します。以前はrootユーザでCloudFrontのキーペアを作成していました。現在は非推奨であり、通常のIAMユーザでCloudFrontのキーペアを作成する方法が推奨されています。ということで、推奨方法でキーペアを作成するところからはじめます。 署名付きCookie 信頼されたキーグループのキーペアの作成 署名者のキー
※2022/9/24 UPDATE データ分析・集計でよく使うクエリを調べる時間を省くためにまとめています。 URLを階層で区切るページごとのPVやCTRを集計するときに、階層ごとに切り出して集計しやすくする時に使ったりします。 クエリ WITH data AS ( SELECT 'https://www.example.com/video/detail?id=100' url ) SELECT url, -- //からパラメータの間をマッチさせ/で分割 split(regexp_extract(url, '//[^/]+([^?#]+)'), '/')[SAFE_ORDINAL(2)] path1, split(regexp_extract(url, '//[^/]+([^?#]+)'), '/')[SAFE_ORDINAL(3)] path2 FROM data■SAFE_ORDINA
AWSチームのすずきです。 Developers.IO の コンテンツ配信環境に対する攻撃の緩和対策としての有効性を確認するため、 AWS提供のマネージドルールを IDS(不正侵入検知システム)相当とした AWS WAFを設定、 そのフルログを Athen と QuickSight を利用して解析する機会がありましたので、紹介させていただきます。 環境について 構成図 WordPress 宛の リクエストを AWS WAF の対象としました。 環境の詳細は以下記事をご覧ください。 経緯 2016年頃 過去の Developers.IO、大量アクセスによるサーバダウンが起きやすい環境であったため、 AWS WAFのレートルールや、Kinesis、Norikra を 利用した 異常アクセスの遮断を実施していました。 2020年春 2020年春のリニューアル後、WAFによる保護を必要とする機会は
はじめに この記事は私がシェルスクリプト用のBDDテスティングフレームワーク ShellSpec の開発を通して得た移植性・可搬性の高いシェルスクリプトを書くための技術のまとめ、および関連する私の記事へのリンク集です。関連する新しい記事を書いたらここからリンクしますので、このページをストックするなりブックマークしておくと良いと思います。 この記事を変更通知目的でストックしている方へ 記事が多くなりリンク集のメンテナンスが大変になったため、この記事の定期的な更新はやめることにします。もし更新通知が必要な方は代わりに私をフォローしてください。ほとんどシェルスクリプト関係の記事しか書いていないためそれで十分目的を果たせると思います。 Q & A なぜシェルスクリプトで書くのか？ シェルスクリプトには他のスクリプト言語にはない特徴が二つあります。一つ目はシェルスクリプトはコマンドを連携させるのに適
こんにちは、インフラエンジニアの 高山 です。 この記事は Enigmo Advent Calendar 2022 の25日目の記事です。 はじめに エニグモ入社後に AWSを徐々に触れ始め 数年経過しました。 最初はWebコンソールからポチポチしていたのですが、CloudFormationでコード化を進めたり AWSCLIやSDKを使うようになり、最近は Rubyで AWSリソースの情報取得や操作をすることが多くなってきました。 (以下、RubyでAWSリソースの情報取得や操作をすることをAWSをRubyで操作すると表現します) AWSをRubyで操作するようになった理由は以下です。 そもそもWebコンソールは苦手(というより怖い)で、CLIで操作したい派である 構造的なデータを扱うのは Shellスクリプトだと厳しい(jqが嫌い) Ruby on Rails(以下、Railsと表記しま
Swarm（旧Foursquare）のチェックイン過去履歴をGoogleカレンダーに一括登録する方法（前編）
情報管理LOGの@yoshinonです。 先日来より懸案事項だったSwarmのチェックイン履歴がGoogleカレンダーに反映されなくなった問題ですが、その完結編になります。前回の記事から時間的に空いてしまったのは、非常に手こずっていたからです。うむむ。というわけで、この記事は前後編になります。 とにかく大変だったので、そのあたりの流れも含めてレポートします。 先日来より情報管理LOGで話題にしていたのですが、今までSwarmのチェックイン履歴が iCal形式で提供されており、Googleカレンダーに自動で反映していたものの、どうやら今年３月末までで提供がストップしていたようなのです。 Swarm（旧Foursquare）でチェックイン履歴のGoogleカレンダーが使えなくなった... なんてこったい…。 今までは、このようにGoogleカレンダーを見れば、「いつ」「どこへ」行ったのかが、即
こんにちは、アスクルの いのだい です。 アスクルでは社内のチャットツールとしてSlackを利用しており、分報チャンネルで日々思ったことをつぶやいています。2019年が終わり、自分がたくさん発言したことはなんだろう？？と思い、分報チャンネルの発言を集計してみることにしました。 Slack API が json 形式でレスポンスを返してくることを知っていたので、Python 3 で実装にチャレンジします。 実装！ どのような機能を使ったのか、実装のポイントを書いていきます。 Slack Web API Slack から API が提供されており、チャンネルやユーザの情報や発言内容を取得できます。Slack Web API を呼び出すために必要な token と、今回コールした API について触れます。 Legacy Token Slack には Legacy Token とそうでない to
経緯：ひょんなきっかけで TOTP の実装機会があった。RFC 文書からは 0→1 でコード実装した経験ないので、せっかくなので RFC だけ見て Rust で実装する事にした。 概要：OATH や 2FA で使われている、TOTP(Time-based One-Time Password)アルゴリズムの概念と実装をメモ。RFC6238準拠。 単語： TOTP: 2011 年に HOTP の拡張として誕生。RFC6238 準拠。「ユーザー＆サーバー間で共有されてる秘密 token、時間情報」をもとに OTP を生成する。HOTP と違って時間情報をもとにするからブルートフォースに対する防御力は強い。勿論キーロガーなどされたら即死。またオンラインと通信しながら時刻を調整できる正確なクロックが内蔵されていれば問題ないが、そうでないサーバーの場合もありえるので、RFC では許容幅について言及して
[小ネタ] 続・シェルスクリプトで日付 ⇔ UNIXTIME 相互変換の計算がしたい（BSD date, Ruby, jq） | DevelopersIO
[小ネタ] 続・シェルスクリプトで日付 ⇔ UNIXTIME 相互変換の計算がしたい（BSD date, Ruby, jq） 3年ほど前に書いたやり方のアップデートです。シェルスクリプトの中で、日付の計算をしたりタイムスタンプを出力したりという需要は現在でもそこそこある（著者調べ）ということで、今回は BSD date（macOS標準の date コマンド）と Ruby、 jq について紹介します 以前、こんな記事を書きました。 このときはこれで解決したのですが、3年ほど経ってまた同じ需要が出てきました。 そこで「もう少し楽な方法ないかな？」と調べてみたら普通に見つかったので、備忘録がてらご紹介します。 シェルスクリプトで日付の計算がしたい (BSD date) 前回のブログで「macOS標準のdateコマンド（BSD date）ではできないので〜〜」とか書いていたんですができました。 ぼ
![[小ネタ] 続・シェルスクリプトで日付 ⇔ UNIXTIME 相互変換の計算がしたい（BSD date, Ruby, jq） | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d50dfd697094001808c755de99e32d20c431e507/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F07%2Fdatetime-calculation-on-shellscript-2021.png)
LogServiceではじめる時系列分析（教師なしML編）｜Engineers' Blog｜SBクラウド株式会社 - SBクラウド株式会社
はじめに こんにちは。エンジニアの石井です。 前回から1年半ほど経ち、2回目の投稿ととなります。 今回はLogServiceで実現できる教師なしMLについて主に扱います。 ほんの一部の説明のみですが、多少なりとも使い方のイメージを掴んでもらえると嬉しいです！ www.alibabacloud.com 事前の用意 今回はAR(2)過程、つまりに従う人工データを作成して利用します。*1 何回か生成するので、ここでは生成用の関数を定義しておきます。 gistedaab09029043c429a32c11083c0d6ae また、データのアップロードは大容量データの場合OSSやDataIntegrationを利用すると良いですが、今回は大変軽いデータなので、Pythonから直接アップロードします。 スクリプトサンプルはこんな感じです。(SDK等必要なものは別途インストール済みであるとします) gi
JEPXが公開している電力売買市場情報のCSV、AWSサービスでの利用が容易なJSON形式への変換をLambdaで試みました。 AWSチームのすずきです。 日本卸電力取引所（JEPX) がCSV形式で公開している、電力売買市場のスポット取引価格情報。 その確認を容易にするために、AWS Lambda を利用してJSON形式への変換を行う機会がありましたので、紹介させていただきます。 JEPX(取引情報ページ) スポット市場取引結果(CSV内容表示) 課題 CSVの1行目にデコード不能なデータが存在する。Glue、S3 Select等のツールではヘッダ情報を利用できない。 日時情報が日本時間の年月日と、1日を48分割した時刻コードで構成されている。既存の日付型データとの結合処理には加工が必須。 毎年4/1開始、年度末には1年分のレコードが蓄積(約3MB)する仕様。直近データのみ必要とする場合
【製造業 IoT の第一歩】三菱電機のシーケンサ MELSEC から取得した設備データを AWS に保存するまで | DevelopersIO
製造業の IoT 導入はとても奥が深い世界です。実際に試してみた内容や考慮したポイントの一端をご紹介します。 概要 最近、製造業の設備データを収集して AWS で可視化・活用したいというお問い合わせを受けることが多くなりました。 特に、一定の規模以上の工場などでは、PLC （Programmable Logic Controller）という設備機器を制御する装置が利用されていることが多く、この PLC から直接データを取得したいというケースがあります。 そこで今回は、この PLC からデータを取得して、時系列データベースである Amazon Timestream に保存するまでの手順を紹介したいと思います。 余談 製造業においては、「シーケンサ」というと一般的に PLC 全般のことを指して表現されることが多いですが、シーケンサは 三菱電機の PLC 製品名です。 しかし、国内の PLC 製
TCP入門 - hayashier Tech Blogs
普段、Webサイトなどを運営しているといった場合に、おおよそアプリケーションを動作させる分には、アプリケーションレイヤーより下の部分については意識しなくても良いこともあるかもしれません。しかしながら、複数のコンポーネントを組み合わせたり、大規模になってきたり、特殊な環境、および複雑な問題に出くわすようになってきたりすると、それらを対処するためには、TCPなどのレイヤーについても、しっかりと理解しておく必要があります(雑に書き殴っているため、後半になるほどまとまりきっていませんが、ご容赦ください)。 以下の項目に分けて概要を説明します。 機能状態遷移図データ構造その他機能概要TCPの機能について、大きく以下の観点で説明していきます。 コネクション管理シーケンス番号再送制御順序制御ポート番号ウィンドウ制御フロー制御輻輳制御詳細コネクション管理目的: コネクション上でデータとACKをやりとりする
B! 4 0 0 0 Slackが今年の9月から無料プランだと90日より前のメッセージが見れなくなってしまう、ということで 過去のメッセージをバックアップするシステムをGoogle Apps Scriptを使って作りました。 Slackの個人的な使い方 Google Apps Scriptでやる訳 Slack-gas 定期的な実行 Slack-gasのパラメーター設定 TIME_ZONE SAVE_MESSAGE_JSON FULL_CHECK/COVERAGE/CHECK_THREAD_TS_IN_SHEET/THREAD_TS_COVERAGE その他作ってるときに気づいたことやよくわからなかったこと Slack APIのconversations中心への移行 Bot OAuth Token Scopesの削除は出来ない? スレッドの取得 User情報 message情報内のtext
awk(gawk/mawk)でaccesslog内の日付(yyyy/mm/dd HH:MM:SS)にn時間追加したり、フォーマットを変換して出力させる | 俺的備忘録 〜なんかいろいろ〜
Blog 201912 awk(gawk/mawk)でaccesslog内の日付(yyyy/mm/dd HH:MM:SS)にn時間追加したり、フォーマットを変換して出力させる たまにlogを見ながら作業をしたりすることがあるのだけど、そういうときサーバによってはログの日付がGMTで記録されてたりする。 ここは日本であり、やはり自分もJSTで普段生活しているので、いちいち脳内で+9時間して読み取るのはちょっとだるい。できればJSTになってる時刻でログを読みたいところ・・・。 というわけで、取得したログをJSTに変換して出力する方法について考えてみることにした 1. awkで日付を変換する(外部コマンド使用) apacheのログなんかだと、デフォルトでは日付の表記が「28/Nov/2019:09:03:19」のようになってしまっている。 これだとちょっとawkでは扱いづらい面があるため、dat
Amazon TimestreamとIoT Core RuleアクションをCloudFormationで作成する | DevelopersIO
Amazon TimestreamとIoT CoreのRuleアクションをCloudFormationで作成してみました。 CloudFormationを使って、Amazon Timestreamを作ってみました。 IoT Coreのルールアクションも作成し、とあるMQTTトピックに来たデータをAmazon Timestreamに格納する仕組みです。 CloudFormationテンプレートの作成 作成したCloudFormationテンプレートは下記です。IoT Coreで受け取ったメッセージをAmazon Timestreamに格納しています。 timestream.yaml AWSTemplateFormatVersion: "2010-09-09" Description: Amazon Timestream Sample Resources: IoTDataTimestreamD
背景 ネットサーフィンしていたら、シストレについて非常に参考になるサイトを見つけました 文系でもわかる！BitcoinのBOT自動売買トレードの始め方 非常にわかりやすく解説されていました シストレ未経験の自分でもできそうな気がしてきました 興味が湧いたので、週末にコードを書いて感触を確かめてみることにしました Github 今回書いたコードです。(notebook形式) ちなみに以前、LSTMによる仮想通貨予測に挑戦し、あまりうまくいきませんでした 今回はいきなり機械学習に飛ばず、移動平均線を利用した単純なアルゴリズムを書きました 実施したこと 実際の取引は行わず過去のデータを取得して効果を試してみます 過去データの取得、取引シミュレーションの基礎になりそうなところだけ書いてみました 1. CryptWatchのAPIからビットコインデータの取得 以下のクラスを定義しました API経由で
BigQueryのテーブルを間違えて消しても復元できるの知ってた！？投稿者: adachin 投稿日: 2019/02/272019/02/27 間違えてBigQueryのテーブルを消しても復元できるというのを皆さん知ってましたか！？ バックアップというよりも、1秒単位でスナップショットを自動で取ってくれています。 (ちなみに2日以内であれば復元できます) 今回本当に復元できるのかテストしてみたので、間違えても皆さんビビらないよう対応できたらと思います。 ■削除されたテーブルの復元 https://cloud.google.com/bigquery/docs/managing-tables?hl=ja#undeletetable bqコマンドが使えればOK。 ■Recover deleted table in Google BigQuery https://medium.com/@raje
【仮想通貨botter Advent Calendar 2022】 ABIを使わずにPancakeswapでSwapしよう｜QASH_NFT
【仮想通貨botter Advent Calendar 2022】 ABIを使わずにPancakeswapでSwapしよう 本記事は仮想通貨botter Advent Calendar 2022に掲載させていただく記事です。 はじめに はじめまして。qash_titと申します。普段はBOTを用いたアービトラージを主体として、クラウド代とメンタルを溶かしながら戦っております。 今年度は、仮想通貨botter Advent Calendar 2022に参加させていただきました。 昨年度の仮想通貨botter Advent Calendar 2021では、良質な記事（ポエム）や気づきなどがあり、参加しなかったことを後で後悔しました。 私も最近はNoteや弊ブログでポエムを書いているので、良かったら読んでみてください。 過度に利益志向にならないように、とのことなので、絆チェーンのブリッジを止めたり
AWSでIoTデータを見える化してみた
クラウドサービス中でも、ビジネス活用のAIとして広く認知されているIBM Watsonをキーサービスとして提供する「IBM Cloud」について、IoT領域での活用方法を取り上げます。特に、ビジネス（サービス）企画における最初の段階で実施するPoC（Proof of Concept：概念実証）での活用を想定した「センサデータの収集」方法をご紹介します。 実はクラウド環境としてよく利用されているAWSでもセンサーデータを収集することができます。AWSのサービスを使用したIoT活用の方法と今後の応用について取り上げさせていただきます。 1. 今回のシナリオ 上記記事でもお伝えしたように、IoT観点でのクラウド活用フェーズは以下の通りです。 センサーデータの収集 データの分析 新しい付加価値(サービス)の創出 上記に加えて、データ活用までの時間をより早く、より簡単に、といったことも大事な要素にな
はじめにBacktestAssistantはpythonによるシステムトレードの分析・検証を行うためのバックテストツールです。 いわゆるbotter向けのツールのため、pythonにて取引所APIを使ってデータ収集や取引ができる、できれば簡単なbotなどの作成経験があるという方が対象となります。 (上記に当てはまらない場合、本ツールが有効とならない可能性がありますのでご注意ください。) 冒頭から少し厳し目な記載となっていますが、利用者・著者双方にとって不利益とならないように対象ユーザーを明示しています。 以降の解説やコードサンプルにて本ツールが提供する機能や制約事項をご確認頂き、ご自身にとって有用なものかご判断ください。 本ツールはBitMEXやbybitに代表されるBTC/USDトレードに最適化した機能構成となっており、botのコーティングのようにテストコードを作成・検証することができま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GoとDynamoDBを用いた開発で反省していること | フューチャー技術ブログ
Goのロギングライブラリから見たゼロアロケーション - Speee DEVELOPER BLOG
Dive Deep Redis ~ 入門から実装の確認まで - hayashier Tech Blogs
サマーインターンシップ2019開催報告 - Gunosyデータ分析ブログ
CloudFrontの署名付きCookieでプライベートコンテンツの配信 | DevelopersIO
BigQueryチートシート｜とくきち（tokukichi）
AWS提供のマネージドルールでDevelopersIOへの攻撃を検出してみた | DevelopersIO
移植性・可搬性の高いシェルスクリプトを書くための技術まとめ - Qiita
AWSとRubyは相性が良いと思う話 - エニグモ開発者ブログ
Slack発言を解析するツールを作ってみた話 - ASKUL Engineering BLOG
RustでTOTP(Time-based One-Time Password)を、RFCだけ見て原理原則から実装する
JEPXが公開する電力市場価格のCSVをLambdaで整形してみた | DevelopersIO
Google Apps Script(GAS)を使ってSlackをSheetsにバックアップする
週末にBitcoinシストレに入門してみた - Qiita
BigQueryのテーブルを間違えて消しても復元できるの知ってた！？
バックテスト補助ツール「BacktestAssistant v3.0」｜Nagi