Bigqueryで使ったクエリまとめ - QiitaAbout 久しぶりにSQL触ったので、サンプルとして置いておきます。間違っていたら教えて下さい。。。適宜追加予定です。 UTC -> JST変換 SELECT create_time , STRFTIME_UTC_USEC(TIMESTAMP_TO_USEC(create_time) + 32400000000, "%Y/%m/%d %H:%M:%S") AS create_time_jst FROM [test.access_log] LIMIT 1
Heroku CIを使ってみた - Qiita
Heroku CIはHerokuが提供するContinuous Integrationのためのテスト自動化サービスです。 非常にシンプルかつHerokuとシームレスに統合されており、簡単に使い始めることができます。 Heroku CIは2017年5月18日に正式リリースされました。 Heroku CI Dev Center https://devcenter.heroku.com/articles/heroku-ci Heroku CIの概要 Heroku CIはHerokuのアプリケーションライフサイクル管理機能であるHeroku Pipelinesと組み合わせて使用します。 HerokuのダッシュボードからまずはPipelineを作成すれば、Pipeline内のメニューにTestsという名前でHeroku CIの機能へアクセスできます。 Heroku CIの画面では、左側のペインに実行
チャットワークのScala移行と大規模メッセージDB再構築、本当にできたんですね！（前編） | HRナビ by リクルート
2016年8月、トレタの増井雄一郎さん（「IT芸人」「フログラマー」で検索！）はPHPからScalaへの移行を表明していたChatWork CTOの山本正喜さんに「本当にScala化できるんですか？」と直球で聞きました（「PHPからScalaに乗り換えたチャットワークさん、その後どうですか？（前編）」）。そして2017年2月。「移行できたら、ぜひもう一回来てください」との誘いを受けて、再び増井さんがチャットワークにやってきました！ 増井 Scala化、おめでとうございます！ 山本 ありがとうございます。 増井 前回も聞きましたが、読んでない方もいるでしょうから、もう一度聞かせてください。Scalaを入れようと思った時期はいつなんでしょうか。 山本 そのあたりはBlog（「チャットワークがScalaを採用する理由、これからのチャレンジ。」）に書いたんですが、2年半前──合宿をしてScala化
BigQueryで重複行を除くQuery - Qiita
BigQueryは、SELECT DISTINCTがない。 最後にloadした行だけを取得する 前処理 BigQuery読み込み用のCSVファイルへ書き出すときに、 TIMESTAMP値を_insertに入れておく。 CSVファイル1行ごとにTIMESTAMP値を取ると遅そうだしぶつかりそうなので、CSVファイルごとに1つでいい。 CSVファイルの何行目か（CSVファイルreaderのline num値とか）を_line_numに入れておく。 App EngineのTask Queueで、並列度1な直列化キューを作り、そこで処理する。 としておく。 cp932なCSVをUTF-8に変換するときなどに、ついでにやっておく。 SELECT key1 [, key2, ...] ,FIRST(field1) AS field1 [, FIRST(field2) AS field2, ...] F
SQLServerでROW_NUMBER()を使って連番を採番する
SQLServerでROW_NUMBER()関数を使うと検索結果に対して連番を独自に採番することができます。 ROW_NUMBER()で連番を取得する SQLServerでROW_NUMBER()関数を使うと検索結果に対して連番を独自に採番することができます。 １．テーブルの準備 検索するためのテーブルを作成します。 連番は部署ごとに採番するようにします。 CREATE TABLE 社員マスタ ( 社員番号 INT ,氏名 VARCHAR(20) ,部署 VARCHAR(20) ) ２．データの準備 各部署ごとにデータを作成します。 INSERT INTO 社員マスタ VALUES (1, '太郎さん', '営業部' ) INSERT INTO 社員マスタ VALUES (2, '次郎さん', '経理部' ) INSERT INTO 社員マスタ VALUES (3, '三郎さん', '人事
SQLで重複行を削除する方法 : SQL Server - 蒼の王座・裏口
巨大なテーブルから重複行を削除するにはどうしたらいいのでしょうか。 stackoverflowの「How can I remove duplicate rows?」で解答がついていますので紹介します。 前提となるテーブルは次の定義となっています。 ポイントは、完全に重複しているわけではない点。理由は、identity定義を使って主キーは自動インクリメントされているから。 MyTable ----------- RowID int not null identity(1,1) primary key, Col1 varchar(20) not null, Col2 varchar(2048) not null, Col3 tinyint not null方法1DELETE MyTable FROM MyTable LEFT OUTER JOIN ( SELECT MIN(RowId) as
内閣府の「国民の祝日」のCSVファイルをpandasで整形する - Qiita
Twitterで叩かれてたあれです。 どんな酷い代物なんだろうと思ってpythonのpandasで開いてみました。 実物がこれ このCSVファイルの使い道がわからないので何とも言えないですが、これってそこまで酷いんですかね？ てっきり行と列がズレてるとか、日付けのフォーマットがばらばらとかそういうのを期待してたんですが。 日付けのフォーマットのズレに関してもpandasには時系列を統一させる機能もあるので比較的容易に解決できます。 何はともあれ整形してみましょう。 整形したのは ・欠損値が存在する列の削除 ・重複した名称の削除 ・日付けを文字列型からdatetime型に変更 以上3点です。 これで多少見やすくなったんですかね。 ついでにその祝日で毎年ズレが発生しているのかを表示しておきましょう おまけで1列にまとめたバージョンも こういったデータ整形はPandasを使えば簡単にできます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
