BigQueryによるデータ分析のための前処理Tips - ZOZO TECH BLOG
こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPythonに渡して処理させることもできます。しかし、分析環境のメモリに載り切らないほど大きなデータを扱う場合、BigQuery内で前処理を済ませてしまうと時間と計算資源の節約になることが多いです。 今回はBigQueryからアクセスできるパブリックデータの1つ、hacker newsのデータを集計しながらTipsを紹介したいと思います。 欠落した日付を埋める 通常のGROUP BY句の場合 SQL Re
朝会のパターン:立ってるだけじゃないよ - Martin Fowler's Bliki (ja)
以下の文章は、Jason YipによるIt’s Not Just Standing Up: Patterns of Daily Stand-up Meetingsの日本語訳である。Jasonの許可を得て、ここに掲載する。 立ってやるのはミーティングの時間を短くするためだ 朝会（デイリー・スタンドアップ・ミーティング、デイリー・スクラム、デイリー・ハドル(訳注：ハドルとは群になって集まること)、朝のロールコール(訳注：ロールコールとはメンバが順番に答えていく方式)を説明するのは簡単だ。チーム全員が毎日顔を合わせ、現在の状況を迅速に確認しあう。立ってやるのはミーティングの時間を短くするためだ。以上。 でもこれだけじゃあ、「良い朝会」と「悪い朝会」の微妙な違いは分からないだろう。 朝会の定義は非常に簡単なものなのに、 うまくいっていない朝会があって私はとても驚いた。 すぐに原因は分かったが、その
デイリースクラムのTIPS (2016年版)
みなさんこんにちは、@ryuzeeです。 今日はデイリースクラムについて、概要や注意点を紹介します。 なお、あくまで一般論であることに注意してください。スクラムの基本は「透明性・検査・適応」です。自分たちで随時やり方を検査して、もっとうまくできるように適応していかなければ効果はあがりません。 1. デイリースクラムの目的スクラムを利用するとき「フレームワークで決められているから」というだけの理解で進めてはいけません。これは全てのイベントに当てはまります。 スクラムのイベントはすべて、検査と適応が行われるように明確に設計されています。 デイリースクラムの最大の目的は、スプリントゴールの進捗を検査し、今後の作業計画を必要に応じて見直す（適応する）ことで、スプリントゴール達成の可能性を最適化することです。 毎日の検査と適応（高速なフィードバックループ）によって問題を早期に発見することでリスクを減
【第3弾】少しのコードで実装可能な15のCSS小技集
2022年4月27日 CSS CSS小技集シリーズの第3弾！「【第2弾】少しのコードで実装可能な20のCSS小技集」から3年が経ち、さらに便利でサクッと使えるコードが続々登場！特にこれまではJavaScriptで実装していたものがCSSだけで実現できるようになったりと、進化が凄まじいです。初心者さんからベテランさんまで要チェック！ ↑私が10年以上利用している会計ソフト！ 目次 スムーズスクロール スクロールスナップ スクロールすると要素を固定 画像をトリミング CSSで計算式を書く テキストを円形に回り込ませる Webフォントを使った時の表示遅延を回避する テキストに波線を引く テキストの上に記号を表示 表のセルの幅を統一する 入れ子になったリストもカウントする フォームのプレースホルダーの文字色を変更 しましまのライン メディアクエリーを使わずにタイル型レイアウトをレスポンシブに対応
【随時更新】Kaggleテーブルデータコンペできっと役立つTipsまとめ - ML_BearのKaggleな日常
これはなに？ Kaggleのテーブルデータコンペに参加するときに役立つ(と思う)Tipsを Kaggle Coursera の授業メモに色々追記する形でまとめたものです 自分で理解できている内容を中心にまとめました。各種資料の内容はまだまだ理解できていない内容が多く、今後も随時更新していきます(随時更新できるように勉強します)。 この記事に書いてあるTipsをどのように活かしたかはKaggle参戦記に書いたので、併せてどうぞ。 参考文献 主として以下の資料の内容をピックアップさせていただきました。引用を明記していない部分は(ほぼ100%) Kaggle Coursera の内容です。 Kaggle Coursera kaggle_memo by nejumiさん Kaggleで世界11位になったデータ解析手法〜Sansan高際睦起の模範コードに学ぶ Kaggle TalkingData F
[CSS]シンプルなWebサイトを少しだけ美しくするためのスタイルシートのコレクション -water.css
シンプルなWebサイトをすぐに構築したい時、デモページを簡単に作成したい時、CSSでスタイルするのに時間をかけたくない時に便利なCSSのフレームワークを紹介します。 class付与を一切必要としないスタイルシートで、HTMLページを用意したら、head内に外部CSSとして加えるだけで、すぐに利用できます。 water.css water.css -GitHub water.cssの特徴 water.cssのデモ water.cssの使い方 water.cssの特徴 water.cssはシンプルな静的Webサイトを少しだけ美しくするためのスタイルシートのコレクションです。 classは一切無しで、スタイルシートを適用。 レスポンシブ対応。 高品質なコード。 幅広いブラウザのサポート（kindleでも動作します）。 2Kbで、超軽量。 water.cssのデモ water.cssには、ダークテ
![[CSS]シンプルなWebサイトを少しだけ美しくするためのスタイルシートのコレクション -water.css](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab073de67fb698b5055474fde7b3e7bca2d9d8f2/height=288;version=1;width=512/https%3A%2F%2Fcoliss.com%2Fwp-content%2Fuploads-201902%2F2019041001-01.png)
Advanced Jupyter Notebook Tutorial – Dataquest
Lying at the heart of modern data science and analysis is the Jupyter project lifecycle. Whether you're rapidly prototyping ideas, demonstrating your work, or producing fully fledged reports, notebooks can provide an efficient edge over IDEs or traditional desktop applications. Following on from Jupyter Notebook for Beginners: A Tutorial, this guide will be a Jupyter Notebooks tutorial that takes
ソーシャルゲーム開発経験から学んだゲームにRedisを使う際のTips
本稿は「ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips」をもとに加筆・補正し、文章を整えました。 近年のKVSでは割とRedisが覇権を取っていることもあり(当社比)、社内の多くのプロジェクトでRedisを使用するようになりました。ということでノウハウ的なのも溜まってきたのでまとめてみます(大量のユーザーデータを扱うソーシャルゲームにしか当てはまらない部分もあるかと思います)。 単純にパフォーマンスをRDB < Redisと思い込んでとりあえずでキャッシュしない 「Redisは速い」と言われますが、インデックスをきちんと貼ったRDBのクエリもそこまで遅いわけではありません。結局通信コストの方が遥かに大きいので、内部の取得時間差はトータルで考えると多くの場合誤差です。特にRDBの主キーのみで取得できるようなデータを、Redisにキャッシュすることにメリットはありません。
12 Factor CLI Apps – Jeff Dickey – Medium
CLIs are a fantastic way to build products. Unlike web applications, they take a small fraction of the time to build and are much more powerful. With the web, you can do whatever the developer programmed. With CLIs, you can easily mash-up multiple tools together yourself to perform advanced tasks. They require more technical expertise to use, but still work well for admin tasks, power-user tasks,
Vuejsのちょっと便利なコンポーネント機能 - Qiita
はじめに vuejsはとっつきやすく完成度の高いJSフレームワークだと思っていますし、日本語のドキュメントも充実しています、実際に下記の機能も全て公式ドキュメントに記載されている内容です。 しかしながら、実際にやりたいことと機能名の間に乖離があったりして、いざ使用する時に意外に実装方法などを見つけにくい場合も当然ながら存在するため、自分用に Vuejs のちょっと便利なコンポーネントの機能をメモっておきます。 お品書き 共通した親要素を使いまわしたい（スロット配信） パラメーターによって使用するコンポーネントを変えたい（動的コンポーネント） 複数のコンポーネントで、同じ処理を使いまわしたい（ミックスイン） 出力するタグを動的に指定したい 共通した親要素を使いまわしたい いわゆるラッパーコンポーネント、例えば10個のコンポーネントを作る必要があるとして、その全てが共通したヘッダやフッタを持っ
package.jsonで値を展開する - 技術探し
🎍今年初の記事です🎍 そういえばこんな機能あったなーって感じだったので記事にしてみました。 本当は今年最初の記事用意していたのですが、まだ終わってないので後ほど。。 github.com 今回は、タスクのstartとbuildに同じ変数をwebpackへ渡すために共通化したくて、量が多くなってきたのでリファクタリングしました。 手順 文字列の場合 オブジェクトの場合 配列の場合 まとめ 手順 $npm_package_にpackage.jsonに書いたkeyをつなげるとそれのvalue展開されます。 コンソール上では、展開されませんが、JS上では展開されます。 // 確認用のJS console.log(process.argv[2]); $ npm run main > node main.js $npm_package_foo bar 文字列の場合 { "foo": "bar",
個人アプリでレビューを高くするためにやっていること
potatotips #46 (iOS/Android開発Tips共有会) - connpass https://potatotips.connpass.com/event/73328/ SKStoreReviewController を単純な条件で出すだけでも好意的なレビューが増えて良かった -…
ターミナル 作業効率化 tips集 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに エンジニアであればターミナル操作はとても多いと思います。(iTermを使っていますが。) いろいろな方のターミナル操作を横で見てきましたが、経験のあるエンジニアの方はターミナル操作が格段にはやいです。一方、駆け出しのエンジニアの方(学びたての人)は同じ操作をするにしても時間がとてもかかってしまっています。 にも関わらず、各プログラミング言語の習得にばかり目がいき、ターミナル操作をもっと効率よくしようとするにはなかなか至らないのが現実なのだろうと思います。 そこで、ターミナル操作の作業効率を上げる操作方法を僕なりにまとめてみよう
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
git rebase --onto を使って、まずは自分だけ幸せになる - Qiita
DMMにおけるユーザーレビュー基盤の変革（Goのテスト技法編） - DMM inside
PHPで各種バリデーション - Qiita
GitHub - Luur/SwiftEchoes-Tips: Swift tips and tricks
railsのdefaultでは用意されていない考え方や設計、リファクタリングについてのリンク集 - Qiita
gitリポジトリの複製 - Qiita
