サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
やろう!確定申告
blog.flinters.co.jp
お世話になっております。FLINTERSでデータエンジニアをしている堀と申します。今回の投稿はFLINTERSブログ祭りの記事です。テーマは #データ分析 #SQL #技術 です。 本日は爆速分析SQLエンジンのDuckDBを紹介したいです。 そもそも https://duckdb.org/ brew install duckdb ポイント インストールかんたん パッと起動して、さまざまなデータソースにSQL分析ができる 豊富なインプット方法、アウトプット方法 ローカルのデータファイル(CSV, JSON, parquet, Excel) http(s)でアクセスできるデータファイル S3/GCS/Azure Blob Storage上のデータファイル PostgreSQL MySQL また、DuckDBは各言語のクライアントライブラリでもある。いろいろあるよ SQLの実行が爆速 なんでD
こんにちは。FLINTERS エンジニアの早瀬です。 この記事はFLINTERS設立10周年ブログリレーの90日目の記事になります。 技術者の皆さん、日々の業務で技術メモは活用していますか? 今回ObsidianとZettelkastenを用いて、メモの取り方を見直しました。この記事では、そこで実践した方法とやってみた感想などを記載します。 目次 目次 現状のメモの課題 用語の説明 Zettelkasten Obsidian 実践例 感想 良かった点 まとめが容易になった 使えるメモがわかりやすい 苦労した点 メモ作成にコストが掛かる まとめ 参考資料 現状のメモの課題 日々のタスクやメモをObsidianのDaily Notesで記録しています。 この方法は物事を理解したりする上で有効ですが、次のような課題を感じています。 メモの再利用性が低い 後から見返す際の理解に時間がかかる 用語の
こんにちは、エンジニアマネージャーの堀越です。 ちょっと前、TLで割と盛り上がっていたこちらの書籍をポチり読んでみました。いいですよこの本!! gihyo.jp こちらの書籍の第3章に Beyond the Twelve-Factor App なるものの紹介があり、色々調べて考察した結果を社内勉強会で発表したのでブログにも書き起こしておきます。 Beyond the Twelve-Factor App とは? Pivotalという会社が提唱したアプリケーション開発のためのベストプラクティス集です。 実は元ネタに Heroku が考案したThe Twelve-Factor App があるのですがこちらは内容も考え方も古く、Beyond の方はクラウドを使う点での考慮点が含まれているのがポイントです。 以下のリンクからE-Mailを登録するとPDFがダウンロードできます。 tanzu.vmwa
こんにちは、データマネジメント部でデータエンジニアをしている井山です。 この記事は10周年記念として133日間ブログを書き続けるチャレンジの15日目の投稿になります。 今回は、現在FLINTERSデータチームで行っているデータ基盤移行PRJ(実施中)についてのお話をしたいと思います。 はじめに データ基盤の現状 移行の背景 発生していた問題点 暫定的な対策 移管対応でやったこと等 まとめ Snowflakeにしてよかった点 リソース問題はほぼ解消 格納できるデータ量も無制限なのでライフサイクルも廃止(全期間のデータを格納できる) コスト的な部分でのメリット DWHの構成管理ができるように(一部例外はあるが) メタデータ関連がかなり強力 副次的にいらない・使っていないデータソースとかを排除する動きが活発に 困ったこと・苦戦したこと Digdag WFからのSnowflake接続 Treasu
こんにちは。FLINTERSのカレンダー | Advent Calendar 2022 - Qiita 24日目を担当します、宮下です。 はじめに 弊社が開発を手掛けているマンガアプリGANMA!ではサービスの改善やトラブルシューティングなどのためにGoogleアナリティクス4(GA4)を利用してユーザーの行動履歴を収集しています。 特にiOS, Android向けのアプリではGoogle Analytics for Firebaseを利用してイベントを送信しています。 (以下、Googleアナリティクス4とGoogle Analytics for Firebaseを特に区別せずGA4と呼びます。) GA4では自動的に収集されるイベントの他に、独自のイベントをカスタムイベントによって計測することが出来ます。 例えば、GANMA!ではマンガの原稿ページを閲覧した・広告をタップした・プレミアム
こんにちは!@kakeyangです! 久しぶりの投稿です。 なぜなら、、、沖縄の八重山諸島に旅行に行ってましたのです! 楽しかったなぁ(遠い目) 今回は、開発で経験した通信障害の原因とその対策を公開します。 原因がLinuxカーネルの設定だったので、結構苦労しました。。。 障害概要 異なるネットワーク内(片方は弊社ネットワーク)の物理サーバ間(弊社が受信側)でインターネット越しにソケット通信を行う。 毎回ではないが1割程度の割合で、送信側でconnection timeoutを観測。 受信側にはapacheのログが残っていなかったので、webサーバには届いていない。 送信側でtracerouteすると、確かに弊社ネットワーク内には入っている。 弊社ネットワーク内のF/Wから物理サーバの間のどこかで通信が途絶えているっぽい! というところまではすぐに判明しました。 調査内容 データセンターと
このページを最初にブックマークしてみませんか?
『blog.flinters.co.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く