Go言語のデータベース用のライブラリを比較する | wapa5pow blog
GoでCloud SQLを使うことになったのですがライブラリが複数ありどのライブラリを選んでいいか迷ったので比較してみます。 ライブラリを導入する上でほしい機能は以下です。 migration: Railsみたいにマイグレーションファイルがかけてマイグレーションやロールバックがしたい transaction: トランザクションが書きやすく直感的 orm: データベースへのクエリを抽象化でき、Goのstructへのマッピングも可能 connection pool: データベースへのコネクション数を制限できる multiple environment support: 本番・ステージング・開発環境など複数の環境で設定Sを使い分けられる TL;DR スキーマを一度だけ書き、Goのstructもそれから生成してほしい場合は、マイグレーションをk0kubun/sqldef, ORMをvolatile
PostgreSQL 14からJSONデータを辞書風にアクセスできるようになりました | DevelopersIO
PostgreSQL 14からJSONBデータをサブスクリプトに対応しました。 JSON型のみ対応し、JBON型では対応していことに注意。 PostgreSQLは9.2からJSONデータに対応しています。 スキーマを意識せずにデータを格納できるため、重宝する一方で、参照・更新時のアクセス方法が独特でとっつきにくいところもありました。 PostgreSQL 14から直感的なサブスクリプト(辞書/マップ)風のアクセスにも対応したため、この方法を紹介します。 ポイント PostgreSQL 14から連結配列風のサブスクリプトに対応。 JSONB型のみ対応。JSON型は未対応 戻り値はJSONB型なので、適宜型をあわせる やってみた 前提 PostgreSQL 14 を起動します。 test=> select version(); version -------------------------
PostgreSQLにおけるjson/jsonb型の取り扱い – rinoguchi's techlog
PostgreSQLには、JSONデータを管理する型としてjson型とjsonb型があります。 これらは登録は簡単なのですが、検索して利用する際は少し癖があるので、解説しようとお思います。 PostgreSQL version: v12.6 json型とjsonb型の違い ドキュメント から抜粋しました。 キー順序や重複を利用するような特殊ケースを除き、jsonb型を利用する方が良さそうです。 json型 jsonb型 データ登録 peopleテーブルにdetailというjsonb型の項目を登録するサンプルになります。 こちらのデータを元に後続のSQLの検証を行います。 create table people ( detail jsonb ); insert into people(detail) values ('{"name": "太郎", "age": 35, "children":
8.14. JSONデータ型
JSONデータ型はJSON(JavaScript Object Notation)データを格納するためのものです。JSONの仕様はRFC 7159に定義されています。 このようなデータは、text型として格納することもできますが、JSONデータ型は、それぞれ格納された値がJSONルールに従って有効に施行されるという利点があります。 これらのデータ型に格納されたデータのために利用可能な各種JSON固有の関数と演算子もあります。 9.15を参照してください。 JSONデータ型にはjson型とjsonb型という2種類のデータ型があります。 それらは ほとんど 同一の入力値セットを受け入れます。現実的に主要な違いは効率です。 jsonデータ型は入力テキストの正確なコピーで格納し、処理関数を実行するたびに再解析する必要があります。 jsonbデータ型では、分解されたバイナリ形式で格納されます。 格納
統計学に魂が震えた体験をもとに、何を選択できるようにしてきたか？ データ活用職のキャリアプランを考える - Findy Engineer Lab
統計屋のあんちべ（@antibayesian）です。 さまざまな企業でデータ解析やコンサルを請け負ったり、データ活用部署の立ち上げをしたりしながら生活しています。 この記事では、データ活用系職種のキャリアプラン形成に悩んでいる方の参考になればと、私のこれまでのキャリアや、キャリアプランニングの考え方についてシェアしたいと思います。 というのも、データ活用系職種の中でも特に2010年くらいから注目を集めている1データサイエンティスト界隈のキャリアは、まだ職種として歴が浅いこともあって不透明な部分が多く、データサイエンティストなるものの解釈やポジションも多様なため、先行きに懸念を抱いている方も多いかと思います。 また、周辺環境も日進月歩の勢いで成長しています。例えば、全自動で簡単に売上予測や画像の分類などができるCloud AutoMLというサービスも提供されています。この手の仕組みはどんどん
KagglerへのNumeraiのススメ
この記事について 世界最大のデータサイエンスコンペプラットフォームであるKaggleの、なんらかのコンペに参加したことのある方で、 Kaggleもっと参加したいけど、手頃なテーブルコンペが全然ない... 魑魅魍魎が跋扈していて、上位（ゴールドメダル以上）、ましてや賞金を取るなんて夢のまた夢... Numerai？なんか聞いたことあるけど周りに誰もやってる人がいないのでワカラン という方、結構多いのではないでしょうか。この記事では、ちょっと変わったテーブルコンペであるNumeraiと、そのKaggleとの差分について簡単にまとめました。 (2021/05/22追記) 内容が一部古いところがあったため、追記・修正を行いました。 賞金配分の仕組み（e.g., MMC2倍拳, payout factor） NMRの買い方 シングルモデル vs アンサンブル! Numeraier-ja slack
SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
PyMAFで、動画から人物の3Dモデルを推定する
1.はじめに 動画から人物の3Dモデルを作成する手法が進歩しています。今回ご紹介するのは、PyMAFという手法で、以前より実際と3Dモデルの誤差が小さくなっています。 ＊この論文は、2021.4に提出されました。 2.PyMAFとは？ PyMAFは、Pyramidal Mesh Alignment Feedback Loop の略で、以下にそのフローを示します。 まず、画像から Encoder を通して特徴量を取り出し、Spatial Feature Pyramid で、その特徴量を何段階かアップサンプリングしたものを作ります。 次に、この特徴量を元に回帰でメッシュを求めますが、一度の回帰で求めたパラメータではメッシュと実際にズレが生じます。そこで、Mesh Alignment Feedback Loop で、求めたメッシュをダウンサンプリングしたものと特徴量からパラメータを修正するループ
UKI on Twitter: "KaggleでFinanceコンペやるなら、これ読んでほしい。 （まだ参加ボタン押してないからPrivate Sharing云々はご勘弁） https://t.co/6pZPg1d2Hv"
KaggleでFinanceコンペやるなら、これ読んでほしい。 （まだ参加ボタン押してないからPrivate Sharing云々はご勘弁） https://t.co/6pZPg1d2Hv
機械学習による株価予測 いろはの”い” - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ちょうど3年ほど前に機械学習による株価予測のTipsをブログにて公開したことがある。 機械学習による株価予測には押さえておくべきノウハウが多数あり（要するにドメイン知識が必要であり）、データサイエンティストが単に予測対象を株価に置き換えても簡単に良い結果を得ることは難しい。フィナンシャルデータは過分散で統計的エラーが発生しやすく、バックテストや検証の結果は殆どの場合で信用するに値しない。その上、取引における市場の仕組みや制度を正しく検証に反映できていない場合、実運用において大きくパフォーマンスが劣化してしまう。考慮すべき事象は
Becoming a Better Writer as a Software Engineer
Writing is an increasingly important skill for engineering leaders. Indeed, poor writing can hamper career progression, above a certain level. Tactics for more clear, more frequent and more confident writing. I’ve observed that my writing is not up to par with my peers. How can I improve my professional writing, as someone working in tech?I get this question from many people: senior engineers who
Amplifyにおける複数モデルのGraphQL APIについて - 虎の穴ラボ技術ブログ
虎の穴ラボのかのたんです。 AWSが公式で提供しているAmplifyという開発ツールは非常に簡単、かつ高速にAPI環境が構築できるということで注目度が上がっており、AWSの公式セミナーや勉強会等でも取り上げられる機会が増えています。 弊社でも有志でAmplifyの使い方についての調査を行っており、特に以前弊社のNSSさんがブログに投稿したAmplifyに関する記事は非常に多くの方に読んでいただきました。 toranoana-lab.hatenablog.com Amplifyの導入については、こちらのNSSさんの記事が非常に参考になります。 私の方でもAmplifyについて触ってみたので、今回の私の記事は上記のNSSさんの記事から派生するような形で、複数モデルのGraphQL APIの作り方について書きます。 GraphQL APIの作成 本記事の前提条件として、上記のNSSさんの記事等を
Bazelを使ってみる その１（Goのビルド） - Carpe Diem
背景 Bazelは優れたビルドツールである一方で、導入したチームには１人はBazel職人が必要と言われるほどキャッチアップコストが高くハマったときに開発が止まると言われます。 そのためKubernetesからも削除されるほどです。 しかしながら導入の善し悪しを判断する上で最低限の知識は必要なので、一通りのことはできるようにとキャッチアップしてみます。 ちなみに発音は公式サイトでは「ベイゼル」とのこと。 How do you pronounce “Bazel”? The same way as “basil” (the herb) in US English: “BAY-zel”. It rhymes with “hazel”. IPA: /ˈbeɪzˌəl/ ref: FAQ | Bazel Bazelの特徴 Bazelの特徴として以下があります。 ビルドの再現性が保たれる サンドボッ
Bazel で Go のソースコードをビルドするぞ
Goの開発で Bazel を使っているので簡単にまとめてみました。 サンプル用のプロジェクトを作ったのでこれをもとに進めていこうと思います。 https://github.com/righ/bazel-sample-project 利用する Bazel のバージョンは以下です。 infoBazeliskというツールを使うとプロジェクトで利用する Bazel のバージョンを固定できます。https://github.com/bazelbuild/bazelisk 今回使う開発環境は Mac Catalina 64bit です。 Bazel Bazelは Google が開発したOSSのビルドツールです。 キャッシュが効くため高速にビルドできたり、バイナリを作るだけでなくコンテナに乗せるところもやってくれるので 私達は開発に専念することができます。 Rule Bazel はルールと呼ばれる拡張
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MariaDB versus MySQL - Compatibility | Release Notes | MariaDB Documentation
lego というツールを使うと dns challenge でも Let'sEncrypt の証明書が自動で取得できる
Angular University