【2023年版】Google ColabでSQLを使う【DuckDB, JupySQL】 - Qiita
0. 使うもの JupySQLとDuckDBを使う。 JupySQLは以前紹介したipython-sqlと似たようなライブラリだが、現在あまり更新されていないipython-sqlに対して、(i) バグを修正し、(ii) 機能を追加しているものである。基本的な使い方はipython-sqlと変わらない。 DuckDBはSQLiteのOLAP版という立ち位置らしい。お手軽に使え、分析用途に強いDBだと理解している1。 ということで、実際に簡単に使う方法を見ていく。 1. 諸々準備 !pip install jupysql duckdb-engine # データ（csvファイル）のダウンロード !wget https://raw.githubusercontent.com/mwaskom/seaborn-data/master/penguins.csv
BigQueryのJSON型データの操作とテキスト検索の高速化を検証してみた
AWS と Google Cloud で構築したデータ基盤の開発・運用に携わっているデータエンジニアです。5 年くらい携わっていて、この業務がきっかけで Google Cloud が好きになりました。 前回の記事(BigQuery で非構造化データを扱ってみませんか？)で非構造化データが格納されている Cloud Storage をオブジェクトテーブルとして連携しました。 そこで非構造化データに設定したカスタムメタデータを参照する際に配列型のデータや構造体型のデータの操作が必要ということがわかりましたが、初見だと癖があったりで操作が難しく感じたので今回はこちらをまとめたいと思います。 さらに JSON 型のデータ操作やテキストの検索が高速化できる Search Index と SEARCH 関数についても今回想定しているユースケースでは便利なので合わせてまとめていきます。 Overview
MLC-LLM で Vulkan など Graphics API + C/C++ で LLM が流行ってほしいメモ
いきなり彗星のごとく(?)現れた MLC-LLM Vicuna-7b が iPhone でオンデバイスでうごく... いいね! とりま で cli サンプル試せます. 3090(160W powerlimit) での結果 cli サンプルでは word 単位での streamling ではないため, tokens/sec 推測しずらいですが, RWKV ほど爆速というわけではないものの, そこそこ実用的な速度にはできそう? あと日本語はダメダメでした. Tokenizer 書き直さないとダメかも? GPU メモリ消費は 3.5 GB くらいでした. しくみ Apache TVM をベースにしています. TVM, なんかあんまり流行って無い気もしていましたが, 着実に発展していたのですね. (MLIR はどうなるじゃろか... https://qiita.com/syoyo/items/6d
NotionとAIで図を作ると爆速で共有できる件｜えっぐらす
記事を参考にしたのが分かるように、 「爆速」を使わせてもらいました。 noteには、ChartGPTと外部アプリPlantUMLを使って マインドマップを作るという記事（参考記事）は既にあります。 参考記事 ChatGPTにマインドマップを作ってもらったら理解速度が爆速になる件｜Abiru｜note ChatGPTとPlantUMLを使った爆速マインドマップ作成術！｜カレーちゃん｜note Notionで折角やるので、 Notionと Notion AIだけで作業を完結させる そのNotionのページを 「公開」して共有する という図を描くだけでなく、情報（資料）としても活かそうというのが今回の話になります。 Notionとはそもそも何かという事は、私の記事が参考になれば幸いです。 仕事でのNotionの活用方法ついてAbiruさんを真似て 「Notion」ヴァージョンをAIにお願いしてみ
チーム全員で取り組む「組織のデザイン」 - hitomediaの、ひとの成長にかかわるブログ
デザイナーのばっこです。 僕が所属するStartup Divは、エンジニアとデザイナー20名弱で構成されるチームで、受託制作・自社サービス・スタートアップのお手伝いなど、様々な事業に携わっています。 ディレクターがおらず、エンジニアやデザイナー自身が見積もりから制作まで全て行い、個人の裁量と責任が大きいところが特徴的だと感じています。 Startup Divの抱える課題 個人の裁量が大きい反面、基本的に各案件がメンバーの中で完結するため、案件間の情報共有が薄いという課題があります。 見積もりから制作・運用までの知見が共有しきれておらず、「それ、もっと早く知ってたらな〜」事案が起こることも...。 また、それに関連してか、チーム内でも「俺たちは一体何のために働いているんだ？個人で働いているのと何が違うんだ？チームで働く意義が必要なんじゃないか？（意訳）」という意見も上がり、各自が各自の案件に
作れる、作る、作った - bkブログ
作れる、作る、作った たまに「Namazu を作ったなんてすごいですね」と言われる。そう言われると、いつも違和感を感じる。同等のソフトウェアを作れる人ならざらにいるからだ。作れることは自体は全然すごくない。 では本当は何が評価されているのかというと、何かを作って公開し、それが比較的広く使われたことだ。作れる人はざらにいるし、同じようなものを作ってみようと考える人もそこそこいるけど、実際に作ってくれる人はなかなかいない。だから、作った人が登場するとありがたがられる。それが広く使われれば、より評価される。案外、自分ではたいしたことないと思っているものでも好評を博したりする。 文章でも同じことが言える。誰でもうすうす分かっていて、誰かが日頃から考えているようなことでも、それを書いてくれる人はなかなかいない。だから、書いた人が登場するとやっぱりみんな喜ぶ。それが広く読まれれば、より評価が高まる。読
ブラウザの閲覧履歴を使った1週間のふりかえりが意外と楽しい件 - このすみノート
表題のとおりなのですが、先日ブラウザの閲覧履歴をクリアしようと思ったときに、ふと思いつきでやってみました。 普通にやるなら履歴を一括リセットして終わりなのですが、そうではなくブラウザの履歴一覧を開いて、ひとつずつふりかえりながら削除してます。 意外とおもしろかったので、軽く紹介します。 1週間の興味や趣味嗜好がわかる ブラウザの閲覧履歴には、自分がなにを興味を抱いたのか情報が詰まっているため、1週間の自分の心変わりが見て取れます。 たとえば私の場合は、直近でAmzonやヨドバシの履歴がやたら多かったです（ドッキングステーションを探していたから）。 この検索はムダだった、このページは良かったなど、ふりかえりながら閲覧履歴を削除する過程は、思い出写真を整理するときのような楽しさがありました。 ネットサーフィンでサボっていた日がわかる 私の傾向として、ブラウザ閲覧履歴の大半は、サボりたい時のネッ
タイムマネジメントによって人生をコントロールする試みは必然的に失敗する/「限りある時間の使い方」を読みました - 理系学生日記
「限りある時間の使い方」を読みました。 限りある時間の使い方 作者:オリバー・バークマンかんき出版Amazon タイムマネジメントによって人生をコントロールしようとする試みは必然的に失敗する 「今」を大事にする 読んでから この本を知ったのは、生産性を高めれば高めるほどますます忙しくなる /「限りある時間の使い方」を読んだ - kakakakakku blogでした。 僕も効率的に生きたいと思っていますし、さまざまなタイムマネジメント術を試していたりしました。それでも、平日は業務に追われてなかなか自分の時間は取れず、休日は休日で溜まった家事や子供との時間によって、いつも焦燥感を抱いていました。 その中で以下のような内容は、その一文だけで心に刺さってきます。 効率を上げれば上げるほどますます忙しくなる 時間をコントロールしようとすればするほど時間のなさにストレスを感じる 時間をコントロールす
Amazon Athena キャパシティ予約ができるProvisioned Capacityについて徹底解説！ | DevelopersIO
割り当てられた容量が不十分であることを示す兆候 キャパシティ不足のエラーメッセージでクエリーが失敗する場合、キャパシティ予約のDPU数がクエリーのワークロードに対して少なすぎる可能性があります。例えば、24DPUの予約で、24DPU以上を必要とするクエリーを実行した場合、クエリーは失敗します。 割り当てられたキャパシティ不足によるクエリエラーの予兆を監視するには、AthenaのCloudWatch Eventsを参考にしてください。 最後に Amazon Athena では、これまでスキャン量に応じた課金体系しかなく、使用料金の見積もりが難しくありました。また、大量のクエリを送信した際にキューイングが発生する可能性がありました。Provisioned Capacity を使用することにより、DPU と時間に応じた課金になるため料金の予測がしやすくなります。また、十分なコンピューティングリソ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
