🦆🦆🦆🦆🦆🦆DuckDB入門🦆🦆🦆🦆🦆🦆
tl;dr SQLiteのOLAP版だよ OLAP系のクエリにおいて、PandasやSQLiteより早いらしいよ CSV・Parquet・Pandas DataFrameの読み書きできて便利だよ 背景 ポジション・競合 一言で言うとSQLiteのOLAP版です。位置づけとしては、論文(DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo))記載のSystem Landscapeがわかりやすいです。 （DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo)より） このLandscapeでは、データベースを Standalone（クライアント・サーバモデル）か、組み込み（シングルマシン・インプロセス）か OLTPかOLAPか の二軸に分割しています。その上で、 ク
近況報告：無職になりました - IT戦記
みなさんお元気ですか？僕は少しだけ元気ではありません。じんわりとした夏の暑さを感じながらブログを書いています。 実は、数ヶ月前にスマートニュースという会社を退職しました。 しばらく無職 しばらくは就職せずに無職でいようかなと思っています。 すぐに再就職した方がいいんだろうな〜。とは思うのですが少し疲れたかも。 いい時代になったものだ 最近は AI の進化も素晴らしく、昔ソフトウェアで出来なかったことがどんどんできるようになってるなって感じます。 Rust とか、ちょうど欲しかった感じのプログラミング言語もあるし、 ChatGPT は完璧ではないけど何か新しいことを始めるときに素晴らしい洞察を与えてくれる。 時代は確実に良くなってる。そんな時代に「自分は働いていないくていいのか」と少し不安になるけれど、自由気ままにコードを書く、そんな時間が今あってのもいいのかなって思ってます。 オフトピック
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
OSはどうやってP-coreとE-coreを使い分けているのか - Blog posts by @retrage
Alder Lake以降のIntel CPUでは、P-coreとE-coreの2種類のコアが搭載されている。 P-coreは性能重視、E-coreは省電力重視という位置づけで、OSがうまくこれらのコアを使い分けることで、消費電力と性能の両立が図られている。 ここまでの話は広く知られているが、実際にどのようにしてOSに対してコアの使い分けをさせているのかの実装レベルでの解説は (少なくとも日本語では) ほぼ存在しないようなので調べてみた。 OSから見たP-coreとE-core OSの役割の一つとしてプロセススケジューリングがあり、どのプロセスをいつどれぐらいの期間どのCPUコアで実行するかを決める。OSができるだけ効率よくプロセスをスケジューリングするためには、CPUコアの性能や消費電力の違いを考慮したスケジューリングが必要になる。そこで、Intel CPUではOSに対して次の2つの情報を
Cookie2 とは何か | blog.jxck.io
Intro タイトルを見て「Cookie の新しい仕様か、キャッチアップしよう」と思って開いたのなら、以降を読む必要はない。 Cookie History 2000 年に発行された Cookie の仕様である RFC 2965 では、仕様中に Set-Cookie2/Cookie2 (以下 Cookie2) という 2 つのヘッダが定義されている。しかし 2011 年に改定された現行の RFC 6265 ではそれらヘッダは deprecate されており、実際の Web でこれらのヘッダが交換される場面を、少なくとも筆者は見たことがない。存在すら知らない開発者も多いだろう。 筆者はずっと、この仕様がどのように出てきて、どうして消えていったのかが気になっていた。 Web 上にも情報が少なく、「歴史上の理由で」とか分かったようなことを言ってる人がたまにいるくらいだ。四半世紀前のことなので経緯を
三菱UFJ国際投信、「eMAXIS Slim」シリーズ4銘柄（オルカン含む）の信託報酬率を業界最低水準に引き下げると発表
三菱UFJ国際投信は、2023年9月8日からインデックスファンド「eMAXIS Slim」シリーズ4銘柄の信託報酬を業界最低水準に引き下げると発表しました。 三菱UFJ国際投信 プレスリリース 2023/8/18 業界最低水準の運用コストをめざす『eMAXIS Slim（イーマクシス スリム）』 信託報酬率の引き下げを実施 昨日、日本経済新聞が報道した信託報酬率引き下げ情報（該当記事）の公式発表が出ましたね。気になる引き下げ概要は以下のとおり。 ■eMAXIS Slim 全世界株式（オール・カントリー） 信託報酬率 年0.1133％以内 → 0.05775％以内 実質的な信託報酬率 年0.05765％ 純資産総額 13,729億円 ■eMAXIS Slim 全世界株式（除く日本） 信託報酬率 年0.1133％以内 → 0.05775％以内 実質的な信託報酬率 年0.05773％ 純資産総額
バグまでRHEL互換のLinux公開のため、オラクル、SUSE、Rocky LinuxメインスポンサーのCIQが「Open Enterprise Linux Association」を設立
バグまでRHEL互換のLinux公開のため、オラクル、SUSE、Rocky LinuxメインスポンサーのCIQが「Open Enterprise Linux Association」を設立 オラクル、SUSE、Rocky LinuxメインスポンサーのCIQは、新たなRed Hat Enterprise Linux（RHEL）互換Linuxディストリビューションを開発し公開することを目的とした団体「Open Enterprise Linux Association」（以下、OpenELA）を設立しました（プレスリリース）。 エンタープライズLinux市場における事実上の標準となっていたRed Hat Enterprise Linux（RHEL）は、2023年6月にRed Hatがソースコードの公開を事実上終了させることを発表したことで、そのエコシステムの一部となっていたクローンOSの開発が突
リダイレクトとSame-Site Cookie - teracc’s blog
調べものをしている中で、今さらながらSame-Site Cookieの仕様書を斜め読みした。 ググって最初に見つけた仕様の中で、same-siteは下のように定義されていた。 A request is "same-site" if its target's URI's origin's registrable domain is an exact match for the request's initiator's "site for cookies", and "cross-site" otherwise. Same-site Cookies draft-west-first-party-cookies-07 2.1 (April 6, 2016) 対象（target）と始点（initiator）のサイトが一致すればsame-siteということになる。 リダイレクトを挟むとどうなるか
Cookieのセキュリティ周りでいちばんややこしいDomain属性をしっかり理解する - Qiita
直感的でないのは、自身より下位の階層(example.comの場合のfoo.example.com)のドメインを設定できないことです。また、兄弟関係にある階層のドメインも設定できません。ただしこれらのパターンに関しては、どちらもexample.comを設定すれば送信される対象にはなります。 ということで、CookieのDomain属性は安全です……あれ？ おそらく気付かれたと思うのですが、example.comから見てcomは上位の階層のドメインです。ではexample.comからcomをDomain属性に設定して、.comのすべてのドメインに向けたCookieを設定できてしまうのでしょうか。 現在の仕様(RFC 6265)では、これは制限されています。ブラウザは、comのような公共のドメイン接尾辞(public suffix)1を受け付けないように決められています。2 公共のドメイン接尾
Kubernetesの名前解決を確認する - varu3/techBlog
最近ではドキュメントも充実した感のあるKubernetesですが、実際の挙動ってどうなっているの？という部分に関しては ドキュメントを漁って読むに加えて、実際に手を動かして調べてみることでだいぶ理解が深まっていく感覚があります。 というわけで今回のテーマはKubernetesにおけるPodの名前解決はどのように動作しているのか、です。 公式ドキュメントのDNS for Services and Pods - Kubernetesを実際に手を動かしながら確認していきます。 Serviceリソースの名前解決 それでは早速シンプルな構成のk8s環境を用意して、その挙動を確認していきます。 Node: 1つ Master: 1つ 環境はGKEでも何でもいいのですが、今回はKOPSを使ってAWS上にk8s環境を用意することにしました。 Kopsでクラスタを構成すると以下の様にpodが作成されます。
HashiCorp、全製品のライセンスを商用利用に制限があるBSLライセンスに変更すると発表
HashiCorpは今後リリースする全製品のライセンスを、これまで採用してきたMozilla Public License v2.0（MPL2.0）から、商用利用に制限があるBusiness Source License v1.1（BSL1.1）に変更すると発表しました。 Future releases of HashiCorp's core products will adopt the Business Source License. We know our community will have questions, so please read our blog post to understand why, and see our FAQs to understand the changes: https://t.co/riF4EZdQhphttps://t.co/TID1ps7
[python] まだmockで消耗してるの？mockを理解するための3つのポイント
隣の席の人がテスト強化週間とか抜かしていたので自分もちゃんと理解するために なるべくわかりやすく まとめてみようと思います。 この記事は 2015 tech-yuruyuru アドベントカレンダー - 15日目の記事です。 2015 tech-yuruyuru アドベントカレンダー (2015/12/01 00:00〜)# 2015 #tech-yuruyuru アドベントカレンダー #tech-yuruyuru のアドベントカレンダーです。 テーマは特に決まっていません。好きなことを書いてください。 * 参加したい日の参加枠に参加登録してください * 2 日以上参加したい場合は、フィードで宣言してください ## カレンダー 1. @pjxiao: VPC のプライベートサブネットについて解説 2. @pjxiao: mDNS を使いローカルマシン内の仮想環境に接続する 3. @pjxia
![[python] まだmockで消耗してるの？mockを理解するための3つのポイント](https://cdn-ak-scissors.b.st-hatena.com/image/square/db125f1ff393117337f2ecbc80cf0fdd7dfa6f80/height=288;version=1;width=512/https%3A%2F%2Fnote.crohaco.net%2Fmedia%2Fpython.png)
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる 概要 Pythonのテストライブラリといえばpytestが一般的です。 Python標準のuniitestとは異なり、クラスベースではなく関数ベースでテストコードを記述することが一般的ですが、fixture,conftest,parametrizeを理解すると一気に世界が変わり、テスト体験が圧倒的に向上するため、これらの実装方法を紹介します。 リポジトリ 本記事の説明に使用しているサンプルのテスト実装は、以下のリポジトリです。 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニアの利用率の高いmacOSを前提として説明していますので、その他の環境の方は随時読み替えてください。 開
【重要】CPU脆弱性による弊社サービスへの影響について（2024年4月15日更新） | さくらインターネット
お客様各位 平素よりさくらインターネットに格別のご愛顧を賜り、誠にありがとうございます。 2023年8月8日にAMDのCPUに対して、また8月9日にIntelのCPUに対して下記の脆弱性情報が発表されました。 これらの脆弱性に対する弊社の対応状況をお知らせいたします。 CVE-2023-20569（Inception） （参考）Inception https://comsec.ethz.ch/research/microarch/inception/ https://www.amd.com/en/resources/product-security/bulletin/amd-sb-7005.html https://access.redhat.com/security/cve/cve-2023-20569 https://ubuntu.com/security/CVE-2023-20569
米紙が報じた中国による日本の防衛ネットワークの侵害についてまとめてみた - piyolog
2023年8月7日（現地時間）、2020年頃に中国軍が日本政府にサイバー攻撃を行い防衛機密情報にアクセスしていたとして米国のThe Washington Postが報じました。ここでは関連する情報をまとめます。 日本政府のネットワーク侵害を米国が把握 発端となったのは、現地時間2023年8月7日付でThe Washington Postが報じた中国が日本の防衛ネットワークへハッキングを行ったとする当局者の話などを取り上げた記事。2020年秋に米国NSAが日本政府が侵害されていることを確認した後、米国が日本に情報提供をはじめとする本件への対応をどのようにとってきたか経緯や関連事案などをまとめたもの。同紙で国家安全保障やサイバーセキュリティの取材を行っているEllen Nakashima氏の署名記事。氏が面談した米国の元高官ら3人を情報ソースとしているが機密性が高いことからいずれも匿名での取材
pytest：フィクスチャ(fixture)の使い方 - Qiita
はじめに pytestはPython用のテストツールです。 標準のunittestに比べ、テストエラー時の結果が分かりやすいのが特徴です。 例として、辞書オブジェクトを比較する以下のテストコードをunittestとpytestそれぞれで実行してみます。 # test_dict.py import unittest dict1 = {'name': 'Tom', 'age': 20} dict2 = {'name': 'John', 'age': 23} class TestUnitTest(unittest.TestCase): def test_one(self): assert dict1 == dict2 $ python -m unittest F ===================================================================
pytest, mock, patchについて整理したい
pytest、unittest.mock.patchらへんでハマっていたのでメモ。 整理したかったこと 同じ機能で、書き方が何種類もあること 引数の使い分け 注: このページでは同じものを別の名前で指しているかもしれないです(例:package, module, library という単語は同じものを指すことがある) テストモジュールについて unittest ... Pythonビルトインのテストpackage pytest ... 3rd partyのテストpackage。unittestよりよく使われていて主流らしい unittestをそのまま使える importしなくても使える(pytest.xxxを使わないとき) mock について オブジェクト(何でも)を自由に置き換えるもの unittest.mock ... unittestのモジュール pytest-mock ... py
How to mock nested / multiple layers of return objects in python
I'm currently struggling to find a good way of mocking multiple layers / nested return values. In other words, I want to return a magic mock that in turn returns a magic mock with it's own set return values. I'm finding this relatively cumbersome and am looking for a more elegant and maintainable solution. I'm trying to test the following code efficiently. the URL returns a json string that needs
What is the difference between mock.patch.object() and mock.patch()
I am trying to understand the difference between these two approaches of mocking a method. Could someone please help distinguish them? For this example, I use the passlib library. from passlib.context import CryptContext from unittest import mock with mock.patch.object(CryptContext, 'verify', return_value=True) as foo1: mycc = CryptContext(schemes='bcrypt_sha256') mypass = mycc.encrypt('test') ass
Apache Airflowの並列性と並行性について理解する | DevelopersIO
こんにちは。サービスグループの武田です。Airflowは同時実行性能についてチューニングできるようになっているのですが、パラメーターの意味がよくわからなかったので調べてまとめてみました。 こんにちは。サービスグループの武田です。 Apache AirflowはDAG（有向非巡回グラフ）でワークフローを表現し、ジョブのスケジューリングや監視などを行ってくれるツールです。Airflowはスタンドアローンでの構成もできますし、クラスターもサポートしています。設定で同時実行性能についてチューニングできるようになっているのですが、パラメーターの意味がよくわからなかったので調べてまとめてみました。 Airflowのバージョン Airflowはバージョンによって設定可能なパラメーターが変わっていることがあります。今回は1.10.12を対象とします。 Executorの理解 Airflowの同時実行性を理
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
