データレイクをGitライクに使いたい！lakeFSを使ってみた | DevelopersIO
はじめに lakeFSは、ざっくり言うとデータレイクをGitのようなリポジトリぽく取り扱うソフトウェア/サービスです。Gitライクなので、ブランチの作成、バージョン管理、ロールバックなどをCLIまたはGUIにて実行できます。 現在、クラウドストレージをデータレイクとして使う場合にはAWS S3/Google Cloud Storage/Azure Blob Storageなど複数の選択肢があるかと思いますが、lakeFSをインターフェースとして入れることで、実際のストレージがどこにあるかを意識することなくデータレイクを取り扱えるため、マルチクラウドなデータ分析基盤においてより力を発揮します。 lakeFSにはローカル環境に導入するオープンソース版と、SaaSとして提供されるlakeFS Cloudがあります。 今回はオープンソース版でクイックスタートをやってみます。環境はMacBook P
GitHub - djanderson/aho: A git implementation in awk
$ source ./modpath $ aho init Initialized empty Git repository in .aho $ aho add -v . add '.gitignore' add 'LICENSE' add 'README.md' add 'aho' add 'aho.awk' add 'include/add.awk' add 'include/branches.awk' add 'include/config.awk' [...] $ echo "neat" > testfile $ aho add -v . add 'testfile' $ tree .aho/ .aho/ ├── branches ├── config ├── description ├── HEAD ├── index ├── objects │ ├── 16 │ │
git gc の仕組みを原理から理解してサイズを 136MB → 7.2MB(95%減)まで削減した時の勉強メモ
個人用メモです。 「git gcってあんまし容量減らないよなぁ」 と思ったのが動機です。調べたけどパッと腑に落ちる記事がなかったので「自分で git のソースコード見た方がいいな」と急にモチベ発動してグワっと勉強しました。またついでに歴史改変の方法も調べたのですが、公式で既に WARNING が出てるほど非推奨化されてるfilter-branchを使用してる記事が多かったので、2021 年現在で多分一番推奨されてるfilter-repoを使ってやる方法もまとめました。 ちなみに容量減らしても高速化するかというとそこまで単純ではないです。そもそも減らさなくても partial clone で blob オブジェクトを必要最低限に指定して昔の blob をデフォルトで持ってこないようにしたり(--no-checkoutと併用するとより効果有る)、その後本当に自分が必要なやつだけ sparse-
EmacsとWindowsと人生と - Qiita
ハッカー向けのエディタといえばviかEmacsか、という時代があって、演習で触った大学のUnixワークステーションでターミナルのviはカーソルキーで移動できなくて、GUIで動いていたEmacsでは移動出来た。だからEmacsを使うことにした。 家にあるパソコンといえば、ふとした拍子にHDDがジジジという音を無限にたて始めて、その後フリーズしてしまう非力なWindowsマシンだったけど、それでもEmacsを諦める理由にはならなかった。無限のように長い再起動中の暗闇も、すぐにスワップするメモリも、平気だった。なにしろ、私はハッカーになりたかったのだ。 今日、EmacsはWindowsで使用することが出来る。日本語もIMEも問題ない（パッチを当てた「日本語版」を探す必要すらない）Vimmerたちが揶揄したメモリ使用量も15MB～200MB程度だ。VSCodeなどのElectronベースのエディタ
ふだんの開発で小さなPRに分けるために考えていること - 私が歌川です
ふだんの開発でPRを出すときに考えていること - 私が歌川です の続編です。小さなPRを出す、という話がありましたが、どうやって小さくしているのか、というのを書きます。 どういうメソッドが欲しいか考える Aという情報をBという画面に出したい Aを取得するメソッドがないので、それを作る必要がある (メソッドCとする) というときに、メソッドCを作るPRをまず先に出して、マージされたら続いてCを使って得られる情報Aを画面Bに出すPRを出す、というのをやります。 実装方針を考えて既存実装を眺めてからそういう作戦を立てることもあれば、実装しているうちにメソッドCが足りないな、と気づいて別ブランチでPRを作ってそちらを先に出す、ということもあります。 このとき、1つのPRで両方やろうとすると、メソッドCの実装のレビューと、情報Aを画面Bに出す実装のレビューが同じPRで行われることになります。メソッド
git checkout の代替としてリリースされた git switch と git restore - kakakakakku blog
2019年8月にリリースされた Git 2.23 から，Experimental（実験的機能）として新コマンド git switch と git restore が使える．今までずっと使ってきた git checkout は機能が多すぎたため，機能を分割し git checkout の代替としてリリースされた．個人的にリリースされてから，できる限り git switch と git restore を使うようにしてるけど，まだ無意識に git checkout を使ってしまうこともある．最近 git switch を教える機会があったため，ブログにまとめておく． github.blog なお，以下の検証は Git 2.26.0 を使った． $ git --version git version 2.26.0 1. git switch を使う git switch を使って「ブランチ操作」
C++は本当にRustに速度で負けるのか 〜「RustがC++に速度で勝った話」のベンチマークを追試する〜 - Qiita
追記: 本記事は g++ について書かれており、clang については補足で述べる程度でしたが、clang側の検証結果が間違っておりました。 別途 clang++ で検証した記事も書きましたので、ご覧いただけますと幸いです。 本記事の目的 昨日、株式会社フィックスターズの「Fixstars Tech Blog /proc/cpuinfo」に以下の記事が掲載されました。 RustがC++に速度で勝った話 - Fixstars Tech Blog /proc/cpuinfo 本記事では、上記記事の 手元環境における追試 C++の敗因/Rustの勝因分析 条件をある程度統一した際のベンチマーク結果 の3点を行います。 ベンチマーク環境 OS Fedora 30 CPU AMD A6-1450 Memory DDR3-1333 4GB x 1 (4GB) GCC 9.2.1 Rustc 1.39.
Cello - もはや別物、C言語で高レベルプログラミングを実現するライブラリ | ソフトアンテナ
C言語は機械語やアセンブリ言語といった低水準言語に近く、最近流行のPythonやRubyといった高水準言語で利用できるさまざまな便利な機能を使用することができません。例えば文字列にも専用の型が存在せず、さまざまな落とし穴に注意しつつ慎重に使用する必要があるのです。 本日紹介する「Cello」は、このなにかと不便なC言語で、高レベルプログラミングを実現するユニークなライブラリです。 Cellは以下の機能を実現するC言語用ライブラリです。 一般的なデータ構造 ポリモーフィック関数 インターフェイス/タイプクラス コンストラクタとデストラクタ オプションのガベージコレクション 例外 リフレクション 作者のDaniel Holden氏は、Ubisoft Montrealのアニメーション研究員で、C言語の可能性を追求するためのファンプロジェクトとしてCelloの開発を始めたと開発の動機を説明していま
GitトラブルをGetしてしまったら：バージョン管理のお話 | POSTD
非常におかしい題名を笑ってくださってありがとうございます。しかし、おかしくないことがありますが、何か分かりますか。git repoにコミットをプッシュした時で、これを GitHubデスクトップ で見ることができます。 Googleを使ってこれが何を意味するか調べてください。 もちろん、 いけている人 が Git Tower を使い、 本当に いけている人は コマンドライン のみを使っていることを知っています。我々は本当にいけているので、ここではコマンドラインを使って問題を解決します。実は他に選択肢がないのです。この記事で、git専門のコマンドライン知識が全くないのにも関わらず、コマンドラインを使い、全く プログラムの書き手に非がない のに、突然git repoが壊れてしまう問題を解決する冒険に誘います。少なくとも自分に非がないのに突然壊れてしまった時のパニックの度合いを見ていただけるかと思
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
（調査中）
Cで書かれたPHP Framework Phalcon | 有限会社アテージ