フューチャーアドベントカレンダー2020の24日目です。 はじめに フューチャーに入ってテックリード（社内だとアーキリーダーと呼ぶことも多い）のような役割をし始めて4,5年ほど経過しました。 いくつかの案件を回して自分なりに汎化・パターン化してきた部分も増えてきたので、気を付けていることをまとめました。 テックリードとは エンジニアのためのマネジメントキャリアパス――テックリードからCTOまでマネジメントスキル向上ガイド によると、以下のように説明されています。 テックリードはエンジニアの階層におけるランクのひとつではなく、シニアのレベルに達したエンジニアが担うことのできる職責群である 技術的なプロジェクトの管理者 部下に効率良く仕事を割り振って自身の負担を適宜軽減するよ う心がける チーム全体の生産性に照準を定め、しかるべき成果を上げるよう全力を尽くさなければならない 管理やリーダーシッ
こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
ナレッジベース共有ではなく､自分のためだけのクローズドなローカル環境で動作する点において差別化がされている｡何かを発信するのではなく自分自身のためにテキストをまとめるのです｡ このテキストも外出先で書いています｡ 金欠学生はもちろん格安を売りにしたプロバイダーと契約しているので3GB程度しか余裕がないはずです(私は月の半ばでなくなりました)｡しかしローカルで動作するので速度制限を恐れることなく使うことができるのです｡ Obsidianは単なるノートアプリではなくアイデアを書き溜め､思考をまとめ上げ､一つの思想を創り上げる､最強のセカンド･ブレインである｡ —私 メリット 日常的に使えばマークダウン記法に慣れて､サークルや研究室のesaの記事を書く心理的ハードルが下がる QiitaやZennなどの記事を公開するハードルも下がる 有名な使い方としてはドイツの社会学者が考案したツェッテルカステン
dotfiles を使った環境構築の時短術(M1 Mac 向け) - SMARTCAMP Engineer Blog
挨拶 おすすめする人 dotfiles とは dotfiles を使ってみた感想 セットアップ方法 リポジトリ構成 自動セットアップ アプリケーションの管理 カスタマイズ デスクトップアプリケーション CLI アプリケーション Mac App Store のアプリケーション 完成系 プログラミング言語の管理 カスタム例 設定ファイルのシンボリックリンク作成 カスタム例 .gitignore および README.md .gitignore README.md さいごに 挨拶 こんにちは！スマートキャンプエンジニアの石井(トマス)です。現在、Boxil Event Cloudの開発に携わっています。 好きなことは「開発体験の向上」に取り組むことで、プロダクト参画時、開発環境をホストマシンに直接構築している状態で手順書もなく非効率だったのでDocker化し環境構築を簡略化しました。 今回は「開
こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに 先日開催されましたCEDEC 2022にて、Gitリポジトリの肥大化に対応した事例を発表しました。これはそのフォローアップ記事となります。以前に出した記事の続編でもあります。 発表資料は次の場所に置いていますので、参照してみてください。 CEDiL（要登録）: https://cedil.cesa.or.jp/cedil_sessions/view/2600 Speaker Deck: https://speakerdeck.com/dena_tech/kaorumaeda_cedec2022 Gitリポジトリの肥大化問題 前提となっている課題をおさらいしておきます。 Gitリポジトリは
Windows開発環境の構築をChocolateyからscoopに切り替える - tech.guitarrapc.cóm
この記事は、PowerShell Advent Calendar 2019の一日目です。 qiita.com Windows のパッケージマネージャーの裏はPowerShellが多く使われています。 そんなWindows におけるパッケージマネージャーと言えば、Package Management Chocolatey が有名なのではないでしょうか? 私もChocolatey をパッケージマネージャーに用いて開発環境の構築をしてきましたが、課題が多かったため Scoopに切り替えました。 Chocolatey で何が問題だったのか、なぜscoop を選んだのか、この一年 scoop をどのように環境構築に利用しているのかを紹介したいと思います。 目次 目次 TL;DR Chocolatey の利用 どのように Chocolatey を利用していたのか Chocolatey で困ること Ch
AutoTrainで文章要約 - Qiita
AutoTrain🚂🚂🚂とは ノーコードでテキスト分類や要約などがstate-of-the-artできるサービスです。AutoNLPだとググラビリティが低かったので名称が変わったのだと思います。 データ準備 ハウツー系の文章を要約しようと思います。 ハウツー系の文章(inputs)とその要約(targets)があります。 https://www.wikihow.jp/蛇に噛まれた時の対処 要約する文と要約文のcsv/jsonlファイルを作成します。 ファイル作成スクリプトはColabにあります。 プロジェクトの作成 Summarization と Japaneseを選択し、プロジェクトを作成します。 csvファイルをアップロード jsonlでもアップロードできます。 今回はjsonlファイルをドラッグ・アンド・ドロップし、text:srcとtarget:tgtカラムを選択し、プロジェ
1BitLLMの実力を見る｜shi3z
1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git lfs install $ git clone https://huggingface.co/1bitLLM/bitnet_b1_58-3B $ cd bitnet_b1_58-3Bこれをやらずにいつもの凡例みたいにいきなりpipelineに読み込もうとすると謎のエラーが出て悩まされることになる。海外でも悩んでる人が何人もいるみたいだ。まあ個人的には「こんな説明で誰がわかる?」と思
Sketch - The digital design toolkit 画像はSketch最高っていう顔です。 HTMLやCSSを書くWebフロントエンドエンジニアにとって、Webデザイナーが用意した理想像を現実に落とし込むことは1つの使命であり、費用対効果への葛藤に揺れる中で「技術的に難しいから」という理由でデザインを却下したくないのは誰しも同じだと思います。一方で、技術的に難しくなくとも、デザインファイルの作り方次第ではエンジニアの実装効率も多少なりとも変わってきます。そこで、僕のデザイナー及びエンジニアとしての経験則から、HTML/CSSで実装しやすい（≒Webフロントエンドエンジニアにやさしい）デザインファイルの作り方を、Sketchでの用例も挙げつつまとめてみます。近年はFigmaが注目されつつありますが、基本的な話は共通すると思います。 本来ならばデザイナーにこそ読んでいただき
この画像は本文とは関係ありません。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 みなさん、git submodule コマンドは好きですか？git submodule は特定の状況下では便利なコマンドです。 社内アンケートでも25%が怖いという結果に しかし、なぜか世間にはgit submodule が怖いという人が相当数いるようです。推測ですが、git submodule は動作モデルや使用手順が誤解されがちなところがあり、それで「怖い」と思われているのないでしょうか。git 本体でも昔そんなことがありましたよね。 この記事では git submodule の誤解を解き、適切な使い方を解説します。また、記事の最後にチートシートをつけます。 git submoduleはトモダチ！怖くないよ！ git submodule って何？ 誤解1 「プロジェクトが大きくなっ
こんにちは。BacklogのGit機能の開発を行っているテリーです。 今回はGitチーム（後述する僕の所属するチーム）でAutifyによるリグレッションテストの自動化を進めてみて感じたメリットと工夫したところ、苦戦したところを紹介したいと思います。 スモールチームの規模感とテストの現状 BacklogのGitチーム 長らくBacklogは固定のチームが専任で固定の機能をみるような体制になく、アプリケーションエンジニアが比較的流動的にBacklog全体の機能を担当しており、なんとなく“この人”は“この機能”が得意というような体制でした。 ですが最近のチーム編成により固定のチームが固定の機能を開発するようなフィーチャーチームがいくつかできました。Gitチームはその中で生まれたBacklogのGitの機能についての開発責任を持つチームです。チームメンバーは3人で、そのメンバーでインフラからフロン
Sapling: Source control that’s user-friendly and scalable
Sapling is a new Git-compatible source control client. Sapling emphasizes usability while also scaling to the largest repositories in the world. ReviewStack is a demonstration code review UI for GitHub pull requests that integrates with Sapling to make reviewing stacks of commits easy. You can get started using Sapling today. Source control is one of the most important tools for modern developers,
yarn v3 が出ました。詳しい解説は譲るとして、esbuild integration や パフォーマンス向上が目玉です。 Yarn 3.0 🚀🤖 Performances, ESBuild, Better Patches, ... - DEV Community 流石に v1 はもう古いが、 v2 からの独自路線は受け付けがたい…という立場なのですが(yarn オリジナル作者の sebmck も難色を示しています)、今回は yarn 特有の機能をできるだけ避けて、できるだけ npm や pnpm 等と互換な部分だけで yarn v3 を使います。なので pnp も使いません。eslint や vscode の typescript 等でハマりどころが多すぎます。 ゼロインストールも否定派です。git blob objects のサイズが爆発して仕事にならなくなったことがあります。
Google Colabで「GPT-NEOX-20B」による日本語テキスト生成を試したのでまとめました。 【注意】「GPT-NEOX-20B」を動作させるには、「Google Colab Pro/Pro+」のプレミアム (A100 40GB) と「Google Drive」のスタンダード以上が必要です。 1. GPT-NEOX-20B「GPT-NEOX-20B」は、EleutherAIが提供するオープンソースの200億パラメータの言語モデルです。Pileデータセットで学習されています。 2. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「プレミアム」を選択 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.c
こんにちは。 株式会社クラスアクト インフラストラクチャ事業部の大塚です。 前回、前々回と私はKubernetesにArgoCDをデプロイしてみたりGitOps,CI/CD環境を構築したりしました。 今回はVSCodeとGitLabを連携させて、よりそれっぽい開発環境を作っていこうと思います。 用語 VSCode Microsoft社が提供しているコードエディタになります。 PCにデフォルトで入っているテキストエディタを凄く拡張させたものとでも思って頂ければいいのではないでしょうか？ サーバにSSHして使用することも可能なので、画面を良い感じに分割して上部ではファイルを編集して下部でサーバを操作して、みたいな使い方はあるあるな気がします。 環境イメージ 今回構築するイメージは以下です。 自分のPCにgitリポジトリをclone（≒複製）します。VSCodeでNodePortのyamlを作成
AutoTrainでテキスト分類 - Qiita
AutoTrain🚂🚂🚂とは ノーコードでテキスト分類や要約などがstate-of-the-artできるサービスです。AutoNLPだとググラビリティが低かったので名称が変わったのだと思います。 データ準備 livedoorニュースコーパスのタイトルと本文を結合して、9つのカテゴリを分類しようと思います。 !wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz !tar xf ldcc-20140209.tar.gz import glob import pandas as pd data = [] for path in glob.glob('text/**/*-*.txt'): with open(path) as f: data.append({ 'url': next(f).strip(), 'datetime
いかにして文芸領域はバージョン管理システムの認識を獲得をしうるか - あたし、めりーさん。今、あなたが心の中にいるわ。
まだ色のないあじさい。 『ギークに銃はいらない』が発売されました。はい～拍手～ ギークに銃はいらない 作者:斧田小夜破滅派Amazonみんな買ったかな？ うん、買ったよね！でももう一冊あってもいいんじゃないカナ！？！？（よくないだろ Youtubeでスペシャルコンテンツを配信しましたが、こっちではドキュメント管理の話を書こうかなと思います。近いうちにSpaceかなにかをやるかもしれない（まだわからない なぜ「ギークに銃はいらない」はGithubで管理する必要があったか？ そもそもGithubってなによ！？って方もままおられるかと思いますが、簡単に言えばクラウドを使ってドキュメント（特にソースコードとか）を便利に保管するツールだよ！ってことを覚えておいてもらえればよいかと思います。厳密にいえばクラウドストレージとバージョン管理システムとそれのホスティングサービスはすべて違うもので、Githu
Highlights from Git 2.28
EngineeringOpen SourceHighlights from Git 2.28The open source Git project just released Git 2.28 with features and bug fixes from over 58 contributors, 13 of them new. We last caught up with you on the… The open source Git project just released Git 2.28 with features and bug fixes from over 58 contributors, 13 of them new. We last caught up with you on the latest in Git back when 2.26 was released
こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
This adventure starts with git-lfs. It was a normal day and I added a 500 MB binary asset to my server templates. When I went to push it, I found it interesting that git-lfs was uploading at 50KB per second. Being that I had a bit of free time that I’d much rather be spending on something else than waiting FOREVER to upload a file, I decided to head upstairs and plug into the ethernet. I watched i
最近流行りのテキストから画像を生成する機械学習モデルが一般公開されたとのことで、興味本位で触ってみました。ざっと書いちゃったので、後で見直すかも。 目的 GPUアクセラレーションを活かしつつコンテナ内でStable Diffusionのモデルを動かしたい。メインPCなのでLinuxじゃなくWindowsを使いたい。 前提条件 以下のスペックのPCで、本記事の内容を実行しました。 OS: Microsoft Windows 11 Pro CPU: AMD Ryzen7 3700X メモリ: 32GB ストレージ: 1TB GPU: nVidia Geforce RTX 3080(10GB) とりあえず、OSとGPUベンダーだけそろっていれば本記事の内容は実行できると思います。 ちなみに、Windows 10の場合はInsider版を使えばCUDA on WSL2が可能です。(つまり、本記事の
Mirrativでのビジュアルスクリプティング（Bolt）活用事例とテクニック - Mirrativ Tech Blog
こんにちは、ミラティブUnityエンジニアの菅谷です。 ミラティブでは先日Mirrativアプリ内で遊べるライブゲーム「エモモランあーるぴーじー」をリリースしました。 運営配信に遊びにきてくださって ありがとうございました🥳✨ あのゲームに、新たなシリーズが──⁉️ ⚔🏃♂️#エモモランあーるぴーじー🏃♂️⚔ ミラティブで開発中の #新作ライブゲーム🎮の✨超✨極秘映像🎥を 🎉Twitterでもお披露目🎉 ぜひRTして、ミラ友さんにも教えてあげてくださいね🐰💨 pic.twitter.com/H80ANnVLIq— ミラティブ@スマホ１台でゲームプレイ配信！ (@mirrativ_jp) 2022年4月6日 エモモの衣装やアイテムを装備、強化して敵を倒しながらステージを進んで行くランゲームです。 エモモで遊べるオリジナルのゲームで、全てミラティブが開発しています。 ゲー
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
SRE課で、主にBacklogのSREを担当しているMuziです。 物理サーバやインスタンスで動作していたアプリケーションを、Kubernetesクラスタに移行する際には、いままで暗黙的に存在していた前提に目を向ける必要があります。そのような前提を無視すると、アプリケーションは動作したとしても、可用性が悪化する可能性があるためです。 私たちがBacklogをEC2インスタンスからKubernetesクラスタに移行した際にも、可用性の悪化に繋がる問題に対処する必要が生じました。今回は、そのような問題の一つであるGraceful Shutdownに関する注意点を、私たちの実体験をもとにご紹介します。 なお、以下の内容はAmazon EKSのKubernetesバージョン1.22で確認しました。Amazon EKSに固有の話題も含みますが、Kubernetes全般に共通する部分も多いかと思います
AutoTrain🚂🚂🚂とは ノーコードでテキスト分類や要約や構造化データの機械学習などがstate-of-the-artできるサービスです。本日より構造化データもサポートされました🎉 AutoNLPだとググラビリティが低かったのではなく、構造化データもサポートしたかったから名称変更したようです。 データ準備 沈没する船の乗客が生存できたかどうかの2値分類をします。 CSVファイルをダウンロードしましょう。 wget https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv プロジェクトの作成 Tabular Data Classification (Binary) を選択し、プロジェクトを作成します。 csvファイルをアップロード jsonlでもアップロードできます。 今回はcsvフ
Open SourceSecurityGit clone vulnerability announcedToday, the Git project released new versions to address CVE-2021-21300: a security vulnerability in the delayed checkout mechanism used by Git LFS during git clone operations affecting versions 2.15 and… Today, the Git project released new versions to address CVE-2021-21300: a security vulnerability in the delayed checkout mechanism used by Git L
まもなく『ポケットモンスター スカーレット・バイオレット』が発売しますが、先日、iPhone/iPad/Mac向けのポケモンパーティー構築管理アプリ、『PokeBox』をリリースしました。 ポケモンパーティー構築アプリの「PokeBox」をバージョン1.1にアップデートしました。ポケモン新規作成時の挙動改善や、わざ周りのインターフェイスがわかりやすくなっています。SV対応もしていくぞ https://t.co/p8E1GjvCeq pic.twitter.com/kbzDw885WY— giginet (@giginet) October 16, 2022 PokeBox - 構築管理ソード・シールド gigi-net.netユーティリティ無料 『ポケモン剣盾』以来、ランクマッチなど、いわゆるポケモンガチ対戦にハマり、自分の需要から開発したアプリです。 『剣盾』環境では、100体近いポケモ
The Legends of Runeterra CI/CD Pipeline Hi, I’m Guy Kisel, and I’m a software engineer on Legends of Runeterra’s Production Engineering: Shared Tools, Automation, and Build team (PE:STAB for short). My team is responsible for solving cross-team shared client technology issues and increasing development efficiency. We focus on the areas that empower other teams to do more and protect the team from
Git LFS をちょっと詳しく - Qiita
Git LFS の機能が実際にどういう感じで動作しているかを、基本的な Git の手順に沿って少しだけ詳しく調べてみました。 なお、ロック機能については検証していません orz （今後に期待） TL;DR ワークツリーの情報をリポジトリ（.git/）に格納するタイミング（clean filter）で対象のファイルがメタ情報（ポインタ）に置き換えられ、ファイルの実体（オブジェクト）は .git/lfs/ 以下に格納される push の直前に LFS API を通してオブジェクトがサーバーにアップロードされる リポジトリ（.git/）からワークツリーに展開するタイミング（smudge filter）でメタ情報から実体ファイルに置き換えられる LFS オブジェクトが .git/lfs/ 以下にない場合は LFS API を通してサーバーからダウンロードされる コミット時、マージ時、チェックアウト
Golang disables Nagle's Algorithm by default | Hacker News
If you trace this all the way back it's been in the Go networking stack since the beginning with the simple commit message of "preliminary network - just Dial for now " [0] by Russ Cox himself. You can see the exact line in the 2008 our repository here [1].As an aside it was interesting to chase the history of this line of code as it was made with a public SetNoDelay function, then with a direct s
GitHub Hacking ~GitHubを容量無制限のクラウドストレージとして使用する試み~ - Qiita
警告 今回紹介している内容はGitHubの公式からは「やるなよ!!」と言われている内容を紹介しています 私のディスク容量はいくつですか？ これを理解した上で以降を読み進めてください 問い GitHub には git push した場合には容量制限があり、1ファイル100MB を超える場合は Git LFS を使って git push を行わないとエラーが発生してしまいgit push することができません。 この仕様については共通の認識としてよく出てきますがリポジトリの総計の容量の上限については言及されていません。そのため、実際にやってみてどこまでできるのか試してみたいと思います。 実際にやってみた結果 約1254652ファイル、約164.6GB のリポジトリ全てGitHubにpushすることに成功しました!! GitHubすごい!! リポジトリはこのような感じになっておりました。 (あま
ヌーラボのインタビュー企画第19回目。今日はこれからヌーラボが強化していきたいBacklogのSREを担当するチームの中でもGit機能の改善・強化を担っているチームからなべさん (vvatanabe) のお話を伺います。 昨年はGoCon Sendaiで登壇するなど大活躍！Goという強みを持つなべさんに、今後のGitチームとしての取り組みについてインタビューしてみました！ 今日のInterviewee サービス開発部 SRE課 渡邉 祐一 2015年、ヌーラボにバックエンドエンジニアとして入社。現在はBacklogのGitホスティングにおける機能やミドルウェアに関する開発を担当。Goでの開発を得意としGo関連のイベントなど多数の登壇や技術誌への寄稿の実績あり。 東京から福岡へのUターン — なべさんは東京で働かれたあと、Uターンで福岡に戻ってこられたんですよね！ヌーラボに入社してもう何年で
Stable Diffusionのサンプルコード(text2img/img2img)をGoogle Colabで動かす方法
追記：簡単に動かせるNotebook作りました より簡単に動かせるColab Notebookを作っています。Hugging Faceのアクセストークンさえあれば、手軽にWebアプリ感覚で使えます。以下GitHubリポジトリのリンクからどうぞ。 解説ブログは以下です。 Stable DiffusionをGoogle Colabで動かす Stable Diffusion大人気ですね。公式が提供しているGoogle Colabノートブックで手軽に楽しむこともできます。 GitHubのStable Diffusionの公式のリポジトリを見ると、テキストから画像を生成するtext2img.pyの他ににも、画像からテキストの指示をもとに画像を生成（変換）するimg2img.pyなど色々なスクリプトがあります。 というわけで、これらのスクリプトをローカルPC無しでも自由自在に動かせるようなGoogle
Git LFSについて調べてみた
こんにちは。NTT研究所の露崎です。 業務でGitの一機能であるGitLFSの導入の仕方を調べてたのですが日本語のドキュメントでちょっと欲しい情報が見つからなかったので本ブログにまとめました。 Git LFSとは詳細な話は "git lfs”でGoogle検索かけると最初にヒットするこちらなどが参考になるのでここでは省きますが、簡単にいうと「画像ファイルなどのgitで管理されるべきでないとされるバイナリファイルなどを、まとめてgit上で管理するため機能」です。通常、gitは差分を管理しており各クライアントはその差分をGitHubなどのgitリポジトリサーバと共有しています。これに対して、git lfs機能を経由して追加されたファイルはファイルの実体は別のオブジェクトストレージ（図のLarge File Storage）などに保存されそのハッシュ値、保存先だけがgitリポジトリで管理されます
はじめに 株式会社スペースリー iOSエンジニアの樋川です。 普段は弊社サービスの、物件の撮影を補助/管理をするアプリのiOSの開発をしています。 今回は、研究開発チームが作成した、画像を台形補正する社内向けのライブラリをiOSプロジェクトに入れた時の内容をまとめます。 現在、iOSプロジェクトでは、Swift Package Manager(以下”SPM”と略)でライブラリ管理をしており、今回も他のライブラリと同様にSPMで対応することにしました。 今回は通常のSPMへの対応に加えて、下記のケースに対応する必要がありました。 ライブラリがC++で書かれている ライブラリがOpenCV, Eigenを利用している はじめに 前準備 (C++で書かれたライブラリをSwiftで使えるように) SPMへの対応 完成したPackage.swiftの中身 対応手順 1. OpenCVをXCFrame
AutoTrain🚂🚂🚂とは ノーコードでテキスト分類や要約や構造化データの機械学習などがstate-of-the-artできるサービスです。本日より構造化データもサポートされました🎉 AutoNLPだとググラビリティが低かったのではなく、構造化データもサポートしたかったから名称変更したようです。 データ準備 アヤメの品種を花びらの長さやがくの幅から3品種に分類します。 CSVファイルをダウンロードしましょう。 wget https://gist.githubusercontent.com/netj/8836201/raw/6f9306ad21398ea43cba4f7d537619d0e07d5ae3/iris.csv プロジェクトの作成 Tabular Data Classification (Binary) を選択し、プロジェクトを作成します。 csvファイルをアップロード
Highlights from Git 2.35
EngineeringOpen SourceHighlights from Git 2.35The open source Git project just released Git 2.35. Here's GitHub's look at some of the most interesting features and changes introduced since last time. The open source Git project just released Git 2.35, with features and bug fixes from over 93 contributors, 35 of them new. We last caught up with you on the latest in Git back when 2.34 was released.
What Comes After Git
Git was born from the collaboration problems in the Linux kernel. Nearly a decade later, new problems arose when Kubernetes (the operating system of the cloud) brought open-source collaboration to a new level. I saw the pain points of git (and GitHub) firsthand working on Kubernetes open-source. Will a new version control system (or something that solves similar problems) spring up? Some ideas on
「Trinart Stable Diffusion」が二次元キャラの画像生成が得意らしいということで試してみました。 ・Trinart Stable Diffusion v2 ・Stable Diffusion v1.4 1. Trinart Stable Diffusion「Trinart Stable Diffusion」は、「Stable Diffusion」を二次元イラストのデータセットでファインチューニングして作られた画像生成AIです。Twitterボット「とりんさまAI」@trinsama ( https://twitter.com/trinsama ) で学習しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 # GPUの確認 !nvidi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テックリードになって気をつけていること - Qiita
大きなGitリポジトリをクローンするときの工夫を図解します - DeNA Testing Blog
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Obsidianが大学生活を変える! 学生必見の活用術 - Qiita
macOSのCopy-on-Write機能を使ってディスクを節約した話 - DeNA Testing Blog
Webフロントエンドエンジニアにやさしいデザインファイルの作り方 - Qiita
git submodule はトモダチ！怖くないよ！ （チートシート付き） - エムスリーテックブログ
スモールチームにおけるAutifyを用いた効率的なE2Eテストの自動化 | 株式会社ヌーラボ(Nulab inc.)
yarn v3 の独自機能を避けつつ yarn v1 から v3 へのアップグレードをする
Google Colab で GPT-NEOX-20B による日本語テキスト生成を試す｜npaka
VSCodeとGitLabを連携する - Qiita
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
Golang is evil on shitty networks
Stable Diffusionをローカルマシンで実行する(VSCodeとDevcontainerを使用)
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
Amazon EKS上でアプリケーションをGraceful Shutdownさせる際に注意すべきポイント | 株式会社ヌーラボ(Nulab inc.)
【タイタニック】AutoTrainで2値分類 - Qiita
Git clone vulnerability announced
ポケモンガチ対戦用パーティー管理アプリ『PokeBox』をリリースしました - 5.1さらうどん
The Legends of Runeterra CI/CD Pipeline
自分の「やりたいこと」を会社の「やるべきこと」に結び付けてWin-Winに。SRE課でGitの改善に取り組む渡邉さんのお話 #ヌーラバーになりませんか | 株式会社ヌーラボ(Nulab inc.)
社内ライブラリを Swift Package Manager に対応させた - spacelyのブログ
AutoTrainで多クラス分類【アヤメ】 - Qiita
Google Colab で はじめる Trinart Stable Diffusion｜npaka