経緯 world.hey.com DHHが「オタクくん見てる〜？ 今からうちのレポジトリからTypeScriptを剥しま〜す」と宣言したことにより、Web開発者界隈でTypeScriptの是非自体の話になり騒ぎになった*1*2。 github.com その後、野次馬がたくさん集ってきてrevertプルリクエストを立てる人やTypeScript公式リポジトリから全ソースコードを消すプルリクエストを出す*3ようなキッズムーブをする人も出てきた world.hey.com 実際の変更 8617行のTypeScriptがJavaScript化された。(Sloc 便利) ❯ scc src/ ─────────────────────────────────────────────────────────────────────────────── Language Files Lines Blan
9月6日に公開された Open Interpreterは、現在世界で最も注目を集めるGitHubのリポジトリです。公開から2日でデスクトップアプリの早期アクセスウェイトリストには5000人、さらにDiscordでのコミュニティ参加者は500人を超え、レポジトリには9月15日現在で、レポジトリには20K以上のスターが付いています。このツールは、自然言語の指示でさまざまなコードを書き、実行することができ、日常の作業を劇的に効率化します。この記事では、Open Interpreterという新時代のAIの力で、あなたの仕事もプライベートも次のステージへと進化させるための「活用事例25選」をご紹介していきます。 Open Interpreter の基本的な機能・情報はこちらの記事に分かりやすくまとめてくださっていますので、こちらもぜひご覧ください!! 👉 Today I’m launching O
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
こんにちは。メルカリ ハロのSoftware Engineer (Engineering Head)の@napoliです。連載：Mercari Hallo, world! -メルカリ ハロ 開発の裏側-の2回目を担当させていただきます。 2024年3月上旬にメルカリ ハロという新しいサービスが公開されました。メルカリ ハロは好きな時間に最短1時間から働ける「空き時間おしごとアプリ」です。 この記事ではメルカリ ハロを作るにあたり、どういった技術スタックやアーキテクチャを選定したのか、さらにその背景と意思決定をご紹介したいと思います。 この記事で得られること メルカリ ハロで採用されている技術スタックやアーキテクチャの全体像 その意思決定の理由とプロセス これから新規サービスを立ち上げるうえでのヒント 主な技術スタック メルカリ ハロで利用されている主な技術スタックは以下のとおりです。 バッ
Bun workspace で始めるモノレポ生活
Bun workspace で始めるモノレポ生活 2023.09.15 Bun では `package.json` の `workspaces` を使用することでモノレポの管理が可能です。この記事では Bun によるモノレポを試してみます。 Bun はパッケージマネージャーとしても利用できるので、npm の workspaces によるモノレポ管理も可能です。モノレポとは、複数のパッケージを 1 つのリポジトリで管理することです。モノレポを利用することで、同レポジトリ内のパッケージを互いに参照したり、node_modules をシェアしてディスク容量を節約するといったメリットがあります。 この記事では、Bun workspace を利用してモノレポを管理する方法を紹介します。 Bun workspace の使い方 workspace ではディレクトリのルートレベルに、各パッケージを管理する
はじめに この記事は、現在（2023年8月4日時点）パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事です。公式ドキュメントにはクイックスタート記事も公開されており、こちらのブログで日本語で丁寧に解説してくれています。 公式ドキュメントのクイックスタートを読んでいると、下記の課題に遭遇します。 PDFなどのドキュメントはどのように扱えばいいか？ チャンク分割やベクトル生成は具体的にどのように行えばよいか？ 言語アナライザーを日本にするにはどこを変えればよいか？ インデックスを自動更新するにはどうすれば良いか？ このような課題に対して、Azure公式のGitHubリポジトリにあるcognitive-search-vector-prにあるインデックス作成ツール(azure-search-vector-ingestion-py
こんにちは。kimihiro_nです。 今回はアプリケーションの動作を保証するために不可欠なテストコードの書き方についてです。 特に外部依存要素のテストに焦点を当ててみていきたいと思います。 外部に依存するテストコード 皆さんはアプリケーションのテストコードを書いていますか？ 内部的な状態を持たず、入力と出力が常に変化しない関数であれば、テストコードを書くのは比較的容易です。実際に関数を呼び出ししてその出力と期待値が一致しているかをみればテストすることができます。 しかし実際にアプリケーションを開発する場合、データベースへの接続だったり外部へのAPI呼び出しだったりといった外部の状態に依存した処理が含まれることが多いです。このような場合、素直にテストを書くのが難しいです。 多くの場合モックを利用して実際のデータベース呼び出しを置き換えたり、テスト用のリソースをdockerなどで構築してダミ
GPT-4 Turbo with Vision × Azure AI Search × Azure AI Vision 時代のマルチモーダルエンタープライズサーチ - Qiita
GPT-4 Turbo with Vision × Azure AI Search × Azure AI Vision 時代のマルチモーダルエンタープライズサーチAzureCognitiveSearchChatGPTGPT-4AzureAISearch 2023/3/10 の公開から 9 か月経ちましたが、GPT-4 Turbo with Vision のパブリックプレビュー開始などもあり例の RAG アーキテクチャのレポジトリがマルチモーダル対応したり他にもいろいろ改良されています。 GPT-4 Turbo with Vision による回答が可能に Azure AI Vision と Azure AI Search を使用した画像類似検索が可能に Thought process UI の改良 その他多数→別記事で解説予定 1. GPT-4 Turbo with Vision による回答
公式GoクライアントindigoでBlueskyのAPIを使ってみた - 小野マトペの納豆ペペロンチーノ日記
みなさんはまだXで消耗してますか？Blueskyに移住中の小野マトペです。 Go言語でBlueskyにポストを投稿するコードを書いたのですが、ベータ版とあってドキュメントも少なくやや難儀したので、メモとして残します。記事を通じて、Blueskyのアーキテクチャのユニークさも少しだけ伝われば良いなと思います。 クライアントには、Blueskyの公式Goリポジトリ github.com/bluesky-social/indigo のクライアント実装を使います。ただし、開発中で、今後使い方が変わる可能性もあるので気をつけてください。 github.com 概要 Bluesky は、大規模分散ソーシャルアプリケーションのための汎用連合プロトコル AT Protocol 上に構築されるアプリケーション実装であるという建て付けです。AT Protocolでは、クライアントやサーバーは XRPC という
GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ - 肉球でキーボード
Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用
情報発信に便利で軽量なActivityPubサーバー「Takahē」［後編］ ～基本的なアーキテクチャと特徴的なコンポーネントの紹介と、サーバーの構築方法 前編では、ActivityPub/FediverseサーバーTakahē（タカヘー）の特徴（特に、他のActivityPubサーバーでサポートされていないマルチドメインサポート）と、クライアントアプリElkとともに使用する方法について紹介しました。 後編の記事では、Takahēサーバーの基本的なアーキテクチャや、Takahēの特徴的なコンポーネント、内部で使われている面白いライブラリなどを紹介します。記事の最後では、docker-composeを使って実際にTakahēサーバーをコンテナで起動し、手元で試してみます。 Takaheの基本的なアーキテクチャ Takahēは、主に3つのコンポーネントから作られています。メインのTakah
(日本語訳) Vector databases (Part 1): What makes each one different?
ベクトルデータベースに関しては、カリフォルニアのベイエリアで明らかに"多く"の活動が行われている！また、資金調達と評価の額には大きなばらつきがあり、データベースの能力と資金調達額に相関関係がないことは明らかである。 プログラミング言語の選択 高速でレスポンスが良くスケーラブルなデータベースは、近年、GolangやRustのようなモダンな言語で書かれることが一般的である。ベクトル特化ベンダーの中で、Javaで書かれているのはVespaだけである。Chromaは、C++で構築されたOLAPデータベースであるClickhouseとオープンソースのベクトルインデックスであるHNSWLibの上に構築されたPython/TypeScriptラッパーとなっている。 興味深いことに、Pineconeも[2]、LanceDBのベースとなるストレージフォーマットであるLance[3]も、元々はC++で書かれて
わたしはパソコンOSとしてLinux MintやUbuntu, FedoraなどのLinuxディストリビューションを使い続けてきましたが、ここ最近パソコンのセキュリティを大幅に強化するため Qubes OSを使うようになりました。以下ではQubes OSに関心がある人向けに、Qubes OSとはどんなものなのか記事を書いてみました。 Qubes OSって何? エドワード・スノーデンとQubes OS Qubes OSを採用しているところ Qubes OSのしくみ Qubes OSの仮想化: 一見どこに仮想化が使われているのか分からないのが特徴 Appキューブ: untrusted, personal, work, vault, anon-whonixなど Qubes OSのセキュリティモデル ワークスペースを使って画面を整理する テンプレート: ルートディレクトリをappキューブに供給する
はじめに 今回の記事の内容 記事にした動機 はてな はてなBoilerplate 概要 はてなBoilerplate 感想 企業(チーム)でブログを管理している人向けに細かなワークフローが多く用意されている 下書き記事がリポジトリ同期されてしまうのを防げる その他感想 Qiita Qiita CLI概要 Qiita CLI感想 セットアップが比較的楽 記事のプレビューが可能 過去記事も簡単に同期可能 投稿が気楽 その他 Qiita Sync概要 Qiita Sync感想 ファイル名やディレクトリ管理に融通がきく 画像の管理がしやすい 定期的な同期チェックが可能 その他 その他感想 Zenn 概要 セットアップが楽 画像の管理がしやすい プレビューが便利 その他 まとめ 最後に はじめに 今回の記事の内容 こんにちは、@Takayoshi_maです。技術に携わっている方であればQiit
KADOKAWAグループに対する大規模なランサムウェア攻撃を見て、自社の対策に不安を感じた方は少なくないだろう。ITが利用できなくなれば、企業活動の継続は難しくなる。 そこで、クラウドストレージサービスを提供するBackblazeが2024年6月20日に公開したランサムウェアの仕組みと事後の対策を前回に引き続き紹介する。 ランサムウェアの仕組みと対抗策 バックアップについて触れる前に、まずはランサムウェアの仕組みを押さえておこう。対抗策を練るにはまずは相手を知ること必要だ。 ランサムウェア攻撃はネットワークに接続したPCやサーバがマルウェアに感染することで始まることが多い。サイバー犯罪者は電子メールの添付ファイルやスパムで送信されたリンク、洗練されたソーシャルエンジニアリングなど、PCを感染させるさまざまな方法を取りそろえている。ユーザーが古い攻撃方法に精通すると、サイバー犯罪者は戦略を新
はじめに おはようございます。Watanabe Jin(@Sicut_study)です。 今回は私の会社でよく使われるクリーンアーキテクチャのレイヤーの説明をたとえ話を交えながらせつめいしていきます。 コードはTypeScriptですが、他の言語のレポジトリもありますのでご確認いただければと思います。 毎朝5分で読める 朝5分で読めるシリーズは平日7時にエンジニアの方に気づきが与えられるような記事を投稿しています。 よければ@Sicut_studyのフォローを宜しくおねがいします！ 聞いて学びたい方はこちら👇 私がよく使っているクリーンアーキテクチャ クリーンアーキテクチャは厳密にやっていくこともできますが、私がよく利用するのは実装も比較的簡単で、テストもしやすいという理由から以下の構成で実装をしています。 私は以下の4層を実装で利用して使います usecase gateway driv
今から始める Rust による WebAssembly 開発
本記事は、TechFeed Experts Night#30 〜 Rust / WebAssembly最前線のセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 セッション動画 Rust Tokyoの運営をしている@chikoskiと言います。WebAssemblyのコミュニティもやっていて、TechfeedにはWebAssemblyのエキスパートとして関わらせていただいています。 最近、いろいろなところでWebAssemblyの名前を耳にします。今日はRustでWebAssembly向けに開発する方法や、今のところのベストプラクティスをお話できればと思います。よろしくお願いします。 まとめを先に言いますと、今はcargo-componentというツールを使って開
【Flutter】Misskeyクライアントの作りかた
この記事はMisskey Advent Calendar 2023の16日目の記事です。こちらの記事では実装面や仕様面について書き、別の記事で感想や向き合い方について書いています。 Misskeyのサードパーティクライアント「Miria」をもとに、FlutterにおけるMisskeyクライアントの実装の仕方や、Misskeyの仕様的な部分で実装する際の落とし所や注意点といったところを解説します。 なお、この記事の内容には、Miriaで現在そうなっていないが今後こうした方がよい、こうするべきであったといった反省点も多く含まれています。 ノートを表示する 何はともあれMisskeyクライアントではノートを表示する必要があります。ノートにはこのような情報を表示します。 ノートの内容（注釈、本文、投票、添付メディア） そのユーザーがisCatであれば、本文に対しnyaize処理をする必要があります
GitHub、「GitHub Copilot」にコード参照機能--コード候補がパブリックコードと一致するか検出 GitHubは米国時間8月3日、「GitHub Copilot」のコード参照機能をプライベートベータ版として提供した。GitHub Copilotが提案するコード候補が「GitHub」にあるパブリックコードと一致することを検出し、そのリポジトリーやライセンスに関する情報に基づいたコード利用の判断を可能にする。 AIプログラミング支援ツールのGitHub Copilotは、訓練にパブリックコードを使用する。そのため、提案されるコード候補がパブリックコードと一致しているかを知りたいという声が多くの開発者から挙がっていたという。 コード参照機能は、GitHub上のパブリックコードと一致するコード候補のコンテキストを検出・表示するフィルターを搭載する。フィルターが有効の場合、コード候補の
SRE視点で考える「DevEX」ーーSaaS3社対談②テックタッチ・コミューン・UPWARD｜DNX Ventures
今月、弊社の投資先より、急成長中のSaaSスタートアップ3社から各社の開発チームにお集まりいただき、その3社のデベロッパー・エクスペリエンス「DevEx」についてのウェビナーを開催しました。3社それぞれにエンジニアさんの働きやすさと開発効率をよく考えた施策や取り組みが語られた充実のセッションとなりました。 今回は、後半のセッション「DevEX x SRE」の様子を一部ご紹介します。 テックタッチ SRE マネージャー 伊藤 宏樹 SIerとして社会人をスタート。しばらくして金融情報の配信インフラの開発に従事し、リアルタイム大規模配信を支える高信頼性マルチキャスト通信ライブラリの開発をメインに尽力。その後AIブームにのりJDL認定 E資格を取得しDLを応用したカメラ画像から人属性を解析するソリューションの開発リーダーを努める。現在はテックタッチのSREマネージャーとして活躍中。 ▶︎Twit
【登壇】今こそ筋トレと健康をIaC化する時が来ました（GCP：Infrasturacture Managerも語りました） | DevelopersIO
【登壇】今こそ筋トレと健康をIaC化する時が来ました（GCP：Infrasturacture Managerも語りました） 概要 12/15（金）クラスメソッド社内にて「Infrastructure as Code（IaC）の素晴らしさを語らせろ」という社外向け勉強会を開催しました。 詳細はこちら → https://classmethod.connpass.com/event/302466/ 今回は、その時の登壇内容について、ブログで共有させていただきます。 【会場の雰囲気】 登壇資料 IaCとTerraform IaCとは IaC（Infrastructure as Code）は、ITインフラストラクチャの定義とそのプロビジョニングを自動化するための方法です。 Google Cloud（GCP）の場合では、Terraform（Infrasturacture Manager）、Deplo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Remove TypeScript - laiso
新時代のAIツール | Open Interpreterとその25の活用法｜ChatGPT研究所
メルカリ ハロの技術スタックとその選定理由 | メルカリエンジニアリング
Cognitive Searchの生成AI用ベクトルDBの構築手順書 - Qiita
アプリケーションの動作を担保するテストをどう書くか - JX通信社エンジニアブログ
情報発信に便利で軽量なActivityPubサーバー「Takahē」［後編］ ～基本的なアーキテクチャと特徴的なコンポーネントの紹介と、サーバーの構築方法 | gihyo.jp
普通のLinuxから難攻不落のQubes OSに乗り換えてみた - /ft/'s blog
エンジニアでも運用しやすいTechBlogの仕組みを作ろう！ - ABEJA Tech Blog
「ランサムウェア」の被害をバックアップで防ぐことは可能か
クリーンアーキテクチャを説明するときに使う例え話 - Qiita
GitHub、「GitHub Copilot」にコード参照機能--コード候補がパブリックコードと一致するか検出