はじめに 本記事ではエンジニア向けの海外情報収集サイトをまとめました。”一次情報”をより”早く”取得するという意味で海外の情報収集を行うことは非常に意義のあることです。日本で働いている人でも、海外情報は積極的に取得しましょう。英語が読めない方も翻訳機やLLMに投げることで良い感じに翻訳してくれます。 本記事は、情報収集サイトを次の4種類に分類して紹介しています。参考にしてください。 学習系 ニュース系 ITサービス技術ブログ その他 それでは、早速紹介していきます！！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 学習系 FreeCodeCamp FreeCodeCamp.orgは、エンジニアやプログラミング初学者を対
はじめまして、株式会社Algomaticの大野（@ono_shunsuke）です。 Algomatic コーポレートサイト2023年4月に、DMMからの20億円の投資を原資に「生成AI時代を代表する企業になる」ことを目指し、Algomaticという会社を作りました。Algomaticは、スタートアップスタジオ的な組織構造を取り、複数領域で同時に事業を立ち上げていく会社です。 私はこれまで、AIとソフトウェアを組み合わせた事業を作り続けてきました。一社目に創業したAlgoageは、機械学習・深層学習のアルゴリズムモジュールの開発・提供を祖業とし、2020年にM&AでDMMグループ入りしました。そこから、マーケティング支援のチャットボット「DMMチャットブーストCV」を主力事業として急速に成長し、2023年現在130名を超える組織規模へ拡大してきました。 そんな中、生成AIによる革命を目の当た
Instagramがオリジナルコンテンツを優先し他人の投稿をリポストするアグリゲーターアカウントの表示を減らすための施策を発表
Instagramが「Instagram上のオリジナルコンテンツを促進するための新しい施策」を発表しました。Instagramの責任者であるアダム・モセリ氏も、自身のInstagram上でオリジナルコンテンツを促進するための施策を強調しており、特にオリジナルコンテンツよりも目立つアグリゲーターアカウントの投稿を抑制するとアピールしています。 Helping Creators Find New Audiences | Instagram for Creators | Instagram for Creators https://creators.instagram.com/blog/recommendations-and-originality この投稿をInstagramで見る Adam Mosseri(@mosseri)がシェアした投稿 Instagram’s updated algor
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
Updated Mon Feb 5 10:22:02 EST 2024 Available in paperback and e-book formats. Order at Amazon and other fine booksellers. Introduction This page holds material related to the second edition of The AWK Programming Language. The first edition was written by Al Aho, Brian Kernighan and Peter Weinberger in 1988. Awk has evolved since then, there are multiple implementations, and of course the computi
Exploring Type-Informed Lint Rules in Rust based TypeScript Linters
Exploring Type-Informed Lint Rules in Rust based TypeScript Linters | Rust製TypeScript Linterにおける型情報Lintルールの模索 This slides are used at TSKaigi 2024 | TSKaigi 2024 にて利用した資料です。(20m) Update requests are welcome anytime. ## References - Rust-Based JavaScript Linters: Fast, But No Typed Linting Right Now https://www.joshuakgoldberg.com/blog/rust-based-javascript-linters-fast-but-no-typed-linting-right-n
Copy and paste "🧑🌾" in your terminal emulator. How many cells forward did your cursor move? Depending on your terminal emulator, it may have moved 2, 4, 5, or 6 cells1. Yikes. This blog post describes why this happens and how terminal emulator and program authors can achieve consistent spacing for all characters. Character Grids, Historically Terminals operate on a grid of fixed size cells. Thi
Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock | Amazon Web Services
AWS News Blog Knowledge Bases now delivers fully managed RAG experience in Amazon Bedrock Back in September, we introduced Knowledge Bases for Amazon Bedrock in preview. Starting today, Knowledge Bases for Amazon Bedrock is generally available. With a knowledge base, you can securely connect foundation models (FMs) in Amazon Bedrock to your company data for Retrieval Augmented Generation (RAG). Ac
Python is a wonderful programming language. I’ve used it to build webapps, deep learning models, games, and do numerical computation. However there is one aspect of Python that has been an inexcusable pain-in-the ass over many years. That would be the fragmented Python package and environment management ecosystem, succinctly represented by the following XKCD comic: You see, a lot of other programm
Database Fundamentals
About a year ago, I tried thinking which database I should choose for my next project, and came to the realization that I don't really know the differences of databases enough. I went to different database websites and saw mostly marketing and words I don't understand. This is when I decided to read the excellent books Database Internals by Alex Petrov and Designing Data-Intensive Applications by
Caching is an effective way to speed up the performance of Rails applications. However, the costs of an in-memory cache database could become significant for larger-scale projects. In this blog post, I’ll describe optimizing the Rails caching mechanism using the Brotli compression algorithm instead of the default Gzip. I’ll also discuss a more advanced technique of using in-memory cache for extrem
以下の文章は、コリイ・ドクトロウの「Even if you think AI search could be good, it won’t be good」という記事を翻訳したものである。 Pluralistic 検索に関する今週のビッグニュースは、Googleが「AI検索」へのシフトを続けていることだ。検索ワードを入力してウェブサイトへのリンクが表示されるのではなく、Googleに質問をすると、AIがウェブ上で見つけたものに基づいて回答を生成するという方向に進みたいらしい。 https://blog.google/products/search/generative-ai-google-search-may-2024 Googleはこれを「Googleにググらせよう（let Google do the googling for you.）」と宣伝している。自分でウェブを検索するのではなく
![Googleに“まともな”AI検索は作れない | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4cc0dd9bc860c83935b765f63d2ba4698ecda12/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fsearch-ai-enshittification.webp)
Summary At Sakana AI, we harness nature-inspired ideas such as evolutionary optimization to develop cutting-edge foundation models. The development of deep learning has historically relied on extensive trial-and-error by AI researchers and their theoretical insights. This is especially true for preference optimization algorithms, which are crucial for aligning Large Language Models (LLMs) with hum
1. はじめに NeRF (Neural Radiance Field) とは、複雑なシーンに対して、任意の視点からの3次元的なシーンを画像から再構成する技術です。以下の動画にあるように、物体に対して、様々な角度から見たときのシーンをキレイに再現することができます。反射に関しても、それぞれの角度から見たときの見え方が反映されており、角度によって同じ場所でも微妙に違う反射特性を見て取ることができます。この手法を利用して、例えば、地点AとBで画像を取得した場合、その中間地点の任意の角度から対象物体を見たときのシーンを生成可能です。 この記事では、このNeRFと呼ばれる技術と、それを実行するにあたって必要な周辺の技術について簡単にまとめたいと思います。以下に示す、NeRFの論文と照らし合わせてながら解説を行います。しかし、本記事では、NeRFを実行するまでの流れを示すため、各要素技術に関しては詳
Let’s see a brief description of the columns of our dataset: age (numeric)job : type of job (categorical: “admin.” ,”unknown”,”unemployed”, ”management”, ”housemaid”, ”entrepreneur”, ”student”, “blue-collar”, ”self-employed”, ”retired”, ”technician”, ”services”)marital : marital status (categorical: “married”,”divorced”,”single”; note: “divorced” means divorced or widowed)education (categorical: “
2023/06/12にTerraform のversion 1.5がGAになりました。(2023/07/31時点でv1.5.4まで出ています。) だいぶ遅いですが、新機能達を使ってみたのでレポートします。 checkブロック 一言で言えば汎用的なvalidation機能です。 以下がcheckブロックの例です。 check "health_check" { data "http" "example" { url = "https://${aws_lb.example.dns_name}" } assert { condition = data.http.example.status_code == 200 error_message = "${data.http.example.url} returned an unhealthy status code" } } checkブロックは1個
For those of you who aren’t aware, the Mojo SDK was recently released, so I thought I would take the opportunity to start benchmarking some Julia code against Mojo. As a first test, I am calculating the Mandelbrot set using the code provided by Modular. This is my Julia implementation: using Plots const xn = 960 const yn = 960 const xmin = -2.0 const xmax = 0.6 const ymin = -1.5 const ymax = 1.5 c
Visualizing algorithms for rate limitingMay 15, 2024Why rate limit?Imagine a Twitch chat with many active participants and just one spammer. Without rate limiting, the sole spammer can easily dominate the entire conversation. With rate limiting, each user has a fair chance to participate. A rate limiter lets you control the rate of traffic that your service processes by blocking requests that exce
We introduce StreamDiffusion, a real-time diffusion pipeline designed for interactive image generation. Existing diffusion models are adept at creating images from text or image prompts, yet they often fall short in real-time interaction. This limitation becomes particularly evident in scenarios involving continuous input, such as Metaverse, live video streaming, and broadcasting, where high throu
Bluesky
Social media is too important to be controlled by a few corporations. We’re building an open foundation for the social internet so that we can all shape its future. Stay focused on your friend group, keep up-to-date on the latest news, or explore with an algorithm that learns what you like. On Bluesky, there's a feed for that.
こんにちは、株式会社ACES でソフトウェアエンジニアをしている奥田（@masaya_okuda）です。 独自 AI による話者ごとの自動文字起こしや重要なシーンの可視化を行い、オンライン商談における成約率の向上と現場の工数削減に寄与する商談解析 AI ツール「ACES Meet」を開発しています。 meet.acesinc.co.jp 現職で初めてAIが根幹にあるソフトウェアサービスを開発し、従来の開発と比較して「設計の難易度が明確に上がった」と感じています。AI機能はユーザーが使えば使うほど精度が上がる一方で、学習が十分でないフェーズでは期待値を下回ってしまう可能性があります。 それを乗り越えてユーザーにご利用いただくため、開発時にはAIエンジニアとソフトウェアエンジニアが協働して機能開発を行います。AIエンジニアがAI自体の精度向上を担当し、ソフトウェアエンジニアがAIをユーザーが利
Hugging Face raises $235M from investors, including Salesforce and Nvidia | TechCrunch
Hugging Face raises $235M from investors, including Salesforce and Nvidia AI startup Hugging Face has raised $235 million in a Series D funding round, as first reported by The Information, then seemingly verified by Salesforce CEO Marc Benioff on X (formerly known as Twitter). The tranche, which had participation from Google, Amazon, Nvidia, Intel, AMD, Qualcomm, IBM, Salesforce and Sound Ventures
PythonのPackage Managerを深く知るためのリンク集.md PythonのPackage Managerを深く知るためのリンク集 以下の発表(2023/10/12)につき作成した、Pythonのパッケージ管理について学ぶ上で有益なリンクを集めたもの。 stapy#98イベントリンク 登壇時の資料(SpeakerDeck) 登壇Archive動画 Pythonでの開発に関するベストプラクティス等を知ることは目的にしていない。 Package Managerを自作したり、開発にコミットするために必要なベースの知識を補うリンク集。 誤字脱字、用語不統一、勘違いはごめんなさい。 他言語でも、現代Package Managerでこれは必要だとかこれは読んでおくべきだというのがあれば教えて下さい。 ToC Donation 全体感がわかるもの Package Manager Libra
こんにちは！eyeon運用チームです。 AWSさんから、RDSのSSL/TLS証明書の期限が切れるよーってメール通知が届いていたので確認してみました。証明書の更新作業が必要っぽいのでその手順もご案内しておきます。 １．いきなり結論 結論としては以下の通りですね。 放置しておくと、RDSのメンテナンスウィンドウにて勝手に証明書が更新されちゃいます。 それだけ聞くと、SSL/TLS接続を利用していない場合は気にしなくてよさそうです。 ですが！！！RDSのエンジン、エンジンバージョンによってはそのタイミングでDBインスタンスが再起動してしまいます。 従い、都合が良いときに、早めに手動で更新しておきましょう！ 逆に、SSL/TLS接続を利用していない、かつ再起動対象外のエンジン、エンジンバージョンを利用していない場合は何もしなくても大丈夫です。詳細は後述いたします。 （ただ、いつのまにか自動更新さ
For the red cell in the output (row 0, column 0), we take the red row of the first matrix (row 0) and the red column of the second matrix (column 0), and do a dot product (1*1 + 2*4 + 3*7 + 4*10) to get 70. Likewise, for the green cell in the output (row 1, column 2), we take the green row of the first matrix (row 1) and the green column of the second matrix (column 2), and do a dot product (5*3 +
Amazon Linux 2023.2 で zram swapping がサポートされました | DevelopersIO
2023年9月にリリースされた Amazon Linux 2023.2 で サポートされた新機能、 zram を利用した swapについて確認しました。 2023年3月にGAとなった Amazon Linux 2023、4半期毎のマイナーバージョンアップが計画されており、 2023年9月、新しいマイナーバージョン Amazon Linux 2023.2 がリリースされました。 今回 Amazon Linux 2023.2 で サポートされた新機能、 zram を利用した Swap について確認を試みる機会がありましたので、紹介させて頂きます。 Amazon Linux 2023 version 2023.2.20230920 release notes ZRAM Amazon Linux 2023.2 では、Fedora 33 以降でサポートされた zram を利用した Swap をサポー
The Three Cs: 🤝 Concatenate, 🗜️ Compress, 🗳️ Cache – CSS Wizardry
I began writing this article in early July 2023 but began to feel a little underwhelmed by it and so left it unfinished. However, after recent and renewed discussions around the relevance and usefulness of build steps, I decided to dust it off and get it finished. Let’s go! When serving and storing files on the web, there are a number of different things we need to take into consideration in order
flutter_secure_storageを読む
Flutterでデータをセキュアに保存しようとすると、flutter_secure_storageを使うことになります。 flutter_secure_storageは「iOSではKeychain、AndroidではKeyStoreを使ってデータを保存してくれるライブラリ」と説明されることが多いのではないのでしょうか。チラッとライブラリのコードを見てみたところ、読みこなせない量ではなさそうだったので、AndroidとiOS、そしてWebでどのようにデータを保存しているのかを確認してみました。 記事執筆時点でのflutter_secure_storageのバージョンは、9.0.0です。 Android Androidの場合、EncryptedSharedPreferencesを使ってデータを保存する方法と、SharedPreferencesを使ってデータを保存する方法があります。 Encry
June 2024 Guidance regarding Intel Core 13th and 14th Gen K/KF/KS instability reports
Intel and its partners are continuing to investigate user reports regarding instability issues on Intel Core 13th and 14th generation (K/KF/KS) desktop processors. We appreciate the Intel community’s patience on the matter and will continue to share updates on the investigation as it works towards a conclusion. In the meantime, we’re sharing an update on confirmed factors leading to the reported i
複数の関連度から検索可能な BGE M3-Embedding の紹介 - Algomatic Tech Blog
こんにちは。Algomatic の宮脇（@catshun_）です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation おことわり 本記事では精読レベルの 詳細な解説は含みません。 詳細については 参照元の論文をご確認ください。 不十分また不適切な言及内容がございましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事で紹介する 論文 は Work in progress とコメントされており今後内容が更新される可能
I love raytracers; in fact I’ve written half a book about them. Probably less known is my love for the ZX Spectrum, the 1982 home computer I grew up with, and which started my interest in graphics and programming. This machine is so ridiculously underpowered for today’s standards (and even for 1980s standards), the inevitable question is, to what extent could I port the Computer Graphics from Scra
Micro-benchmark of the multi-head attention, run-time in us. Flash-Decoding achieves almost constant run-time as the sequence length scales to up to 64k. The up to 8x speedup end-to-end measured earlier is made possible because the attention itself is up to 50x faster than FlashAttention. Up until sequence length 32k, the attention time is roughly constant, because Flash-Decoding manages to fully
Data masking and granular access control using Amazon Macie and AWS Lake Formation | Amazon Web Services
AWS Security Blog Data masking and granular access control using Amazon Macie and AWS Lake Formation Companies have been collecting user data to offer new products, recommend options more relevant to the user’s profile, or, in the case of financial institutions, to be able to facilitate access to higher credit lines or lower interest rates. However, personal data is sensitive as its use enables id
【EOL間近】Amazon RDS for MySQL 5.7の標準サポート終了とバージョンアップ前の影響確認について - ForgeVision Engineer Blog
こんにちは。フォージビジョンの藤川と申します。 2023年9月初めに、AWSよりAmazon RDS for MySQL 5.7の標準サポート終了に関する内容と延長サポートに関する内容の通知がありました。以下は、2023/9/13時点のAWS公式サイトの情報です。 メール本文にも記載がありましたが、各々の情報は以下のAWS公式サイトに記載があります。 Amazon RDS for MySQL 5.7の標準サポート終了 2023/9/13時点では、表示言語を英語にすることで、標準サポート終了日の最新の情報や延長サポートの内容を確認することができました。 docs.aws.amazon.com Amazon AuroraとAmazon RDSがMySQLとPostgreSQLデータベースの延長サポートを発表 aws.amazon.com データベースのメジャーバージョンのアップデートについては
【完全版】文字数制限のないChatGPTを実装するためのアルゴリズムまとめ【Python / LangChain / RAG】
はじめまして、ますみです！ 株式会社Galirage（ガリレージ）という「生成AIのシステム開発会社」で、代表をしております^^ この記事では、「文字数制限のないChatGPTを実装するためのアルゴリズム」を解説します！ ChatGPTやLangChainやについてまだ詳しくない方は、こちらを先にご覧ください◎ 1. 背景 まず背景として、ChatGPTのウェブサービスでは、長文の文章を送信すると、エラーになってしまいます。 たとえば、次のように「次の文章を要約してください」という指示のもと、長文を入力すると、エラーになります。 現在（2023年5月）、GPT-3.5が扱えるテキストの長さは、最大4097トークンで、日本語1文字が2トークンと仮定した場合、約8000文字が限界の文字数になります。 GPT-4では、約2倍と約8倍のトークン数に対応したバージョンがありますが、いずれにせよ上限は
[crypto] Simple Substitution Cipher [crypto] Substitution Cipher [crypto] Administrator Hash（NTLM hash） [crypto] Administrator Password [crypto] Hash Extension Attack [forensics] The Place of The First Secret Meeting [forensics] The Deleted Confidential File [forensics] They Cannot Be Too Careful. [forensics] The Taken Out Secrets [forensics] Their Perpetration [NW] Transfer [NW] Analysis [NW] Enu
Type Inference Was a Mistake
Type inference is bad. It makes code harder to read, and languages that use it too much are harder to write. It’s a false economy whereby you save unobservable milliseconds of typing today and make everything else worse. Type Inference Makes Code Less Readable If you have an IDE with a working LSP, you can hover over variables to see their types. In VSCode with rust-analyzer I can see the type ann
VectorDB
Description VectorDB is a lightweight Python package for storing and retrieving text using chunking, embedding, and vector search techniques. It provides an easy-to-use interface for saving, searching, and managing textual data with associated metadata and is designed for use cases where low latency is essential. Documentation and code VectorDB is open-source. Check VectorDB on GitHub for code and
X（旧Twitter）離脱を考えるなら知っておきたい Metaの新SNS「Threads」でエンゲージメントを高める方法
X（旧Twitter）離脱を考えるなら知っておきたい Metaの新SNS「Threads」でエンゲージメントを高める方法：Social Media Today Threadsの利用率が上昇すれば、イーロンリスクで先行き不透明なXからの乗り換えも現実味を帯びてくる。Threadsのエンゲージメントを促進する要因としてMetaが強調するポイントとは何か。 Threadsの利用率が上昇し、X（旧Twitter）の利用を再考するブランドが増える中、多くの企業が今考えている重要な疑問は、Threadsで何ができるのか、最適なエンゲージメントを得るためにThreadsでのプレゼンスを最大化するにはどうすればいいのかということだ。 Threadsのバックエンドの多くはまだ開発中であり、Metaは需要の増加に対応するためにプラットフォームの拡張に取り組んでいるが、この初期段階で注目すべき点がいくつかある。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンジニア向け海外の情報収集サイトまとめ - Qiita
20億円を原資に、Algomaticを創業しました｜大野峻典 | Algomatic CEO
A Distributed Systems Reading List
The AWK Programming Language, Second Edition
Grapheme Clusters and Terminal Emulators
Python has too many package managers
How to Improve Rails Caching with Brotli Compression
Googleに“まともな”AI検索は作れない | p2ptk[.]org
Sakana AI
NeRFの仕組みを1からわかりやすくまとめたい - kentaPtの日記
Mastering Customer Segmentation with LLM
Terraform version 1.5の新機能達を使ってみた | DevelopersIO
Julia & Mojo Mandelbrot Benchmark
rate limiter – smudge.ai blog
StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation
AIアルゴリズムのプロフェッショナルと協働するソフトウェア開発の魅力 - ACES エンジニアブログ
PythonのPackage Managerを深く知るためのリンク集
【手順】RDSのSSL/TLS証明書の更新（2024年8月22日まで） - eyeon -アイオン-
I made a transformer by hand (no training!)
ZX Spectrum Raytracer - Gabriel Gambetta
Flash-Decoding for long-context inference
はじめに｜【実践】エンジニアの基礎教養-アルゴリズムを学べる本
防衛省サイバーコンテスト2023 Writeups - はまやんはまやんはまやん