0. 本記事について免責と想定読者本投稿は、浅見個人の意見や信念を多く含む"ポエム"です。必ずしも所属組織を代表する意見ではありません。 また、本記事の想定読者は、データ分析（データ活用）を担当する課に配属された行政職員です。特に専門職採用というわけでもなく、データ分析・モデリングの特別な教育を受けていない読者を想定しています。 あくまで行政職員をイメージしているため、民間企業では適切ではない事例も多いかと思います。ご了承ください。 データ活用の主語についても、あくまで「行政職員」を想定しています。「国民」を主語にしたデータ活用の課題（例えば、神Excel問題や煩雑な紙申請問題など）は本記事ではスコープ外としています。 なお、本記事では「政策」「施策」「事業」について、特に区別を設けず「政策」という言葉で統一しています。 要約1. 最初の一歩 まずメトリクスを定義して、監視する習慣をつけま
Version 1.88 is now available! Read about the new features and fixes from March. July 2022 (version 1.70) Update 1.70.1: The update addresses these issues. Update 1.70.2: The update addresses these issues. Update 1.70.3: This update is only available for Windows 7 users and is the last release supporting Windows 7. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarba
前回、App Routerの遷移の仕組みと実装についてまとめました。 今回はこれの続編として、App RouterのClient-side Cacheの仕様や実装についてまとめようと思います。まだドキュメントに記載のない仕様についても言及しているので、参考になる部分があれば幸いです。 App Routerのcache分類 App Routerは積極的にcacheを取り入れており、cacheは用途や段階に応じていくつかに分類することができます。まずはそのcacheの分類を確認してみましょう。 Request Deduping Request Dedupingはレンダリングツリー内で同一データのGETリクエストを行う際に、自動でまとめてくれる機能です。 nextjs.org/docsより デフォルトでサポートしているのはfetchのみですが、Reactが提供するcacheを利用することでDBア
Write OpenAPI with TypeSpec
I've spent the last few years at Microsoft working on an API definition language called TypeSpec. It's essentially a super flexible protocol-agnostic DSL for describing API shapes. You can try it in your browser at the TypeSpec playground. Many things about it are exciting, but I want to talk about one thing in particular: why TypeSpec is the best way to write OpenAPI. OpenAPI: the good and the no
Abstract We present an algorithm for reconstructing dense, geometrically consistent depth for all pixels in a monocular video. We leverage a conventional structure-from-motion reconstruction to establish geometric constraints on pixels in the video. Unlike the ad-hoc priors in classical reconstruction, we use a learning-based prior, i.e., a convolutional neural network trained for single-image dep
Modern applications at AWSAugust 28, 2019 • 2269 words Innovation has always been part of the Amazon DNA, but about 20 years ago, we went through a radical transformation with the goal of making our iterative process—"invent, launch, reinvent, relaunch, start over, rinse, repeat, again and again"—even faster. The changes we made affected both how we built applications and how we organized our comp
Kaggle Advent Calenderの14日目の記事です。13日目はあらいさんの記事「CompetitionだけではないKaggleの魅力」でKaggleのCompetition以外の部分を非常にわかりやすくまとめてくださっています。15日目はちずちずくんの記事「機械学習実験環境を晒す」で、こちらもとても勉強になりましたのでぜひご覧ください。 私の記事では2020年にKaggleで開催された画像分類コンペの1位の手法を振り返っていきたいと思います。コンペ終了後に金メダルだったチームが共有してくれる解法はどれも勉強になりますが、1位のチームはその中でも特に磨きがかかっているものが多いと思います。この記事ではコンペの概要や難しかったところをまとめつつ、金メダルの中でも特に差を分けて1位になったところを私なりに分析できればと思っています。 ホントは画像を含むすべてのコンペを紹介したかった
Under Deconstruction: The State of Shopify’s Monolith
Opens in a new windowOpens an external siteOpens an external site in a new window Ruby on Rails is a great framework for rapidly building beautiful web applications that users and developers love. But if an application is successful, there’s usually continued investment, resulting in additional features and increased overall system complexity. Shopify’s core monolith has over 2.8 million lines of
The Art of Logging
Photo by Viktor Talashuk on UnsplashHistorically, logs have been essential for troubleshooting application and infrastructure performance. Nowadays, it is used for business dashboards visualization and performance analysis. The importance of structuring the data in those log files so it can be extracted, manipulated, and analyzed efficiently, in addition to being understandable by humans, is quick
FaunaDBを使ってServerlessでGraphQLクライアントアプリを作る | DevelopersIO
プロトタイピングなどで、それなりに動作するGraphQL Serverをサクッと作るには良さそうと思ったので、FaunaDBというServerlessなデータベースサービスを紹介します。 FaunaDBについて FaunaDBは、データベースとしてはガチなやつで、Spannerなどと同じくACID特性を持ちつつスケーラビリティも備えた分散データベースに属するものです。そのアーキテクチャは2012年に発表されたCalvinの論文からインスパイアされているということです。ちなみにSpannerの論文がGoogleから発表されたのもまた2012年のことでした。この辺の歴史や両者の違いについては以下のブログ記事が詳しいです。 Spanner vs. Calvin: Distributed Consistency at Scale さて、そんなFaunaDBの凄さについては置いておいて、FaunaD
常人には見当も付かない方法でよい子たちの個人情報を仕入れ、各国の領空を侵犯し、家宅へ侵入してプレゼントを配る存在「サンタクロース」が現代の法規制へどのように対処しなければいけないのかについて、ソフトウェア技術者のためのQ＆Aサイト「Stack Exchange」上で議論が交わされました。 internal consistency - How can Santa keep his lists when the GDPR is around? - Worldbuilding Stack Exchange https://worldbuilding.stackexchange.com/questions/114033/how-can-santa-keep-his-lists-when-the-gdpr-is-around とあるユーザーによってStack Exchangeに投稿された議題が、「サ
Patterns for Building LLM-based Systems & Products [ llm engineering production 🔥 ] · 66 min read Discussions on HackerNews, Twitter, and LinkedIn “There is a large class of problems that are easy to imagine and build demos for, but extremely hard to make products out of. For example, self-driving: It’s easy to demo a car self-driving around a block, but making it into a product takes a decade.”
Silfeldrem 100mg buy safely - Where to Buy Sildenafil Citrate Safely - Best Answer Recommender CQA System
Silfeldrem 100mg buy safely - Where to Buy Sildenafil Citrate Safely Generic Silfeldrem Mexico, Silfeldrem One Buy No Prescription Best Deal for Silfeldrem available online! BUY SILFELDREM ONLINE! - CLICK HERE! It is recorded being used as early back as the ancient Mayan civilization to prepare for lovemaking. One last thing worth mentioning is that you should remember to eat healthy and take care
terraform plan -light
TL;DR Add a terraform plan -light flag such that only resources modified in code are targeted for planning. This would reduce the scope of the pre-plan refresh down to the set of resources we know changed, which reduces overall plan times without the consistency risk of -refresh=false. For Terraform to know what resources were modified in code, it would store the hash of the serialized sorted attr
AWS previews Mountpoint, a specialized open source Rust client to mount S3 storage into the file system • DEVCLASS
Interview AWS has introduced Mountpoint, an open source client for Linux that connects to S3 (Simple Storage Service) using file APIs, enabling applications to traverse S3 files as if they are in the file system. It is a specialized client aimed at data analytics, and not designed for general-purpose use. According to advance information from AWS, “with Mountpoint, file operations map to GET and P
The Rust team is happy to announce a new version of Rust, 1.58.0. Rust is a programming language empowering everyone to build reliable and efficient software. If you have a previous version of Rust installed via rustup, getting Rust 1.58.0 is as easy as: $ rustup update stable If you don't have it already, you can get rustup from the appropriate page on our website, and check out the detailed rele
英語のビジネスメールを送る前のチェックは大切です。送られてしまったメールは取り消すことはできません。ビジネスメールを送る前に慎重にチェックをしましょう。特に英語のメールだと、より慎重さが必要となります。ここでは、英語のビジネスメールを送る前のチェックリストをご紹介します。 フォーマットのチェック 構成と内容のチェック 文法･語法のチェック その他のチェック フォーマットのチェック 英文を書く時のフォーマットで書かれているか？ 英語のビジネスメールのフォーマットで書かれているか？ 宛先 (Eメールアドレス) は正確か？ TO,CC,BCCは適正に設定されているか？ 件名はわかりやすく適切に書かれているか？ 頭語 (宛名) は適正に書かれているか？ 結語は適切に書かれているか？ 署名は適切に書かれているか？ 構成と内容のチェック １メール１テーマの原則は守られているか？」(one letter
しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 インフラLinux勉強会SQLiteNFS こんにちは、羽山です。 今回は社内で実施した勉強会をほぼそのままブログ記事にしています。 ITエンジニアたるものドキュメントを残したり勉強会を実施したり分かりやすい設計にリファクタリングしたりなど、日々 知見の伝達 を意識していると思います。主要な知見はたいていそれらの方法で満たせるのですが、しかし残念ながら中には画一的な方法では伝えにくいものもあったりします。 ところで伝統芸能や工芸の世界では技術の継承において 背中を見て学ぶ という方法が用いられることがあるようです。 これと似た手法はITエンジニアの世界にもあって、先輩エンジニアとペアプログラミングをすることで文書では伝わりにくい技術や考え方・テクニックを学ぶ
![しくじり先生のように学ぶ「NFS+sqliteで苦労した話から学ぶ、問題解決の考え方」という勉強会をやってみました | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9477296f61e752f8b6816cb517cdb9166a028f2c/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F10%2Fscience_hakase_shippai_s.png)
Golden paths for engineering execution consistency | Google Cloud Blog
Light the way ahead: Platform Engineering, Golden Paths, and the power of self-service Imagine that you're a Java developer who has just joined a new company, and you're tasked with creating a small Java service. In a DevOps model, the shared responsibility between Development and Operations teams might mean that you'll not only be expected to write Java code, but also operations code like build p
[レポート]Amazon Aurora Multi-Master:書き込み性能のスケールアウト #DAT404 #reinvent | DevelopersIO
はじめに こんにちは、崔です。 セッションDAT404-R：Amazon Aurora Multi-Master:Scaling out database write performanceに参加しましたので、そのレポートをお届けします。 セッション概要 In this session, learn how the Multi-Master capability of Amazon Aurora MySQL enables applications to scale out write performance and achieve continuous read/write availability. Engineering experts dive into the design concepts of Aurora Multi-Master and provide real-worl
![[レポート]Amazon Aurora Multi-Master:書き込み性能のスケールアウト #DAT404 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
Implementing Raft: Part 0 - Introduction - Eli Bendersky's website
This is the first post in a multi-part series describing the Raft distributed consensus algorithm and its complete implementation in Go. Here is a complete list: Part 0: Introduction (this post) Part 1: Elections Part 2: Commands and log replication Part 3: Persistence and optimizations Raft is a relatively new algorithm (2014), but it's already being used quite a bit in industry. The best known e
シンプルな6つの影響力の武器 - コンクラーベ
私、「影響力の武器」という心理学にもとずくアプローチ方法の分厚い本を読んでいます!! 社会で騙されたり丸め込まれたりしないために、私たちはどう身を守れば良いのか? ずるい相手が仕掛けてくる“弱味を突く戦略"の神髄をユーモラスに描いた、世界でロングセラーを続ける社会心理学の名著。 著者のロバート・ｂ・チャルディーニ氏はアメリカの社会心理学者です。 米国を代表する社会心理学者の一人であり、社会的影響過程、援助行動、社会的規範などに関する数多くの業績で学界をリードしてきた。ウィスコンシン大学、ノースカロライナ大学、コロンビア大学で心理学を学んだ。 影響力の武器[第三版]: なぜ、人は動かされるのか 作者: ロバート・B・チャルディーニ,社会行動研究会 出版社/メーカー: 誠信書房 発売日: 2014/07/10 メディア: 単行本 この商品を含むブログ (10件) を見る こんにちは、Green
The Next 50 Years of Databases // Blog // Andy Pavlo - Carnegie Mellon University
Admin: Tracy Farbacher Office: GHC 9019 Office Hours: Wed @ 1:00-1:45pm Email: pavlo@cs.cmu.edu Twitter: @andy_pavlo Mastodon: @andy_pavlo GitHub: apavlo So I ended up doing what I promised myself I would not do. And that is be a professor who has a blog that they never update. I know that it's been a year since my last post and that I still need to write part 3 in my series on the open research p
Let's talk about />: <input type="text" /> <br /> <img src="…" />You'll see this syntax on my blog because it's what Prettier does, and I really like Prettier. However, I don't think /> is a good thing. First up: The facts Enter XHTML Back in the late 90s and early 2000s, the W3C had a real thing for XML, and thought that it should replace HTML syntax. There were good reasons for this. At the time
Questionable Advice: “My boss says we don’t need any engineering managers. Is he right?”
I recently joined a startup to run an engineering org of about 40 engineers. My title is VP Engineering. However, I have been having lots of ongoing conflict with the CEO (a former engineer) around whether or not I am allowed to have or hire any dedicated engineering managers. Right now, the engineers are clustered into small teams of 3-4, each of which has a lead engineer — someone who leads the
Today we’re announcing our beta release of TypeScript 4.8! To get started using the beta, you can get it through NuGet, or- use npm with the following command: npm install -D typescript@beta You can also get editor support by Downloading for Visual Studio 2022/2019 Following directions for Visual Studio Code. Here’s a quick list of what’s new in TypeScript 4.8! Improved Intersection Reduction, Uni
Let's make a contract: the art of designing a Java API
Let's make a contract: the art of designing a Java API 1. Let's make a contract: the art of designing a Java API by Mario Fusco mario.fusco@gmail.com @mariofusco 2. What is an API? 3. What is an API? 4. An API is what a developer uses to achieve some task What is an API? 5. What is an API? An API is a contract between its implementors and its users 6. And why should I care? We are all API designer
VideoGigaGAN
Our Video Super-Resolution (VSR) model is built upon the asymmetric U-Net architecture of the image GigaGAN upsampler. To enforce temporal consistency, we first inflate the image upsampler into a video upsampler by adding temporal attention layers into the decoder blocks. We also enhance consistency by incorporating the features from the flow-guided propagation module. To suppress aliasing artifac
Node.js — Node v14.5.0 (Current)
Notable Changes V8 engine is updated to version 8.3 This version includes performance improvements and now allows WebAssembly modules to request memories up to 4GB in size. For more information, have a look at the official V8 blog post. Contributed by Matheus Marchini and Michaël Zasso - #33376. Initial experimental implementation of EventTarget This version introduces an new experimental API Even
Turning it up to 11: the first Developer Preview of Android 11
Turning it up to 11: the first Developer Preview of Android 11 Posted by Dave Burke, VP of Engineering Android has led the way towards the future of mobile, with new technologies like 5G to foldable displays to machine learning built into the core. A hallmark of our approach is a strong developer community that provides early and thoughtful feedback, helping us deliver a robust platform for apps a
AWS Single Sign-On (AWS SSO) adds support for AWS Identity and Access Management (IAM) customer managed policies (CMPs)
AWS Single Sign-On (AWS SSO) now supports AWS Identity and Access Management (IAM) customer managed policies (CMPs) and permission boundary policies within AWS SSO permission sets. The new capability helps AWS SSO customers to improve their security posture by creating larger and finer-grained policies for least privilege access and by tailoring policies to reference the resources of the account t
Quick look at Rosetta on LinuxJune 7, 2022June 8, 20226 Comments Yesterday, Apple did release RosettaLinux as part of the macOS Ventura preview. Let’s take a first quick look… Location RosettaLinux is located at /Library/Apple/usr/libexec/oah/RosettaLinux. A rosetta ELF executable is present on that directory. Does it do AoT? No. Rosetta on Linux exclusively operates in JIT mode, at least for the
Date: July 11, 2021 | Estimated Reading Time: 32 min | Author: Lilian Weng [Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)]. [Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen. [Updated on 2022-08-31: Added latent diffusion model. [Updated on 2024-04-13: Added prog
We are happy to announce the open source release of Waltz. Waltz is a distributed write-ahead log. It was initially designed to be the ledger of money transactions on the WePay system and was generalized for broader use cases of distributed systems that require serializable consistency. Waltz is similar to existing log systems like Kafka in that it accepts/persists/propagates transaction data prod
A surprisingly hard, and widely misunderstood, problem with SSL certificates is figuring out what organization (called a certificate authority, or CA) issued a certificate. This information is useful for several reasons: You've discovered an unauthorized certificate for your domain via Certificate Transparency logs and need to contact the certificate authority to get the certificate revoked. You'v
In general, if you want a key-value storage with the highest performance, choosing the file hash database is recommended. If you need ordered access of records, choosing the file tree database is recommended. If you need scalability of ordered databases, choosing the file skip database is recommended. If you need extreme performance, the on-memory hash database and the on-memory tree database are
There are many different ways to build with LLMs, including training models from scratch, fine-tuning open-source models, or using hosted APIs. The stack we’re showing here is based on in-context learning, which is the design pattern we’ve seen the majority of developers start with (and is only possible now with foundation models). The next section gives a brief explanation of this pattern; experi
概要 背景・目的 本研究の貢献 実験 評価関数とは何か LLMベースの評価関数の区別 データのアノテーション 実験の設定 実験の結果 考察 GPT-4が勝手に任意の観点を盛り込んで、意図通りの評価をしていない とは？ データセット作成における他手法との大きな差分 まとめ 貢献 今後の展開 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 DROBEの岸本がJSAIのヒューマン・イン・ザ・ループAIのOSで発表した 「ファッションコーディネートの説明文生成における人間の評価と相関する評価関数の探索」という萌芽的な研究について内容を共有します。 概要 このブログでは、ファッションコーディネートの説明文生成における人間の評価と相関する評価関数の探索についてJSAI2024での発表内容のサマリを説明しています。 DROBEのサービスにおいて、AIを用いてコーディネート説明文を自動
KLab株式会社（本社：東京都港区、代表取締役社長：森田英克、以下「KLab」）と九州大学 情報基盤研究開発センター 附属汎オミクス計測・計算科学センター（所在地：福岡県春日市、センター長：小野謙二、以下「九州大学」） は、機械学習を用いたリズムアクションゲームの譜面制作支援システムについて共同研究を開始いたします。 本共同研究は、KLabがすでに独自に研究開発を開始している譜面制作支援システムについて、譜面生成に用いる機械学習アルゴリズムをさらに高度化することを目的としたものです。 共同研究を通して、学生がゲーム業界のリアルな機械学習に触れられる機会を提供するとともに、機械学習における最新の学術的成果をゲーム業界に普及させることなどを目指します。 共同研究の背景 近年、ゲーム業界では機械学習の活用がさかんになっています。KLabではこれまでにも、モバイルオンラインゲームの開発・運営におい
Aurora MySQLからCloud SQLへのレプリケーション構築における注意すべき2つのポイント - ZOZO TECH BLOG
こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQueryのFederated Query機能を利用してリアルタイムにデータを参照できるようにしています。 本記事ではその中の、Aurora MySQLからCloud SQLへのレプリケーション部分にフォーカスします。Aurora MySQLがマネージドサービスだからこそ発生する大きな注意ポ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
行政職員のためのデータ活用一歩前｜METI-DX 経済産業省DXオフィス
Visual Studio Code July 2022
Next.js App Router 知られざるClient-side Cacheの仕様
Consistent Video Depth Estimation
Modern applications at AWS
【Kaggle】2020年に開催された画像分類コンペの1位の解法を紹介します - Qiita
サンタクロースはEUの一般データ保護規則(GDPR)を守れているのか？
Patterns for Building LLM-based Systems & Products
Announcing Rust 1.58.0 | Rust Blog
英語ビジネスメールの書き方 ＜送信前のチェックリスト＞ - Pioneer of the Star
The case against self-closing tags in HTML
Announcing TypeScript 4.8 Beta - TypeScript
Quick look at Rosetta on Linux – random blog
What are Diffusion Models?
Waltz: A Distributed Write-Ahead Log
The SSL Certificate Issuer Field is a Lie
Tkrzw: a set of implementations of DBM
Emerging Architectures for LLM Applications | Andreessen Horowitz
人間とアラインする要約評価関数の探索 - JSAI 2024発表内容解説 - DROBEプロダクト開発ブログ
KLab × 九州大学 機械学習を用いたリズムアクションゲームの譜面制作支援システムの高度化に向けた共同研究を開始