Goで書いたツールの依存管理をdepからGo Modulesに移行した - $shibayu36->blog;
昔作った notify-issues-to-slackの依存モジュールはdepのままで管理していたが、勉強がてらGo Modulesに移行することにした。 参考にした資料 Go 1.13 に向けて知っておきたい Go Modules とそれを取り巻くエコシステム - blog.syfm Go Modulesについてざっくり知ることができてよかった Modules · golang/go Wiki · GitHub ざっくり知った上でちゃんと理解するために公式ドキュメントを読む depからgo modulesへの移行と、移行時にTravis CI & GoReleaserでハマる（かもしれない）ポイント · horizoon 移行手順で参考にした Goモジュールでツールもバージョン管理する - Plan 9とGo言語のブログ ツールも含めてgo.modに入れていく手順で参考にした やったこと
Abstract: In recent years, academic research and investigative reports have brought to light several cases of computational propaganda (i.e. orchestrated attempts to manipulate public opinion or the outcome of elections via social media), as well as proof that filter algorithms amplify right-wing conservative content on Japanese social media. Piecing together the scattered pieces of a puzzle, this
RAdam: Adam の学習係数の分散を考えたOptimizerの論文紹介 - nykergoto’s blog
表題の通り噂の最適化手法 RAdam の論文 On the Variance of the Adaptive Learning Rate and Beyond を読んだので, そのまとめです!! 概要 一言でいうと「今までヒューリスティックに行っていた Adam 学習開始時の LR 調整を自動化できるような枠組みをつくったよ」ということになると思います. 考える問題 この論文で, 考えていくのは機械学習のように多数のデータから成る目的関数を最小化するような問題です. 特にニューラルネットワークの学習では勾配法, 特に SGD (確率的勾配降下法) と呼ばれる方法を用いることが一般的です. SGD には様々な adaptive バリエーションがあります.この adaptive とは問題の特性を生かして, SGD を早くするような工夫を指しています. 一般的な形式 一般的な adaptive
Googleが提供する「Google Scholar」は、インターネット上に存在する学術論文を簡単に見つけることができる論文検索エンジンです。しかし、Google Scholarで使われている検索アルゴリズムの影響で、Google Scholarでは英語以外の論文を検索することが難しくなっている可能性が指摘されています。 Future Internet | Free Full-Text | Language Bias in the Google Scholar Ranking Algorithm https://www.mdpi.com/1999-5903/13/2/31 Google Scholar renders documents not in English invisible https://techxplore.com/news/2021-02-google-scholar-d
Today we are extremely happy to finally announce Docusaurus 2.0! 🥳️ At Meta Open Source, we believe Docusaurus will help you build the best documentation websites with minimal effort, letting you focus on what really matters: writing the content. After 4 years of work, 75 alphas and 22 betas, the next generation of Docusaurus is ready for prime time. From now on, we now plan to respect Semantic V
Published on 2021-04-14. Modified on 2023-02-16. The name SQLite is a nice name, but the "lite" part is misleading, it sounds like it is only useful for tiny things - which is very wrong. SQLite should be named AwesomeSQL, because that is what it is. SQLite is probably the only database you will ever need in most cases. SQLite is a relational database management system contained in a C library. It
はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主に広告のClick Through Rate (CTR)予測やReal-Time-Bidding (RTB)の入札最適化を担当しています. 今回はマイクロアドでのCTR予測における確率補正について紹介したいと思います. はじめに CTR予測とは 問題1 学習データが不均衡 問題2 機械学習モデルの出力を確率として扱うのは不適切な場合がある 問題3 学習データの信頼度が高くない CTR予測における確率補正 アンダーサンプリングによって生じたバイアスの除去 Isotonic Regressionによる確率補正 確率補正の効果検証 終わりに CTR予測とは RTBでは下図のように, 広告主とメディア間でリアルタイムにオークションが開催され, オークションに勝利した広告がメディアに表示されます. マイクロアドでは現在オ
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
はじめに 「巡回セールスマン問題 遺伝的アルゴリズム」でググるとたくさんヒットすることを自分でもやってみました。 理論編 Python コード編 実行結果編 概要 巡回セールスマン問題(Traveling Salesman Problem) 巡回セールスマン問題 とは、$N$ 個の点すべてを 1 回ずつ通って元の点に戻る最短の経路を探索する問題です。 $N$ 点を全て通って戻ってくる経路の総数は $(N-1)!/2$ 通りあります。 3 点であれば 1 通りです。 4 点であれば 3 通りです。 5 点であれば 12 通りです。 点が増えると経路の総数は爆発的に増えていきます。 その中から最短の経路を見つけようとすると膨大な時間がかかります。 しかし、条件付きであれば実用的な時間内で経路を見つけられます。 例えば、点が凸多角形の頂点にあると分かっていれば、最短経路はその凸多角形です。 また
サイバー攻撃の脅威が広まる中、Webシステム管理者はパスワードの保存方法をいま一度確認する必要がありそうだ。特に注意すべきなのは、最新のWebアプリケーションフレームワークを使わずに開発した、古いWebシステム。パスワードが漏洩した際に簡単に解読されてしまう可能性があるので注意が必要だ。 2023年8月15日、作品投稿サイト「pictBLand」やオンライン即売会サービス「pictSQUARE」を運営するGMWが不正アクセスを受けたと発表した。pictBLandは作品情報のデータが改ざんされ、pictSQUAREでは会員情報が窃取されていると判明。ユーザーアカウント情報が約80万件流出し、メールアドレスは約61万件、電話番号は約67万件、配送先住所は約22万件、銀行口座情報は883件、X（旧Twitter）のIDは約24万件が流出したという。GMWはユーザーに対して、IDやパスワードを使い
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
GitHub - MubertAI/Mubert-Text-to-Music: A simple notebook demonstrating prompt-based music generation via Mubert API
A demo of instant prompt-based music video generation based on Deforum Stable Diffusion colab All music is generated by Mubert API – www.mubert.com/. If you want to use it for free – please, tag us on Twitter (https://twitter.com/mubertapp) and include hashtag #mubert. We’re glad to present you our new Text-to-Music demo interface. Now as a Google Colab, and soon we’ll add this feature as a simple
関連キーワード 認証 | セキュリティリスク | セキュリティ対策 企業のセキュリティ部門は、新型コロナウイルス感染症（COVID-19）のパンデミック（世界的大流行）に適応するネットワークセキュリティの確保を迫られている。企業は従業員のテレワークを可能にするために、さまざまなリモートアクセス機能を導入し、その安全な使い方を従業員に教育してきた。 そうした取り組みにおいて中心的な役割を果たしているのが、リモートアクセスとリモート管理の事実上の標準技術である「SSH」（Secure Shell）だ。SSHは1995年にタトゥ・ウルネン氏が開発した通信プロトコルで、通信の暗号化によってリモートアクセスの安全を確保する。SSHにより、セキュリティで保護されていないネットワーク経由でも安全に別のコンピュータにログインできるようになる。従業員やシステム管理者は、ネットワークインフラの管理やコマンドの
A Guide to the Go Garbage Collector - The Go Programming Language
Introduction This guide is intended to aid advanced Go users in better understanding their application costs by providing insights into the Go garbage collector. It also provides guidance on how Go users may use these insights to improve their applications' resource utilization. It does not assume any knowledge of garbage collection, but does assume familiarity with the Go programming language. Th
What are SSH and SFTP? SSH is a secure remote shell protocol used for operating network services securely over an unsecured network. The default SSH port is 22, it’s common to see it open on servers on Internet or Intranets. SFTP is the SSH File Transfer Protocol, a protocol used to transfer files over an SSH connection. Most SSH implementations are also supporting SFTP. SSH servers/libs The most
AWS CLIを利用し、Amazon S3バケットのpre-signed urlsを取得してみました | DevelopersIO
こんにちは、イムチェジョンです。 今回のブログではS3バケットのオブジェクトを開くためにAWS CLIを利用してpre-signed urlsを取得してみました。 アジェンダ pre-signed urlsとは？ pre-signed urlsの取得方法 まとめ 1. pre-signed urlsとは？ すべてのオブジェクト及びバケットは基本的にプライベートだが、pre-signed urlsを使用して選択的にオブジェクトを共有できる 顧客/ユーザーがAWSセキュリティ資格証明や権限なしに、バケットにオブジェクトをアップロードすることを許容できる pre-signed urlsの構成 pre-signed urlsは下のように構成されてます。 https://s3.amazonaws.com/examplebucket/test.txt? X-Amz-Algorithm=AWS4-HMA
Sorting colors in JavaScript
Sorting colors in JavaScriptJune 22, 2021How to sort colors in JavaScript? Let me tell you a story first. In the project I'm working on right now we used to have 134 colors in use! WTF?! you say. Once I discovered that I thought I'm going to show that to my colleagues, and we will address the problem. Unfortunately, I'm a very visual person (so to say) and I couldn't stand the very random order of
New to the world of web performance? Welcome! Here's everything you need to know to master website monitoring, analytics, and diagnostics. Learn how to deliver a fast, joyous experience to all your users. Business Success Making your pages faster isn't just for the web performance geeks in your organization. Site speed affects every business metric you care about – from bounce rate to conversions
機械学習のライブラリは抽象化されていますが、どのように動いているいるのか、アルゴリズムは絶対理解しておいた方がいいいです。逆に機械学習を学ぶということは、アルゴリズムの理解が大部分を占めます。 k-近傍法（k-nearest neighbor algorithm）は、分類や回帰のためのシンプルな機械学習アルゴリズムです。 k-近傍法は、新しいデータが与えられたときに、そのデータが近いとされる、学習用のデータセット中の個々のサンプルとの距離を計算します。その後、これらのサンプルからk個の最も近いサンプル（k-nearest neighbors）を選択します。これらk個のサンプルから、新しいサンプルが最も多く分類されるクラスを予測します。 例えば、新しいサンプルが緑の点としてプロットされているとします。k=3の場合、この新しいサンプルに最も近い2つのサンプル（緑の点）を選択します。この3つのサ
Automating the end-to-end lifecycle of Machine Learning applications Machine Learning applications are becoming popular in our industry, however the process for developing, deploying, and continuously improving them is more complex compared to more traditional software, such as a web service or a mobile application. They are subject to change in three axis: the code itself, the model, and the data
推薦システムを独学で勉強していた非情報系の博士学生が長期インターンをしてよかったことと苦戦したこと - Uzabase for Engineers
皆さんこんにちは! 株式会社ユーザベース NewsPicksで機械学習エンジニアとして長期インターンをしている森田です:) 現在はData/Algorithm チームで、NewsPicksの推薦システム・データ基盤まわりの開発に取り組んでいます。 本記事は、私が2022年8月から同組織に入社して現在までの約1年間の長期インターン活動を経て、参加して良かったことと苦戦したことをまとめたものです。特に企業での長期インターンに興味がある方に向けて、本記事の内容を共有できればと想定しています。 はじめに タイトルの通り、私は非情報系なのに推薦システムを独学で勉強していた博士学生です（実は本記事の執筆期間中に博士学生ではなくなりました…!）。ちょうど博士課程への入学時期に偶然Kaggleをきっかけに推薦システムという分野と出会い、興味を持って論文読んで実装してブログに上げて...みたいな活動を趣味で
GitHub - dropbox/fast_rsync: An optimized implementation of librsync in pure Rust.
This crate offers three major APIs: Signature::calculate, which takes a block of data and returns a "signature" of that data which is much smaller than the original data. diff, which takes a signature for some block A, and a block of data B, and returns a delta between block A and block B. If A and B are "similar", then the delta is usually much smaller than block B. apply, which takes a block A a
Text Classification: All Tips and Tricks from 5 Kaggle Competitions
In this article, I will discuss some great tips and tricks to improve the performance of your text classification model. These tricks are obtained from solutions of some of Kaggle’s top NLP competitions. Namely, I’ve gone through: Jigsaw Unintended Bias in Toxicity Classification – $65,000 Toxic Comment Classification Challenge – $35,000 Quora Insincere Questions Classification – $25,000 Google QU
The Algorithms
What is an Algorithm?An algorithm is a set of rules that takes in one or more inputs, then performs inner calculations and data manipulations and returns an output or a set of outputs. In short, algorithms make life easy. From complex data manipulations and hashes, to simple arithmetic, algorithms follow a set of steps to produce a useful result. One example of an algorithm would be a simple funct
SRv6について2021年までに取集した情報を整理して入門書を作りました。 とりあえずSRv6に触れたい方向けの内容になっています。 1. SRv6 概要 1.1. SRv6 とは 1.1.1. セグメントルーティング 1.1.2. IPv6 1.2. どういうところで使われているのか？ 1.3. 今どういう状況？ 2. SRv6 詳細 2.1. SRv6の仕組み 2.2. SRv6 Function 2.3. SRv6 Control Plane 2.4. Flex-Algo (Flexible Algorithm) 2.5. TI-LFA 2.6. SRv6 OAM (Operation, Administration, and Maintenance) 2.6. 今後のSRv6 3. SRv6を実際に使う 3.1. iproute2 【ハンズオンツール】 3.2. VPP 3.3.
Intro Pinterest でおなじみの Masonry Layout を CSS の標準にする作業と実装が進んでいる。 Masonry Layout 以下のように画像を敷き詰めるタイルレイアウトのことを Masonry (石工やレンガ造りの意味らしい) Layout という。 上の例の場合は、 Height が不揃いの画像を並べる上で、左から敷き詰め、折り返したら既にある画像の高さに合わせて二列目が始まるというロジックになる。 これを実現するには、割と複雑な CSS を書く必要があり、様々なサイトで CSS ライブラリや、 Grid などを用いて再現する方法が紹介されている。 これをそのまま CSS の標準にする作業が Layout API の文脈で行われており、既に一部が(主に Firefox で)実装されている。 grid: masonry; 仕様は以下だ。 CSS Grid L
CommunityOpen SourceBring your monorepo down to size with sparse-checkoutGit 2.25.0 includes a new experimental git sparse-checkout command that makes the existing feature easier to use, along with some important performance benefits for large repositories. This post was written by Derrick Stolee, a Git contributor since 2017 who focuses on performance. Some of his contributions include speeding u
ProductPresenting v7.0.0 of the npm CLIWe’re releasing v7.0.0 of the npm CLI, which includes exciting new features such as Workspaces, automatically installed peer deps, and more! It’s hard to believe that just over 11 years ago the JavaScript community didn’t have npm. Fast forward to today, and npm now has millions of developers and over 1.3M packages with 75B downloads a month. We first introdu
Python 3.11 からデフォルトの文字列ハッシュアルゴリズムが SipHash13 になります - methaneのブログ
Pythonの文字列やバイト列に対するハッシュアルゴリズムは、HashDoS対策としてPython 3.4から SipHash24が使われていました。 その後、ラウンド数を減らしたSipHash13でも十分に安全だとして2015年にRustが、2016年にRubyが、SipHash24からSipHash13への切り替えを行いました。 https://github.com/rust-lang/rust/issues/29754 https://bugs.ruby-lang.org/issues/13017 Python でもSipHash13に切り替えようという提案を2017年に行っていたのですが、実装した人がなかなかプルリクエストを作ってくれず、またPythonは文字列がimmutableでハッシュ値をキャッシュしているためにそこまで大きなインパクトがなかったこともあり、ずっと放置されてい
Disclaimer: There are lies, damn lies, and benchmarks from some random person on the internet. If you are considering taking some of the advice in this post please remember to test your specific workloads, which might have different bottlenecks. Also the implementation quality in your particular software stack for your particular hardware matters a lot. For this post I’ll be playing with a ~5 GiB
How are Unix pipes implemented?
This article is about how pipes are implemented the Unix kernel. I was a little disappointed that a recent article titled “How do Unix pipes work?” was not about the internals, and curious enough to go digging in some old sources to try to answer the question. What are we talking about? Pipes are “perhaps the single most striking invention in Unix” — a defining characteristic of the Unix philosoph
Top-level await enables developers to use the await keyword outside of async functions. It acts like a big async function causing other modules who import them to wait before they start evaluating their body. The old behavior #When async/await was first introduced, attempting to use an await outside of an async function resulted in a SyntaxError. Many developers utilized immediately-invoked async
GitHub - BLAKE3-team/BLAKE3: the official Rust and C implementations of the BLAKE3 cryptographic hash function
BLAKE3 is a cryptographic hash function that is: Much faster than MD5, SHA-1, SHA-2, SHA-3, and BLAKE2. Secure, unlike MD5 and SHA-1. And secure against length extension, unlike SHA-2. Highly parallelizable across any number of threads and SIMD lanes, because it's a Merkle tree on the inside. Capable of verified streaming and incremental updates, again because it's a Merkle tree. A PRF, MAC, KDF,
競技プログラミングでは頻繁に出てくる「ダブリング」という手法について説明しようと思います。 競プロをはじめて間もない人や、競プロ外の人に向けて書きたいと思います。 最初に予防線を張っておきますが、内容が正しいかどうかは保証しません。 繰り返し二乗法繰り返し二乗法という有名なアルゴリズムがあります。 例えば、3の100億(10^10)乗を計算せよと言われた時に、 1回1回計算していたのでは時間がいくらあっても足りません。 しかし繰り返し二乗法を使えば、log(100億)くらいの計算量で計算出来るようになります。 具体的にどういう仕組みかを説明するために より小さな場合として3の11乗を計算するとした時に、 3^11 = (3^8) x (3^2) x (3^1) と3^(2^k)の積に分解出来るならば、 11を1011と2進数で表した時の1の数分だけで計算が終わることになります。 （a^bは
GA(Genetic Algorithm)とは GA(遺伝的アルゴリズム)を知っていますか？理系の方だったらひょっとしたら知っているかもしれないですね。 その名の通り、生物が交配によって子孫を残す際の遺伝子の交叉・突然変異・淘汰といった仕組みをモデル化したアルゴリズムです。今は、脳の仕組みをモデル化したニューラルネットワーク（ディープラーニング）が全盛ですが、自分がまだ学生だった、今のニューラルネットワークブームが冬の時代には、このGAが熱狂的ブームになった時代があったのです。歴史は繰り返すというやつですね。 実は、自分も大学のときの研究にGAを少しだけ使ったことがあったりするので、想い出深いアルゴリズムです。C++でフルスクラッチで実装したこともあります。 GAの応用例 これだけだと、GAが何に使えるかイマイチ分からないかもしれません。GAを使えば、何かしら評価ができる問題であれば、試行
![GA（遺伝的アルゴリズム）の悲哀 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d82a4b6901228f71ca608c9a207b7a3d6f4599/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20230101%2F20230101235812.png)
GitHub - xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.
🔥 AnimeVideo-v3 model (动漫视频小模型). Please see [anime video models] and [comparisons] 🔥 RealESRGAN_x4plus_anime_6B for anime images (动漫插图模型). Please see [anime_model] 💥 Update online Replicate demo: Online Colab demo for Real-ESRGAN: | Online Colab demo for for Real-ESRGAN (anime videos): Portable Windows / Linux / MacOS executable files for Intel/AMD/Nvidia GPU. You can find more information here
tyty
1/21/2022 tyty TLDR; I'm making a Typescript type-checker in Rust. Right now it supports a smaller subset of the type-system and exists as a fun side-project, but the end goal is a compilation tool we can use to make Typescript compilation go brrrr... In the past I’ve written about Typescript’s biggest underlying problem: it’s slow compilation speeds. Amazing projects like esbuild, SWC, and bun so
Updated Mon Feb 5 10:22:02 EST 2024 Available in paperback and e-book formats. Order at Amazon and other fine booksellers. Introduction This page holds material related to the second edition of The AWK Programming Language. The first edition was written by Al Aho, Brian Kernighan and Peter Weinberger in 1988. Awk has evolved since then, there are multiple implementations, and of course the computi
GitHub - line/line-fido2-server: FIDO2(WebAuthn) server officially certified by FIDO Alliance and Relying Party examples.
FIDO (Fast IDentity Online) is an open standard for online authentication. It is designed to solve the password problems stemming from a lot of security problems as we are suffering today. Rather than relying on symmetric credentials (like passwords or PINs, typically which is a knowledge-based factor), FIDO is based on a public-key cryptography algorithm that is based on asymmetric credentials. S
2022年11月にイーロン・マスク氏がTwitterのCEOに就任して以降、Twitterのアルゴリズムが変更され、「For You(おすすめ)」タイムラインに表示されるコンテンツに怒りや敵意を増幅するようなツイートの表示件数が増加していることが、コーネル大学とカリフォルニア大学バークレー校の研究チームによって報告されています。 [2305.16941] Twitter's Algorithm: Amplifying Anger, Animosity, and Affective Polarization https://doi.org/10.48550/arXiv.2305.16941 Elon Musk’s Twitter algorithm changes are ‘amplifying anger and animosity’, say researchers | Evening
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Japan’s Shift to the Right: Computational Propaganda, Abe Shinzō’s LDP, and Internet Right-Wingers (Netto Uyo) - The Asia-Pacific Journal: Japan Focus
論文検索サービス「Google Scholar」で英語以外の論文が差別されているという指摘
Announcing Docusaurus 2.0 | Docusaurus
SQLite the only database you will ever need in most cases
CTR予測における確率補正について - MicroAd Developers Blog
DBLog: A Generic Change-Data-Capture Framework
遺伝的アルゴリズムで巡回セールスマン問題を解いてみる(理論編) - Qiita
GPU進化でパスワード解読が加速、旧システムは保存方法の見直しを
安全なはずの「SSH」が抱える6大セキュリティ問題とは？ 危険性と対策は
SSH Pentesting Guide
Web Performance Guide | SpeedCurve
KNNアルゴリズム(K-近傍法)をscikit-learnを使わず5行で実装する。（Python）｜es
Continuous Delivery for Machine Learning
2021年 SRv6 入門 - hiroportation
CSS Layout API で Masonry Layout | blog.jxck.io
Bring your monorepo down to size with sparse-checkout
Presenting v7.0.0 of the npm CLI
Use Fast Data Algorithms | Joey Lynch's Site
Top-level await · V8
競技プログラミングで頻出の「ダブリング」を解説する
GA（遺伝的アルゴリズム）の悲哀 - karaage. [からあげ]
The AWK Programming Language, Second Edition
「イーロン・マスクがTwitterアルゴリズムを変更してから怒りと敵意に満ちたツイートの表示が増加した」と研究者が発表