すぐに試せる日本語BERTのDocker Imageを作ってみた - 機械学習 Memo φ(・ω・ )
はじめに 学習済みBERTを試しに触ってみたいんだけど、日本語使えるBERTの環境整えるの面倒！っていう人向けに、お試しでBERTを使える Docker Image 作ってみました。 BERT はTransformers(旧pytorch-transformers、旧pytorch-pretrained-bert) を使用。 黒橋・河原研究室のWEBサイトに掲載されている、日本語pretrainedモデルのWhole Word Masking版を使ってます。 Transformers — transformers 2.2.0 documentation BERT日本語Pretrainedモデル - KUROHASHI-KAWAHARA LAB Docker Image ここに置いてあります。 https://hub.docker.com/r/ishizakiyuko/japanese_be
C++23発表：新しいC++標準の登場
8月6日、C++23はC++20の次の標準として発表されました。 C++23はC++の進化の一環として重要な役割を果たし、C++の機能を改善することを目的としています。 C++23はC++98やC++03ほどの大きな変更はなく、C++17の伝統に則ったものです。 本日、C++コミュニティが待望の次期C++標準、「C++23」を発表した。C++は長い歴史を誇るプログラミング言語であり、C++23はその進化の中でも特に重要な節目となる。C++23はC++98やC++11、C++20ほどの大規模な変更は見られないが、C++17の伝統を継承している。 C++の歴史的進化 C++は1980年代末にBjarne Stroustrup氏とMargaret A. Ellis氏によって執筆された「Annotated C++ Reference Manual (ARM)」によって誕生した。この書籍は当時多数存
slow logの時間は何を計測しているのか？ きっかけ とあるMySQLインスタンスで1Gbのネットワーク帯域を使い切ってレスポンスタイムが悪化していたという話を聞いた。 確かに遅いがlong_query_timeを小さくしてもslow_logは特に出ていなかったため、どのクエリが問題なのかを特定しづらかったらしい。 これを聞いたときはRedisとかインメモリのDBならまだしもMySQLがストレージより先に1GbのNICを使い切ることがあるのかーと驚いた。まあ、100GB以上のメモリも珍しくないので、ほとんどメモリから結果を返していれば1Gb/s以上返すことは難しくなさそうではある。 だが、long_query_timeを小さくしてもslow_logにクエリが出力されなかったという部分は気になった。 具体的にlong_query_timeがどれくらいなのか、同時接続数はどれくらいでQPS
はじめに コンピュータのアーキテクチャ プログラムの構造 あとがき 執筆者 : 小田 逸郎 はじめに 筆者は自分のことを OS 開発者 (OS屋) だと思ってます。最近は、OSにあまり深く関われていないのですが、筆者が若かりし頃に情熱を注いだものであり、筆者の基盤をなしているものであることには間違いないです。 筆者が OS (UNIX) の開発に携わり始めたのは、1986年のことなので、もう40年近く経ってしまいました。その間に OS の規模も随分大きくなってしまったようです。 筆者が始めた頃の UNIX は、デバイスドライバを除くと、20K行くらいだったと記憶しています。 全コードをラインプリンタで出力、コピー、製本し、皆で読み合わせて、勉強会をしたりしていました。そんなことができる分量だったのです。 今の Linux の規模はどれくらいでしょうか。筆者たちが「Linuxカーネル 2.6
React v17.0 Release Candidate: No New Features – React Blog
This blog site has been archived. Go to react.dev/blog to see the recent posts. Today, we are publishing the first Release Candidate for React 17. It has been two and a half years since the previous major release of React, which is a long time even by our standards! In this blog post, we will describe the role of this major release, what changes you can expect in it, and how you can try this relea
AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 SAP on AWS - 専門知識」とは 「
【新バージョンを公開しました 2022.2.27】 Googleドキュメント用の簡易校正ツール（Webライターや編集者向け）をバージョンアップしました – Heartlogic-2 Googleドキュメントを使った編集・執筆支援のツールをGAS（Google Apps Script）で作りました。普段使いには問題ない仕上がりになったので、公開します。 ▼ツールの導入・カスタマイズ方法 Googleドキュメント簡易校正ツール：GASによる文章の一括置換／表記チェック どういうツールか？ どういう場面で使えるか？ 一括置換／表記チェック用テーブルはどういうものか？ 終わりに どういうツールか？ Googleドキュメント上で、文字列の一括置換と表記チェック（チェック用テーブルにある文字列を赤文字に変え、注意を促す）を行います。一括置換およびチェック用のテーブルはGoogleスプレッドシートで管理
Argo CDによる継続的デリバリーのベストプラクティスとその実装 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。Necoの池添(@zoetro)です。 現在San Diegoで開催されているKubeCon 2019に参加しているのですが、時差ボケで寝付けないのでこんなブログを書いています。 さて、現在我々はKubernetes上のアプリケーションの継続的デリバリーを実現するためにArgo CDというツールを利用しています。 github.com 本記事ではArgo CDについて簡単に解説した後、継続的デリバリーのベストプラクティスと具体的な実践例を紹介したいと思います。 Argo CD とは Kubernetes向けの継続的デリバリーツールとしては、Spinnakerや Jenkins Xなどが有名です。 これらのツールは継続的デリバリーのパイプラインを統合的に管理・実行するためのツールになっています。 一方のArgo CDは、パイプライン全体を管理するのではなくパイプラインの中の1つの
GitLab CIとPuppeteerを使ってはてなブログのデザインを継続的にデプロイする - pixiv inside - pixiv inside
こんにちは！ピクシブ福岡オフィスでエンジニアをしている@tasshiです。 今回はpixiv insideリニューアルのデプロイ環境についてお話ししたいと思います。 pixiv insideについて 「pixiv inside（ピクシブ インサイド）」は、ピクシブ株式会社の日常を伝えるためのオウンドメディアです。 2014年に「pixiv engineering blog」としてスタートし、2017年に現在の「pixiv inside」になりました。 WordPressからはてなブログへ pixiv insideでは2020年1月にセルフホスティングのWordPressからはてなブログへと移行し、新デザインへのリニューアルを行っています。 デザインリニューアルではデザイナーさんの作ったデザインを元にして、エンジニアがJavaScript, CSSなどのデザインリソースを実装します。 その後
2023年2月にAPIの無料提供を終了することを明らかにしたTwitterは、2023年3月30日に新しいAPIのプランを発表しました。従来のAPIの無料提供の終了と新APIの発表により、自動で投稿される気象警報などの公共サービスが停止していることが報告されています。 Elon Musk just shut down automation for important public safety accounts | Mashable https://mashable.com/article/twitter-api-removal-public-safety-twitter-accounts New Twitter settings could hinder timely storm warnings: National Weather Service | The Hill https://
こんにちは。VRoid モバイル/StudioのUIを開発したねこまんまです。 先日VRoid モバイル/Studioで利用しているuGUI記述ライブラリ『Mux』を公開しました🎉 github.com 実は以前、pixiv TECH SALONで少しだけ紹介させていただいたのですが、今回はこのライブラリの魅力をより掘り下げて見たいと思います🔍 uGUI? uGUIとはUnityのアプリケーションで使うことができるUIツールキットです。他にもUnityには、新しく開発されているUI ToolkitやUIWidgets、サードパーティーによるものなど様々なものがあります。uGUIはその中でも成熟しており、Unityに標準的に含まれることからよく利用されています。 uGUIの特徴は、Unityのヒエラルキーに則ってUIが構築されることです。そのため、Unity Editorを用いて編集する
クックパッドマート流通基盤アプリケーション開発グループでバックエンドエンジニアをしている奥薗 ( @mokuzon )です。今日まで 4 日間連載でクックパッドマートの流通についてご紹介してきました。最後のこのエントリーではマート内で 1,2 を争う難解かつ重要な処理と言われている「採番」についてご紹介します。 先に クックパッド生鮮 EC お届けの裏側 2022 年版 を読むとよりイメージがつきやすいです。 採番とは マートでは 商品はハブという大規模拠点に出荷され ハブ便でハブからハブへ移動し ステーション便でハブからステーションと呼ばれる拠点に移動して ユーザーはステーションに商品を受け取りに行く というのが基本の流通になっています。 マート流通の概略図 採番とは、この商品がどのようなスケジュールで出荷されどういった経路でユーザーまで運ばれるかを計画する処理です。多くは注文時にオンラ
無償かつ入手しやすい音声データセットをメモしています。 ライセンス・利用規約は「商用利用可能」「研究用途のみ」ともに紹介します。 コーパスを探すときに有用なサイト コーパス配布元サイト 音声資源コンソーシアム : 日本語コーパスが豊富、無償または有償で利用可能 緩いライセンスのコーパスでなくても良いときはここ 自発的発話の日本語音声コーパスはだいたいここにある 入手は要申請 所属や責任者を記入する必要があるため、研究者や企業でないと厳しい？ （この記事では音声資源コンソーシアムのコーパスは未掲載） Shinnosuke Takamichi: コーパス一覧 : 日本語中心。高道先生が携わっている音声コーパス 大量の日本語音声コーパスが配布されている 音声合成のコーパスをつくろう (Slideshare) : 2021年6月時点の音声コーパス事情 あなたにどうしても伝えたい30の音声コーパス
On the origins of DS_store
arno.org If you are a Mac user, or if you have transferred files from Mac to Windows, you’re probably familiar with .DS_Store files. But where does this name come from? Back in 1999 I was the technical lead for the Mac OS X Finder at Apple. At that time the Finder code base was some 8 years old and had reached the end of its useful life. Making any changes to it require huge engineering effort, an
A visual guide on troubleshooting Kubernetes deploymentsMay 2024 TL;DR: here's a diagram to help you debug your deployments in Kubernetes (and you can download it in the PDF version and PNG). This diagram is also translated into the following languages: 中文, Translated by Addo Zhang (PDF | PNG)Português — Translated by Marcelo Andrade (PDF | PNG)Español mexicano — Translated by Raymundo Escobar & J
発見した0dayについての技術的解説 - EC-Cube, SoyCMS, BaserCMS - Flatt Security Blog
※このブログは、セキュリティエンジニアのstyprが英語で書いた文章を翻訳し、社内で監修したものになります。 こんにちは。株式会社Flatt Securityのstypr (@stereotype32)です。 以前公開した記事「Flatt Securityは“自分のやりたいことが実現できる”場所／セキュリティエンジニア stypr」でお話した通り、私は現在Flatt Securityで0day huntingとセキュリティの診断をしています。 私は 5月に入社してから 0day hunting の業務に取り組んでいます。他の面白い業務と並行して取り組んでいるので、一つの製品にかけている時間は、最低1日からせいぜい1週間程度です。 結果、これまでの間、私はかなり多くのOSS脆弱性を見つけてきました。そこで今回の記事では、現在までに修正された脆弱性のうち、技術的に面白い選りすぐりのものを解説し
GitHub Actionsに「強い」AWSの権限を渡したい ~作戦3 - AssumeRole with Google ID Token ~ - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信頼するIAM RoleにAssumeRoleする。 AssumeRoleによって得られた一時的な強い権限で、強い権限を要求する作業(Deploy, Terraform Apply)をGithub Actionsで行う。 これにより、Github Actions上にAWSのアクセスキーを置かずに、ある程度安全な方法でAWS上での強い権限を要求する操作を実行できます。 そのため、例えばGithub Repositoryに不正アクセスされてしまったとしても、AWSの本番環
PHP の各種キャッシュ機構でメモリが枯渇した場合の挙動を調べてみた｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
PHP の各種キャッシュ機構でメモリが枯渇した場合の挙動を調べてみた こんにちは。やまゆです。 弊社の主軸であるソーシャルゲーム開発においては、マスターデータの存在は欠かせません。 マスターデータとは、例えば下記のようなものがあります。 武器の名称・アイコン画像名・攻撃力・スキルIDガチャでどのカードが何%の確率で排出されるのか敵を倒した時の報酬ゲーム内イベントの開始日時と終了日時 このように、全ユーザーで共有される設定データのことをマスターと呼びます。 これらのデータは膨大で、運営を続けていくとアイテムの追加やイベントの追加により、だんだんサイズが肥大化していきます。また、頻繁にアクセスされることが予測されるため、処理上のボトルネックになる可能性が高いです。 そのため、サーバサイドでマスターデータを処理する際は毎回データベースへアクセスすることはせず、別の場所にキャッシュしておいて、基本
Goアセンブリの書き方からビルド方法までを一通り調べました。Goアセンブリを書いたことのない人がコードを書いてリンクできるところまでは一通り書いているつもりですが、Goアセンブリの言語仕様を網羅してはいないので、興味があれば最後に書いた参考情報も読んでみてください。 この記事ではGo 1.16.xでAMD64命令セットを扱いますが、具体的な命令や値のサイズ以外は、他のアーキテクチャを使う場合でもだいたい同じだと思います。 アセンブリコードの書き方 GoのアセンブリはPlan 9アセンブリを概ね踏襲していて、AT&T記法です。整数を受け取って、それに2を加算した値を返す関数func add2(i int32) int32を書いてみましょう。アセンブリのコードは.sファイルに書きます。また、アセンブリはアーキテクチャに強く依存するので、Goの習慣にしたがってファイル名にはアーキテクチャ名も入れ
MySQLのストレージエンジンはplugableになっていて、APIを実装すれば自作のストレージエンジンを組み込むことができる。 ということで、試しにRedisをストレージエンジンとして使うRedis Storage Engineを作りました。 github.com 途中で飽きてしまった ちまちま実装するよりC++の勉強とInnoDB読んだほうが良さそうと思ったので、お蔵入りするつもりでしたが、Yahoo! Japanでストレージエンジンを研究開発しているという話で個人的に盛り上がったので、改めて作ったところまでを見直して、整理しておこうという趣旨です。 実装したものはCREATE TABLEとDMLがある程度カバーされたおもちゃですが、自作ストレージエンジン開発のためのドキュメントはなくなっていく一方なので(MySQL internal documentを含む既存のドキュメント・ブログ・
実例で学ぶ MySQL/MariaDB デバッグ - nayuta-yanagisawa's blog
この記事では、MySQL/MariaDB のバグを修正するための典型的な手順を、具体例を通して解説する。次の MariaDB のバグを例として取り上げるが、基本的なデバッグの手順は MySQL でもまったく同様である。 MDEV-24868: Server crashes in optimize_schema_tables_memory_usage after select from information_schema.innodb_sys_columns なお、MySQL/MariaDB のデバッグ方法についての包括的な解説を与えるのは、この記事のスコープ外である。デバッグ手法の詳細を知りたい場合は、以下の一連の記事を参照してほしい。 Debugging MySQL/MariaDB (1): Build and Test Debugging MySQL/MariaDB (2): DBU
昔はこういうの結構やられてた気がするけど最近あんまり見なくなったのでやってみました。 タイトルは から借用しました。 注意点 プラグイン自体の説明はあまりするつもりはないので、GitHub の README を読むなり使ってみるなりしてみてください。 私は結構頻繁にプラグイン乗り換えるので 2022 春バージョンと思ってください。 私が言うのもあれですが、プラグインはいっぱい入れればいいというものではありません。ひとつひとつを使いこなすのが大事です。多ければそれだけ管理も大変です。 競合があるプラグインは比較して選定しているつもりですが、あくまでも私の趣味の範囲での選定となります。絶対的な指標があってこっちの方が優れているといった判断をしているわけではありません。 私の Neovim の使い方 使い方が違うと参考にならないことが多いため前提としてどういうふうに Neovim を使っているか
Orbit, the Open Runtime Binary Instrumentation Tool is a standalone native application profiler for Windows and Linux. It supports native applications written in languages such as C, C++, Rust, or Go. Its main purpose is to help developers identify the performance bottlenecks of a complex application. Orbit can be also used to visualize the execution flow of such applications. The key differentiat
なぜAirbnbは強く、Uberは弱いのか？ーー起業家が知っておくべき4つのネットワークエフェクト - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image Credit: NFX ピックアップ記事: Why Some Platforms Thrive and Others Don’t 最近、SNSで「起業家が投資家へ事業戦略をピッチする際、答えるべき型がある」というやり取りをしばしば目にするようになりました。結論から言うと「ネットワークエフェクト」「規模のメリット」「ブランド」「高いスイッチコスト」の4つが答えになります。サービスが成長するために、何を武器に戦っていくかはこのどれかを説明すれば片付くというものです。 しかしリサーチをしているなか、強固な「ネットワークエフェクト」を作り上げる4つの公式を押さえておけば、先ほどの全ての回答モデルを満たす筋道が見えると感じました。言い換えればネットワークエフェクト構築戦略さえ誤らなければ、あらゆる競合シチュエーションにおいても他社を負かせる“ディフェンス力”を獲得できると考えます。 そも
去年末に日本に帰国した際、ありがたいことに多くの方から因果推論に関するレクチャーの依頼をいただきました。 本当はこの春にも帰国してトーク予定だったのですが、コロナ渦でタイミングを逸したので思い切って講義資料を公開することにしました。 ツイッター上でのこんな話題もきっかけで・・・ これを意識するだけで（少なくとも医学・公衆衛生領域における）回帰分析ユーザーの大部分の結果の解釈やモデルに対する向き合い方が変わると思っています。日本で修士までとったけど、自分は留学するまで知らんかった。 去年末、一時帰国中にやった因果推論ワークショップ中でも触れました。 https://t.co/jEsu5WDPLx pic.twitter.com/LmidBTMQlw — KRSK (@koro485) May 27, 2020 内容はこんな感じです なんとなく回帰分析を使って「調整」をしてました、くらいの統計
【無料ダウンロード】「Google Search Console実践マニュアル」をリリースしました ｜SEO Japan by アイオイクスSEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
6/29 11:34 リリース後20分ほど、ダウンロードいただけない事象が発生しておりました。 現在は問題なくダウンロードいただけます。大変ご迷惑をおかけいたしました。 こんにちは、SEO Japan編集部です。 この度、ホワイトペーパー「Google Search Console実践マニュアル」（全107ページ）を作成・リリースしましたのでお知らせいたします。 ※ダウンロードはこちらから GoogleサーチコンソールはWebサイトのSEO改善に欠かせないツールではありますが、一見するとどの項目を見て良いのかわからないほど、項目の多いツールです。 今回はGoogleサーチコンソールのカバレッジに着目し、エラー項目の意味やその解消方法をまとめた資料を作成いたしました。 SEOには大きく分けて、コンテンツ・テクニカル・外部評価の獲得の３つの施策がありますが、特にテクニカルに着目した内容となって
はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと
ImHex という Hex エディタを Ubuntu 20.04 にインストールしたときのメモ書きです。 ImHex ImHex を Ubuntu 20.04 にインストールする ImHex の画面設定 動かしてみた感想 参考文献 ImHex 公式 cmake 周り 参考にしたトラブルシューティング 付録 concepts が見つけられないというエラーについて 「CMake Error at cmake/build_helpers.cmake:55」について 更新履歴 ImHex ImHex は2020年の12月に公開された比較的新しい、午前3時にがんばる人のための Hex エディタです。 *1 GitHub - WerWolv/ImHex: A Hex Editor for Reverse Engineers, Programmers and people that value thei
おうちKubernetesをそれっぽく加工する話 - MetalLBとかExternalDNSとかcert-managerとか - メモ - RyuSA
おうちKubernetes(を含むベアメタルKubernetes)を「マネージドサービスっぽく」使えるようにしよう！というのが本記事の目標 ストレージのプロビジョニング nfs-subdir-external-provisioner インストール 動作確認 ロードバランサーの作成 MetalLB インストール 動作確認 NGINX Ingress Controller インストール 動作確認 ドメインとTLS External DNS インストール 動作確認 cert-manager インストール 動作確認 おわりに 一応前日譚 ryusa.hatenablog.com ストレージのプロビジョニング 生のKubernetesで適当なPVCを作成しても何も反応しません。これは当然で、生のKubernetesにはストレージをどのように用意すれば良いのかが定義されていないからです。 プラグインな
The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
shellでパスワードプロンプトの入力を間違えたらControl-uする理由 - yujioramaの日記
追記(2022/03/20) Linux限定だし概要レベルだけど包括的なドキュメントがあった。 2. Keyboard generalities キー入力したときに起きていることを説明している。 キーボードコントローラはキーボードドライバにスキャンコードを送信する （スキャンコードモードの）キーボードドライバはアプリケーションプログラムにスキャンコードを送信する （キーコードモードの）キーボードドライバはキー押下、キー離上それぞれのスキャンコードをキーコードに変換し、アプリケーションプログラムに送信する （それ以外の）キーボードドライバはキーコードでキーマップを辞書引きして、発見した文字列（エスケープシーケンスの場合もある）をアプリケーションプログラムに送信する 「アプリケーションプログラムに送信する」は、実際には「端末ドライバに送信する」に相当する。 （端末ドライバ=sttyなのかな）
この記事は Classi developers Advent Calendar 2021 の23日目の記事です。 こんにちは、プロダクト開発部の2年目の@minhquang4334です。 今年の8月に、同じ部で3年目の@henchiyb 先輩と一緒に yasuoチームを作り、ISUCON11 オンライン予選に初めて参加しました。参加するきっかけは弊社に業務委託として来てくださっている@soudaiさんからISUCONの話について聞かれて、面白そうなので、チャレンジしてみました。結果はRubyで4万点まで達成できましたが、全体のチームの100/598 位ぐらいで敗退してしまいました。 オンライン予選が終わった後、数百万点を達成したチームはどうやってそこまで出来たのかとずっと疑問でした。各チームの解説ブログを見てみましたが、目を通しただけですぐ忘れてしまい、知見を深く理解できないと思いました。
Peter Jay Salzman, Michael Burian, Ori Pomerantz, Bob Mottram, Jim Huang 1 Introduction 1.1 Authorship 1.2 Acknowledgements 1.3 What Is A Kernel Module? 1.4 Kernel module package 1.5 What Modules are in my Kernel? 1.6 Is there a need to download and compile the kernel? 1.7 Before We Begin 2 Headers 3 Examples 4 Hello World 4.1 The Simplest Module 4.2 Hello and Goodbye 4.3 The __init and __exit Mac
RoRやLaravelなどのフレームワークを使ってきた人がScalaを導入した時に引っかかる点とその解決策 - Qiita
はじめに 僕が代表をしている株式会社KOSKAでは製造業の原価管理をIoTで自動化するGenkanというサービスを提供しております。 そんな弊社では半年前、バックエンドをRoRからScalaに移行したのですが、これが素晴らしく効果が高かったので以下の記事を書きました。 スタートアップである弊社が全員ほぼ未経験でRoRをScalaに移行した理由、その効果と苦労点 しかし、最後に書いたのですが、苦労する点もとても多いです。 弊社CPOが苦労する点を抽象的な部分に関しては以下の記事で書いてくれてはいます。 0からScalaを本番導入して感じたこと・考えたこと - Qiita ただ、実際にコードを書き始めた時に引っかかりやすい点をできるだけ詳しくあげておくことで、導入しようと考えた人がなるべく簡単に導入できるという状況を作りたかったので、書きました。 それではスタートです。 RubyやPHP、Py
Backlog課Gitチームの@vvatanabeです。 先日、BacklogのGitリポジトリへSSHでアクセスする機能を提供するサーバーが、ECDSAとEd25519のホスト鍵をサポートしました。 GitリポジトリへのSSHアクセスに関連するセキュリティアップデートのお知らせ その際、OpenSSHのSSHプロトコル拡張の一つである「UpdateHostKeys」と呼ばれる機能を、Goで書かれたSSHサーバーに実装したので、その経験をもとに機能の仕組みと実装について解説します。 はじめに SSHにおける「なりすまし」を防止する仕組み UpdateHostKeysを説明する前に、SSHにおける「なりすまし」を防止するための重要な要素として、「ホスト鍵」と「known hosts」という仕組みについて説明します。 識別子としてのホスト鍵 ホスト鍵とは、SSHでコンピュータを認証するために使
前提 結果 読解力の低下 ゆとり教育との関連 PISA調査の設計 ※PISA2015・2018の読解力低下について取り急ぎメモ ※PISA2022の成績向上について取り急ぎメモ 前提 ①PISAでは各年度の調査ごとに重点的に調査される主要分野(main domain) が切り替わっている。経年比較が可能となるのはその分野が主要分野となった後のことである。ただし、一部の領域では主要分野となる前も比較が可能である。 ②PISAの得点スケールは平均500・標準偏差100である。それぞれ基準となるのは読解力では2000年調査、数学的リテラシーでは2003年調査、科学的リテラシーでは2006年調査の得点スケールである。 ③PISAでは平均得点の検定にLink Errorの値を必要とする。Link Errorの算出方法については何度か修正が加えられているが、ここでは適宜最新のTechnical Rep
【PHP】文字列検索には str_contains() を使え - RAKUS Developers Blog | ラクス エンジニアブログ
PHP で「文字列に特定のキーワードが含まれているか」や「文字列中に特定の文字列を含むか」を確認したい場合、どのようなコードを書くだろうか？ もし、あなたが strpos()やstrstr()を使う方法を思いついたのなら、これだけは覚えて帰ってほしい。 文字列検索には str_contains() を使え。 結論：文字列検索には str_contains() を使う サンプル 昔はstrpos()やstrstr()などを使っていた strpos() や strstr() ではダメなのか？ strpos() を使うべきでない理由 strstr() を使うべきでない理由 preg_match()を使うべきでない理由 「いや、キーワードが先頭にあるかを知りたいんだ」という人は 「日本語でも使えるの？」との疑問について もっと詳しく？ これでわかっただろう 結論：文字列検索には str_conta
アニメの制作サイドとして入口の役職であり、将来的には演出家や監督、プロデューサーなど多岐にわたる仕事につながる「制作進行」がどういう仕事なのか、実務内容まで細かく解説したマニュアルが、日本動画協会の公式サイトで無料公開されています。 「アニメシリーズ制作における 制作進行のマニュアル」 WEB 無償公開のお知らせ | 日本動画協会 https://aja.gr.jp/info/1583 TVアニメシリーズ制作における制作進行のマニュアル | 日本動画協会 https://aja.gr.jp/download/tv-anime_seisakushinko_manual このマニュアルは大きく「1.日本アニメの特徴と形式」「2.制作進行とは」「3.アニメ制作の基本工程」「4.アニメに関わるスタッフ」「5.制作進行の実務」の5つの章で構成されています。 「1.日本アニメの特徴と形式」の章は「日本
ALB + Cognito認証で付与されるユーザー情報をEC2サイドから眺めてみる | DevelopersIO
ALBはCognitoと組み合わせることで、簡単にWebサーバーの認証機能を実現できます。超便利。 ALBとCognitoを組み合わせた認証については、弊社ブログで解説しているのでこちらを御覧ください。 インフラエンジニアが一切コードを書かずにWebサーバーに認証機能を実装した話 ｜ DevelopersIO 本ブログでは、ここからもう一歩踏み込んで、ALBが認証後EC2に何を渡しているのか？（EC2はユーザー情報をどう受けとっているのか？）を眺めてみます。 構成図 こんな感じのシンプルな構成を作ります。ALBへのアクセス時に、Cognitoと連携して認証を行います。CognitoでログインできたユーザーだけがEC2上のコンテンツにアクセスできます。 ALB + Cognito認証のおさらい ALB + Cognitoの認証がどういったフローで動いているか、ここで一度おさらいしましょう。
拡散モデルで、将棋の方策を学習できないか試してみた。 拡散モデル 拡散モデルは、高品質で多様なサンプルを生成できる生成モデルである。 昨年8月にStable Diffusionが公開されたことで注目を集めている。 拡散モデルは、確率微分方程式によって表される確率分布を近似するモデルで、モード崩壊を起こさず多様な分布を学習できるという特徴がある。 また、プロンプトと呼ばれるテキストにより条件付けを行い、テキストに従った画像を生成できる。 将棋の方策 将棋の方策は、座標と移動方向の組み合わせで表現でき、dlshogiで採用している表現方法では2187次元になる。 つまり、指し手は、局面によって条件づけられた2187次元の確率分布からサンプリングを行っていることになる。 拡散モデルの可能性 条件付けを行い高次元の確率分布からサンプリングを行うという仕組みは、将棋の方策においても適用できると考える
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLのslow_logは何を計測して出力されるのか - tom__bo’s Blog
OS徒然草 (1) - VA Linux エンジニアブログ
Googleドキュメント用の簡易校正ツールを作ったよ（編集者・ライター向け）
TwitterのAPI制限で気象警報などの公共サービスが停止して大問題に発展
uGUI記述ライブラリ『Mux』を公開します - pixiv inside
クックパッドマート最難解ロジック!?「採番」 - クックパッド開発者ブログ
無償入手可能な音声コーパス／音声データベースの一覧 - Qiita
A visual guide on troubleshooting Kubernetes deployments
Goアセンブリの書き方 - Plan 9とGo言語のブログ
MySQLでredis storage engineを作った - tom__bo’s Blog
ワシの使っているNeovimプラグインは200個近くあるぞ
GitHub - google/orbit: C/C++ Performance Profiler
統計的因果推論入門の講義資料を公開しました - Unboundedly
Pytorch Template 個人的ベストプラクティス（解説付き） - Qiita
ImHex：午前3時にがんばる人のためのバイナリエディタ - setodaNote
ISUCON11予選課題の27万点まで練習し新人エンジニアが学んだこと - Classi開発者ブログ
The Linux Kernel Module Programming Guide
OpenSSHのプロトコル拡張「UpdateHostKeys」の仕組みと実装 | 株式会社ヌーラボ(Nulab inc.)
PISAの結果まとめ PISA2000~PISA2022 - 若者論を研究するブログ
「TVアニメシリーズ制作における制作進行のマニュアル」ネットで無料公開
拡散モデルで将棋の方策を学習する - TadaoYamaokaの開発日記