Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今年の夏はTOEICスコア900超えを一つの目標にしていて、そのためにはリスニングが課題でした。 とにかく数をこなそうと、無料で問題を解けるアプリを探して、初めはそれをずっとやっていましたが、一日に解ける問題数が限られていて、徐々に物足りなくなってきました。 前々からTOEICの問題ってAIで生成できるんじゃね？と思っていたので、この際スコア900越えに加えて、AIでリスニング問題生成＆Webサービス化を目標にし、ようやく完成したので公開しました。 公開したリスニング問題AI生成サイト ※AIで生成し、内容のチェックは行ってい

こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 私は「カイ二乗検定」に対して、当初は納得できない部分がありました。やりたいことに対して、必要以上に複雑な手法のように感じたからです。同じような疑問を持つ方も多いのではないでしょうか。この記事では、私が「カイ二乗検定」を理解し納得するまでの過程をお伝えします。 結論から言いますと、一度頻度論を離れてベイズ統計の視点で考えてみたところ、実は非常に単純なことを行っていると気づきました。その後、カイ二乗検定を再び考え直すと、すんなり理解できたというお話です。 カイ二乗検定の手順まず、サイコロを何度も投げ、出た目の回数（実測値）を記録します。偏りのないサイコロでは、全ての目が均等に出るはずです。この理論的な回数を理論値と呼びます。 次に、実測値と理論値の差を計算し、その差を二乗してから理論値で割ります。この計算結果を「ズレ」と呼びま

2024/10/5 YAPC::Hakodate 2024

Azure Verified Moduleを触って分かった注目ポイント/azure-verified-module-begin

逐次処理の鳥籠から飛び立ち、スケールアウトを目指す すべての開発者のために 本書は Kirill Bobrov, "Grokking Concurrency", Manning Publishing, 2023 の邦訳です。 現代的なアプリにふさわしい高パフォーマンスのコードを書くためには、並行処理の理解が不可欠です。Webアプリ、IoTシステム、ビッグデータ処理など、並行処理はあらゆる局面で活用されていますが、そこには初学者が中心的に学ぶ「逐次実行を前提にしたプログラム」ではどうしても理解できない複雑な概念や特徴があります。それらをきちんと押さえることで、暴走せずにパフォーマンスを高める並行処理を手に入れることができるのです。 本書ではその核となる概念が徹底的に説明されており、楽しくわかりやすい文章と興味深いイラストで、洞察力に富んだ例や、独自のプロジェクトに適用できる詳細なテクニックが

Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に

ユネスコ無形文化遺産登録から10年を経て、登録当時には約5.5万店だった海外の日本料理店が、2023年には約18.7万店にまで増えるなど日々関心が高まっています。 京都府立大学、日本料理アカデミーでは京都から国内外を問わず和食のさらなる発展と和食文化を担う人材の育成を目指し、「日本料理大全 デジタルブック」を公開します。 ある料理を知るためには、まずその背景を知らないと始まりません。「日本料理大全」シリーズは手法のみを解説するのではなく、考え方の基礎を示していくことを目指しています。経験や勘に頼るのではなく、なぜこの味が生まれるのか、どうしてこの調理法になるのか、といった根拠や科学的な理由を示しています。それらをもとに料理する人が考え、取り入れ、オリジナルの料理を生み出す手助けとなることを目指しています。 このシリーズが日本料理の発展・普及の一助となり、多くの人々の健康と喜びを導くことにな

はじめに こんにちは。calloc134 です。 前のハッカソンイベントで、UUID をプライマリキーに利用するかどうかの議論がありました。 結果的にはあまりパフォーマンス要件の高くないアプリケーションであったため、プライマリキーとして UUID を採用することにしたのですが、イベント終了後に気になったため、調査を行いました。 今回は、この調査の結果を元に、MySQL と PostgreSQL におけるインデックスの内部構造の違いと、UUID をプライマリキーにする際の問題についてまとめてみたいと思います。 インデックスの概要 インデックスとは インデックスとは、データベースのテーブルに対して、アクセスを高速に行うための指標となる構造のことです。 インデックスとは日本語で索引ですが、まさに辞書の索引のように、アクセスにおいての手助けをしてくれます。 より具体的に解説すると、データベースにお

By Sedrubal HTTP/3は2022年に標準化されたHTTPの仕様で、開発当初は「HTTP over QUIC(QUICを使用したHTTP)」と呼ばれていました。HTTP/3を使用することで通信パフォーマンスが向上するとされていますが、特定の条件においては旧バージョンのHTTP/2の方がパフォーマンスが高まるという論文が発表されました。 QUIC is not Quick Enough over Fast Internet | Proceedings of the ACM Web Conference 2024 https://dl.acm.org/doi/10.1145/3589334.3645323 QUIC is not Quick Enough over Fast Internet - YouTube 2024年時点ではHTTPには大きく3つのバージョンが存在しています。

こちらのスライドは「第261回自然言語処理研究発表会」の発表で用いたものです。 Reference:

先日、自分の同僚の Anjana を観察していてふと気づいたことがあったのでシェアしたいと思う。彼女は比較的新しいメンバーで大学も出たてだが、めっちゃ優秀で、たまに彼女のメンタルモデルを質問して学ばせてもらっている。 新しい Http Scaling の Buddy　最近 Anjana が自分の担当している、Http Scaling の領域を私と一緒に受け持つようになってきた。この領域は最近まで私しか担当が居なかったので、Pull Request のレビューで苦労したり、一人だったら休暇もとりにくい。だから Buddy 制をとっているのだが、私の Buddy は居なかったので、Pragna が彼女をアサインしてくれた。 もちろんめっちゃくちゃ優秀な人であっても、初めてなので、 最初から難しいタスクは厳しいだろうということで、これ修正箇所もすくなそうだし、簡単そうだなぁ。というタスクが彼女に

アメリカで、ソフトウェアのエンジニアをするというのは、ごく一部のものすごく優秀なエリートが達成できる境地…みたいに思っていないだろうか？そんなことは無いですよ。アホにゃんにゃんで、日本ではプログラマとして通用しなかった自分でもやれています。５年たった今でも自分的には最高に居心地が良くて楽しい！だから、なぜ私がタイトルのように思うかを解説したいと思う。 シアトルでエンジニアをやる楽しさ　本記事はもちろんマイクロソフトはなんの関係もなくて、自分の意見であるが、私はマイクロソフトの Azure Functions の開発者をやっている。自分の性格をあげると、エヴァンジェリストとかやってたので陽キャと思われる人もいるかもしれないが、私は趣味がギターとプログラミングの陰キャで、人と一緒にいるより一人の時間がないと死ぬタイプの人間だ。（ちなみに、陽キャの人は楽しめないという話ではありません） アメリカ

This method ensures that items ranked high in multiple lists are given a high rank in the final list. It also ensures that items ranked high in only a few lists but low in others are not given a high rank in the final list. Placing the rank in the denominator when calculating score helps penalize the low ranking records. It’s also worth noting: $rrf_k: To prevent extremely high scores for items ra

お久しぶりです。セガの阪上です。前回の記事「QAエンジニアってどんな仕事？～ゲーム開発におけるテストの世界～」を寄稿してから6年が経ちました。今回は、前回の記事以降に発表した講演内容を振り返りつつ、前回紹介したQAエンジニアという職種から、クオリティエンジニアに役割を再定義した経緯について紹介します。 また、今年のCEDEC2024の講演『「龍が如く」も「スーパーモンキーボール」も自動化！クオリティエンジニアリングチームによるマルチゲームエンジン対応で進化した「龍が如くスタジオ」のテスト自動化環境について』は楽しんでいただけたでしょうか？ マルチゲームエンジン対応となったテスト自動化環境について、説明しきれなかった内容も補足しますので、最後まで楽しんで読んでいただけたら幸いです。 目次 目次 「QAエンジニア」から「クオリティエンジニア」になった経緯 (2018年~)開発・QAにおける自動

はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが重要視される昨今、今回はDataZone上にデータカタログの作成を行ってみます。 はじめに 概要 データレイクとは データカタログとは なぜAmazon DataZoneが必要か（AWS Guleとの違い） Amazon DataZoneとは サービス概要 DataZoneのデータカタログの完成像 Amazon DataZoneでデータカタログを作成してみる 構成概要 データ準備 ドメインとデータポータルの作成 プロジェクトの作成 環境の作成 データカタログの作成 データアセッ

はじめに AWSの豊富なサービス群を活用することで、高可用性かつ高スケール性を実現するシステムを構築することが可能です。 しかし、クラウドサービスの特性を最大限に活かすためには、適切なデザインパターンを理解し、実践することが重要です。そこで今回は、AWSを利用して「高可用性」かつ「高スケール性」を実現するための代表的なクラウドデザインパターンを紹介します。 1. EC2インスタンスを利用した動的コンテンツの配信 動的コンテンツとは？ 動的コンテンツとは、ユーザーのリクエストに応じて生成されるコンテンツのことを指します。たとえば、ユーザーのログイン状況や入力内容に基づいて異なるページを表示するようなケースです。 AWSサービスの簡単な解説 Amazon EC2 (Elastic Compute Cloud): スケーラブルなコンピューティングリソースを提供するサービスです。必要に応じて、イン

Next.js App Routerにおける設計やベストプラクティスを、筆者なりにまとめました。

“Platform Engineering”という私的よく見かけるが意味を調べたことのない用語No.1のトピックについて書かれた本がO'Reillyからearly releaseされているので読んでる。まだ第一部しか公開されてない。 learning.oreilly.com その中に出てくるアプリケーションチームがTerraformコードを管理することで起きがちな問題について共感したので紹介する アプリケーションエンジニアリングチームがIaaSクラウドのあらゆるものを求めるようになったとき、多くの企業は、各チームに独自のクラウドインフラストラクチャを独自の構成でプロビジョニングする権限と責任を与えることが、摩擦の少ない方法だと判断しました。 実際には、これは、構成管理とインフラストラクチャプロビジョニングに精通した、兼業のクラウドエンジニアリングチームになることを意味していました。 繰り返

本連載では、業界の第一線で活躍する著名エンジニアたちが、それぞれの視点で選んだ書籍について語ります。ただのレビューに留まらず、エンジニアリングの深層に迫る洞察や、実際の現場で役立つ知見をシェア！初心者からベテランまで、新たな発見や学びが得られる、エンジニア必読の「読書感想文」です。 著名エンジニアが、独自の視点で「おすすめ書籍」の紹介を行う本連載。 今回は、米マイクロソフトのエンジニア・牛尾 剛さんによる『テスト駆動開発』（オーム社）の読書感想文を紹介する。 発売日：2017年10月14日 著者：Kent Beck　訳者：和田 卓人 定価：3,080円 （本体2,800円＋税） ISBN：978-4-274-21788-3 サイズ：A5 ページ数：344ページ 書籍概要：テスト駆動開発とは単にテスト自動化を行うことではなく、ユニットテストとリファクタリングを両輪とした小さいサイクルを回すこ