転置インデックスの圧縮技法
転置インデックスは、検索エンジンの実装において、中心的な役割を果たすデータ構造である。 転置インデックスのデータ構造とアルゴリズムは、クエリ処理アルゴリズムとともに、検索エンジンの性能に直結する。とくに大規模な検索エンジンにおいては、キャッシュ効率を高めてクエリ処理を高速化するために、転置インデックスの圧縮は必要不可欠となっている。 この記事では、転置インデックス、とくにポスティングリストの圧縮について、近年の手法を簡単にまとめる。 目次 転置インデックスの基本 転置インデックスのデータ構造と特性 転置インデックスのアクセスパターン 近年のインデックス圧縮技法 Variable-Byte Family VByte Varint-GB Varint-G8IU Masked-VByte Stream-VByte Opt-VByte Simple Family Simple9 Simple16
Knuth: The Art of Computer Programming の話 | IIJ Engineers Blog
2002年から約10年 IIJ技術研究所長. 年を取ってからは古い計算機や昔の計算法に興味が増し, シミュレーターを作ってそのプログラムを書いたり. 近頃はKnuthのTAOCPにあった問題のプログラムなどに挑戦したりしている. 【IIJ 2022 TECHアドベントカレンダー 12/5（月）の記事です】 クリスマスといえば, 英国王立研究所が1825年から続けている「クリスマス講演」が有名で, 岩波文庫にあるFaradayの「ロウソクの科学」はその1860年の講演だ. それに比べればまだ20年くらいだが, スタンフォード大学のKnuth教授も毎年「クリスマス講義」を続けている. しかし今回のブログはそのKnuthによる大著, The Art of Computer Programming(以後TAOCP)が話題である. 上段の左の横積みは, 英語版TAOCPの, 上から第1, 2, 3,
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 筆者がIIJでパブリッククラウドビジネスを率いていた2010〜2015年頃、今後のITインフラはしばらくIaaSを中心に回っていくのだと考えていたものですが、Docker, Kubernetesという爆弾が投下されました。10年、20年は続くと思われたIaaSの時代がまさか早々に色あせて見えるとは。相変わらずIT業界にも思いもよらないことが突然起こるものです。これだからIT業界はおもしろい。 本連載は、現在IIJでSREを率いている筆者がどのようにしてSREチームを立ち上げ、Kubernetes沼へ飛び込み、悪戦苦闘し
※ 注意事項と補足 LTOの世代には互換性があり、対応するテープを用意しないと認識しません。 互換性表：https://lto.co.jp/lto-gokan.html 今回はLTO5のドライブを利用しているのでLTO4~5のテープは読み書きが行え、LTO3のテープは読み込みのみが行えます LTO5以降の世代はLTFSを利用することができるため、SDカードみたいな感じで利用できます。 ゆえにWindows機でもそれほど難なく導入できるという 素材たち 物理構築 SASカードをPCIeに差し込み、変換ケーブルを介してLTOドライブに繋げます。(ホコリっぽくてごめんなさい) LTOドライブ電源用の端子は電源ユニットから伸びている適当な端子を引っ張ってきます。 完成 いきなりドライブベイに差し込むとなんかあったときに面倒なので、毎度おなじみ半開き状態でテストします。 起動&初期設定 起動 まず、
APIの命名規則はフロントエンド・バックエンドどちらに合わせるべきか？｜TechRacho by BPS株式会社
morimorihogeです。ちょっと色々忙しくて死んでますが、深夜の勢いで書いてみます。 ことの起こり Twitterにてこんな発言を見かけました この2017年の記事だと、RoRのテーブルのdatetime型にはatをdate型にはonを付けようと書いてあるけど、APIでカラムのデータを返す場合、フロント側としてはdateというサフィックスが付いていた方がやりやすいという意見があって、この辺のベストな感じが気になったhttps://t.co/8MMMHlFvGx — yotuba@Railsエンジニア (@yotuba_eng) July 1, 2021 元記事（翻訳）はこちら Rails: 日付や時刻のカラム名を命名規則に合わせよう（翻訳） 本件について、Twitterではreplyしてみたのですが、文字数の都合で詳細に書きづらいということもあり、一度自分の意見をまとめてみようという
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 かなり久しぶりの技術ネタ投稿かもしれません こんばんわ。九州支社で働く二等兵こととみーです。 技術探索に注力し始めてはや1年を越え、実案件の技術支援もしつつ今日も「言葉しか知らないこと」の中身を知るべく取り組んでいる日々を過ごしています。技術に近いネタをこのブログに書くのは実に2年ぶりぐらいですかね？珍しくそれっぽいことを書いてみることにしました。 私はちょうど10年前、家庭の事情により関東のIT企業を離れて九州のこの地にUターンしました。それからずーっとそこでの仕事を続けてきたので
企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
モビリティネットワーク企業のLyftが、AWSやKubernetes、Envoyといったウェブサービスのインフラ技術をまとめて管理できる「Clutch」をリリースしました。これまで別々の管理体系だったインフラ技術を、ひとつのサービスから管理することができるようになります。 Clutch · An extensible platform for infrastructure management. https://clutch.sh/ Announcing Clutch, the Open-source Platform for Infrastructure Tooling | by Daniel Hochman | Jul, 2020 | Lyft Engineering https://eng.lyft.com/announcing-clutch-the-open-source-plat
名古屋支社開発チームのスクラムマスターとして日々奮闘中。よいサービス、よいプロダクトは楽しく元気なチームから生まれると思っています！関わる人すべてが笑顔になるために、私は何ができるのだろうか・・・。 “コンテキストスイッチ”とは 今回登場するコンテキストスイッチは、CPUのコンテキストスイッチングではなく、人が作業を中断して別の作業に切り替えることで発生する予定外の時間のことです。 プロジェクト計画やその中の作業計画など、様々な計画段階で「バッファ」を作成すると思います。 バッファがあることによって想定外の事象が起きた場合や、予定外の作業が増えた場合でも影響が小さいものであれば大きなスケジュールを変更せずに対応ができるようになるため、必要なものではありますが、正しい運用ができているのか判断するのは難しいと思っています。 また細かい作業でも数が増える程コンテキストスイッチが大きくなってしまう
ファイルをお手軽に暗号化したい！ – openssl cms のススメ | IIJ Engineers Blog
はじめに 今回は、IIJ Engineers Blog編集部より、IIJ社内の雰囲気が少し垣間見えるような記事をお送りします。 IIJの社内掲示板では、エンジニアのちょっとした技術ネタが好評となって多くのコメントが付いたり、お役立ち情報が掲載されています。 そんな書き込みを眺めては、 「社内だけに留めておくのはもったいない。きっとこういった情報を欲している人もいるはず！」 と思い、編集部が社内掲示板からチョイスしたものを記事にしてみました。 今回紹介するのは「手軽にファイルを暗号化 － openssl cms」 手軽にファイルを暗号化する手法のひとつとして openssl cms を紹介します。 どうぞご覧ください！ みなさん、機密情報を USB メモリを介して受け渡したり、ネットワークを介してコピーしたいとき、どうやって暗号化していますか? “gpg” を思い付いたあなた。エントロピーが
The History of Distributed Databases - Google, Amazon, Facebook など巨大企業による分散データベース技術の発展 | Wantedly Engineer Blog
こんにちは、Wantedly の Infrastructure Team で Engineer をしている南（@south37）です。 今日は、WANTEDLY TECH BOOK 5 から「巨大企業による分散データベース技術の発展」という章を抜粋して Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もその一環となっています。 Wantedly における Go 導入にまつわる技術背景 | Wantedly Engineer Blog （本記事は Go Conference 2019 Autumn にて無料配布した冊子『WANT
概要 全般 何はともあれコストタグ Cost Explorer でリソース別にコストを見よう IaC化しよう QuickSight も使おう 稼働時間対応する際はマスタカレンダを用意したい コンピューティング、コンテナ関連 EC2 定時バッチはマネージド化しよう EBS, Snapshot, AMI, EIP を消す ECS Container Insights の有効/無効を使い分けよう 何でも Fargate を選択すれば良いわけではない Fargate スポットを活用しよう Lambda Graviton対応しよう ECR イメージサイズを抑えよう ライフサイクルポリシーを設定しよう ネットワーキング VPC VPCエンドポイント入れ忘れに注意 VPC Flow Logs のS3バケット設定に注意しよう ストレージ系 RDS スロークエリ出てないかAPMを使って確認 DynamoDB
2022年夏開始の新作アニメ一覧
続々と新作アニメの放送・配信が始まります。2022年夏(6月ごろ～8月ごろ)に始まるアニメの数はまたも50本以上。大半の作品は何らかの形で配信が行われるもの、「全配信作品をまんべんなく見られるサービス」はないため、どの作品をどのように視聴するか、いろいろ悩まされるところです。 50作品超のうち、少なからぬ作品がマンガや小説などの原作モノですが、「魔法少女リリカルなのは」シリーズを手がけたことで知られる都築真紀さんによる「Extreme Hearts」や、「冴えない彼女の育て方」の丸戸史明さんがシリーズ構成・脚本を手がける「Engage Kiss」、「四畳半神話大系」「犬王」などを監督した湯浅政明さんと「交響詩篇エウレカセブン」のシリーズ構成などで知られる佐藤大さんが原案の「ユーレイデコ」などのオリジナルアニメが放送されます。続き物だと、人気小説シリーズを原作とした「オーバーロードⅣ」と「ダ
気がつけばフェードアウト? ビデオカメラの歴史を振り返る
気がつけばフェードアウト? ビデオカメラの歴史を振り返る：小寺信良のIT大作戦（1/5 ページ） JVCケンウッドが2月1日、2022年3月期 第3四半期の決算説明資料を公開した。それによれば、民生用ビデオカメラの生産は2021年10月に終了しており、そのリソースを別の成長事業へシフトしていくという。 まだやってたのか、と思われた方も多いと思う。確かに昨今、他社も含めビデオカメラの新製品が出ていないため、とっくに事業終了したと思っているかたも多いと思うが、新製品を出していないから事業が終わっているわけではない。旧製品を製造して出荷し続けている限りは、企業にとっては事業終了ではないのだ。 したがってJVCケンウッドの生産終了は、在庫があれば最後まで出荷はするだろうが、なくなり次第事業終了と受け止めていいだろう。 民生用ビデオカメラは、日本が圧倒的大差で世界をリードした分野だった。国内の家電
ネットワーク技術部の竹﨑です。IIJには2020年度に新卒で入社し、IIJバックボーンの運用に携わる部署で働いております。過去にはこのような記事を投稿しております。 今回は私が電電・インフラ設備オタクになったきっかけの一冊をご紹介いたします。 はじめに 電話はなぜつながるのか そもそも書籍のタイトルである「電話はなぜつながるのか」と考えたことがある方は非常に少ないと思います。電話は水道電気ガスや“インターネット”と同じインフラであり、蛇口を捻れば出てくる水やケーブルを挿せばつながるインターネット( 最近ではケーブルをつなぐことは少ないかもしれませんね:) )のように受話器を上げて特定の番号へダイヤルすれば当たり前のようにつながるものとなっています。インフラ全般に言えることですが、当たり前に使えるということは驚くべきことです。しかし、あまり意識されることはありません。そのような当たり前だけど
ChatGPT/LLM・AIについて資料をまとめた (講演90分Ver) | IIJ Engineers Blog
90分でChatGPTやLLMについてお話ししました 世は第三次人工知能ブームまっただ中です。IIJでも九州支社のとみがITインフラ屋の視点から出発したAI探求の模様をこのblogに寄稿していますし、他にも社内あちこちでAIに関する実験や遊びが行なわれています。 そんな中、ご縁があって株式会社STNet様主催、スマートシティたかまつ推進協議会様後援のセミナーにて、ChatGPTを含めたAIの最近の動向について講演する機会をいただきました。セミナーでは90分でChatGPTの紹介から、LLM(大規模言語モデル)のごく基本的な構造、そして「ChatGPT・LLMを業務に利用する」ということについて、私見を交えてお話をいたしました。主催者様が力を入れて紹介してくださった事もあり、思いのほかたくさんの方にお話を聞いていただくことができました。(ご参加いただいたみなさんありがとうございます) そのと
コードレビュー 開発者ガイド
コードレビュー 開発者ガイド はじめに コードレビューとは、コードの作者以外の誰かがそのコードを確認するプロセスです。 Google では、コードと製品の品質を確保するためにコードレビューを活用しています。 このドキュメントは、Google のコードレビューのプロセスとポリシーに関する正式な説明です。 このページは、コードレビューのプロセスの概要となっています。このガイドは、次の2つの大きなドキュメントからなります。 コードレビューの方法: コードレビュアのための詳しいガイドです。 CL の作者のためのガイド: コードレビュー対象の CL を作成する開発者のための詳しいガイドです。 コードレビュアは何を期待するべきか？ コードレビュアは、以下の点について確認しなければなりません。 設計: コードはよく設計されており、あなたのシステムにとって適切なものですか？ 機能: コードは作者が期待して
なぜ、スクラムが上手くいかない・しっくりこないと感じるのか考えてみよう | IIJ Engineers Blog
なぜ、スクラムが上手くいかない・しっくりこないと感じるのか考えてみよう 2023年06月20日 火曜日 どうも名古屋支社の北河です。 今回はスクラムの “ちょっと” した感じ方について取り上げていきたいと思います。 スクラムを実践している方はスクラムガイドを一度は読んだことがあるかと思います。読んでみると、軽量級やシンプルといったキーワードが目に入ってきます。 そしていざスクラムを実践し始めるとこんな声を聴きます。 「う～ん、難しい。上手くいかない」「なんかしっくりこない」「これで良いのかな？」と。 ということで、なぜ上手くいかないと感じるのか、しっくりこないと感じるのか、を自分の解釈を交えて考えてみたいと思います。 スクラムとは アジャイルの価値や原則を満たすプラクティスを組み合わせたフレームワークの一つです。 アジャイルとスクラムを混同していたり、違いって何？というケースを見かけますが
日本Haskellユーザーグループ（愛称 Haskell-jp）発起人の一人にして、Haskell-jpで一番のおしゃべり。 HaskellとWebAssemblyとプリキュアとポムポムプリンをこよなく愛する。 こんにちは。IIJ-IIの山本悠滋です。 今日はここ数ヶ月私と有志で行っている、Haskellの社内勉強会と、そこで使用している自作のHaskell入門ツールについて紹介します。 Haskellの社内勉強会について 「社内勉強会 失敗しながら学ぶHaskell入門タイム」と称して、私はこれまでに8ヶ月近くもの間、週1回Haskellの勉強会を開催してきました。 この手の勉強会は連続して参加することが前提となっているため、どうしても最初の回から少しずつ人数が減っていくという残念なことになりがちですが、どうにか私含め4～5人程度を維持してここまで30回、18個目の課題まで進めることが出
by Alpha Photo Twitterはホーム画面に表示するタイムラインを「おすすめ(For You)」と「フォロー中(Following)」の2種類を用意していますが、2023年2月13日頃から「おすすめ」のタイムラインにTwitterのイーロン・マスクCEOのツイートばかり表示されていることが報告されています。マスク氏のツイートはアカウントをフォローしていないユーザーのタイムラインにも数多く表示されていると指摘されています。 Twitter is just showing everyone all of Elon’s tweets now - The Verge https://www.theverge.com/2023/2/13/23598514/twitter-algorithm-elon-musk-tweets Twitter Feeds Suddenly Flooded
データ分析部門にビジネス上のレゾンデートルを与えるということ - 渋谷駅前で働くデータサイエンティストのブログ
3月にばんくしさんとイベントでご一緒したり個人的に話をする機会*1があったんですが、その際に何度も話題にされていたのが「エンジニア部門やAI部門にビジネス上のレゾンデートル（存在意義）をどう与えるか」というテーマでした。これについては実際にご本人もnoteの記事としてまとめられています。 このnote記事ははてブ数を見るまでもなく各所で多くの議論を呼んだようで、観測範囲ではかなり広汎に分かれた論調が散見されています。そのいずれもそれぞれの界隈*2における実態を反映しているように見受けられ、一口にエンジニア業界・AI業界といってもやはり多様なのだなという感想を持ちました。 ということで既にある程度論点が出尽くしてきた感もありますが、今回のブログ記事ではデータ分析部門の話題に特化した上で、そこに僕の見聞談並びに見解を幾許か付け加えてみようかと思います。ちなみにあまり楽しい話題ではない旨、予め警
2024年3月14日より開催された「JaSST'24 Tokyo」の登壇資料です。 https://jasst.jp/symposium/jasst24tokyo.html ▼関連資料 開発者体験を見える化し「計器飛行」の実現を目指すSODA構想 〜事業の成長とプロダクト組織能力の相関関係を見いだすには〜 https://speakerdeck.com/visional_engineering_and_design/developer-experience-day-2023 ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜 https://speakerdeck.com/takabow/devopsdays-tokyo2022-huakutokarashi-merugai-shan-apuroti-leantodevopsfalseke-xue-woshi-
IIJのコンテンツ配信事業やグループ会社のJOCDNやIIJエンジニアリングに所属。CDNサービスの運用保守以外にもイベントで現場からライブ配信作業や動画編集などやってます。にじさんじ所属の星川サラが大好きなエンジニア。 電波時計が自宅で使えない どうしたら正確な時刻を刻めるのか そこで考えたのが ラズパイを買って壁にディスプレイを取り付けNTPで取得した時間を常時表示する NTPに対応した掛け時計を買う 「NTPリピーター」と呼ばれる装置からNTPで取得した時間を電波時計で受信できるように送信する 最初は１を考えましたが見た目が気に入らなく常時ディスプレイを表示はあまりにも色々な理由で微妙すぎるのでやめた。 その後２と３で悩みました。 2. NTPに対応した掛け時計を買う 参考製品：https://www.seiko-sol.co.jp/products/ntp_clock/ これが一番
本記事で紹介する方法は、企業や組織のセキュリティポリシーで禁止されていることがあります。利用前に必ず組織の管理者にご確認ください。技術的に利用可能だったとしてもルールで禁止されている場合があります。 本記事の内容は便宜のために公開しており、無保証・非サポートです。IIJ のお客様でも、Gmail についてのサポート窓口へのお問い合わせはご遠慮ください。 正確な内容になるよう努めていますが、Google 社の仕様変更やポリシー変更等によって不正確になることもあります。各自の責任においてご利用ください。 以前、当エンジニアブログでも記事になっている通り、2024年 2月から Gmail 宛(※1)のメールは、なりすまし対策として有効な 送信ドメイン認証の対応が必須 となることが告知されています。(→Google, Yahoo の Sender Guidelines について) したがって Gm
SEILでつくる、“最強”ご家庭用ルータ ～ひかり電話無しプラン～ | IIJ Engineers Blog
セキュリティオペレーションセンター と セキュリティ情報統括室 に所属。システム開発者(極) を目指すプログラマ としての活動と、セキュリティアナリストとして活動をしています。うさぎさんのぬいぐるみが相棒 【IIJ 2021 TECHアドベントカレンダー 12/2（木）の記事です】 くまさかです。 弊社では、ご家庭の情シス主幹として活動している方がそれなりにいます。かくいう私もその一人です。 OSアップデートから、プリンタの設定など、ワンオペなのでやることは多岐にわたります。 そのような家務の中には、もちろんネットワーク運用も含まれます。 弊家のネットワーク運用では、ゲートウェイルータとして、IIJ製のルータであるSEIL を採用し、細かな経路設計なども実現できています。 今回は、そのようなSEILの経路設計から、 ひかり電話無し契約時のIPoE+DS-Lite/PPPoE な設定例を紹介
The Missing README: A Guide for the New Software Engineerを読んだ The Missing READMEという新人ソフトウェアのためのエンジニアガイドの書籍を読んだ感想です。 The Missing README learning.oreillyで読める The Missing README: A Guide for the New Software Engineer 2021年8月10日 に出版された書籍 The Missing READMEはコード、設計、テスト、リファクタリング、例外処理やログ、依存管理、コードレビュー、CI/CD、インシデント対応、コミュニケーションやプロジェクト管理など幅広いことがすっきりとまとまってる感じの書籍です。 全体的に説明に出てくるコードは少なめです。逆を言えば特定のプログラミング言語に依存していな
freeeの社内異動制度「異動戦国」のチーム紹介を一挙公開 - freee Developers Hub
こんにちは、DevBrandingのellyです。 先日ブログでご紹介したfreeeの社内異動制度「異動戦国」、この時期になると社内では毎年、異動希望者を募集するために各チームの熾烈なPR合戦が繰り広げられます。 今回は、その際のSlackや社内WikiでのPR合戦の様子をご紹介します。募集期間中の社内の雰囲気やfreeeの開発組織にはどんな仕事があるのか、どんな魅力があるのかを知ってもらうきっかけになれば嬉しいです。 Slack上で繰り広げられた今年のPR合戦の様子 チーム紹介 SREチーム DBREチーム DXチーム IAM （認証認可基盤開発）チーム サービス基盤チーム 課金基盤チーム ERP基盤チーム データ基盤チーム コアエンジン（外部サービス連携）チーム AIラボチーム 会計チーム LEGO（Public API・アプリストア開発）チーム 人事労務チーム 金融チーム プロジェク
Starlink(スターリンク)を7台束ねたら速度が上がるのか？確認しました！ | IIJ Engineers Blog
結構長くゲーム業界に出向していましたが、2022年秋に戻ってきました。ゲーム業界での経験も生かしながらIIJのエンジニアとしてちょっと面白いことを提供できていければいいなぁと思っています。格闘ゲームの世界チャンピオン(Evo2017)になった従兄弟がいますが彼にゲームを教えたのは僕ではありません。マスターリーグ大変そう、あと取締役就任おめでとう！ Starlinkは相当の性能をもった回線ですが、数百Mbpsという性能はダウンロード方向でありアップロードはそこまで早くはありません。 Starlinkについて説明している動画をみるとアンテナ理論値は540Mbpsのようです。実際に手持ちの環境で最近計測したときの最高値はダウンリンクが316Mbpsでアップリンクが33.9Mbpsでした。Starlink衛星がアンテナとの通信に使っているKuバンドの帯域はダウンロード方向に2GHz、アップロード方
Go製の全文検索エンジンOmochiを作った.
1.はじめに 膨大な量の電子データから目的となるデータを取得・抽出する情報検索。その技術は広く普及し、多くの人々が、様々な場面でその恩恵を受けています。GoogleやBingをはじめとした、世の中に大きなインパクトを与えるWeb検索がその代表例ですが、物件検索や論文検索、メール検索などその応用は様々です。 さて、今回取り組んだのは、Goによる転置インデックスを用いた全文検索エンジンのスクラッチ実装です。研究で自然言語処理を学んだことをきっかけに、情報検索や転置インデックスといったトピックに強い興味が湧いたので、Elasticsearch等には頼らず、ゼロから実装を行いました。以下、リポジトリになります。 本記事では、Omochiの設計・実装に関する説明を行なっていきます。 2.転置インデックス型・全文検索エンジンOmochi リポジトリのREADME.mdにも記載がありますが、今回実装した
2002年から約10年 IIJ技術研究所長. 年を取ってからは古い計算機や昔の計算法に興味が増し, シミュレーターを作ってそのプログラムを書いたり. 近頃はKnuthのTAOCPにあった問題のプログラムなどに挑戦したりしている. 【IIJ 2021 TECHアドベントカレンダー 12/10（金）の記事です】 下の写真は, 私がある時期に, かなりよく使った端末や計算機である. Teletypeは, 1970年頃に使われたミニコン(HITAC 10やFACOM Rなど)の標準入出力機器で, その少し前から,アメリカDEC(Digital Equipment Corporation)のミニコン, PDP-8などでも使われた. 研究室には, 松下製のミニコンMACC-7が, 学科にはPDP-8を拡張したPDP-12があり, この端末を使った. DEC社のVT100は, ディスプレイを持った入出力
GNU/Linux (x86/x86-64) のシステムコールをアセンブラから呼んでみる - CUBE SUGAR CONTAINER
今回は、表題の通り x86/x86-64 の GNU/Linux でシステムコールをアセンブラから呼んでみる。 システムコールは、OS (ディストリビューション) のコアとなるカーネルがユーザ空間のプログラムに向けて提供しているインターフェースのこと。 なお、アセンブラの実装に関しては以下の二つを試した。 NASM (Netwide Assembler) GAS (GNU Assembler) アセンブラには INTEL 記法と AT&T 記法という二つのシンタックスがある。 NASM はデフォルトで INTEL 記法を、GAS はデフォルトで AT&T 記法を使うことになる。 使った環境は次の通り。 $ uname -sr Linux 4.15.0-65-generic $ nasm -v NASM version 2.13.02 $ as -v GNU assembler versio
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 名前がアツいよね。 BabyとはいえAGI(Artificial General Intelligence:汎用人工知能の略。男性の頭が薄くなるのはAGA。)。 実はこうした実行計画・調査・追加調査事項の抽出といったタスク管理を含めた総合的な動作をNLPモデルに行わせつつ、本来はn-CTXと呼ばれるインプットレイヤーのトークン数しか情報が入れられない環境下でも長期記憶を持たせて適切な回答をさせるようなものが増えました。今回、その中でも仕組みがわかりやすく作られていた https://
2021年11月にセキュリティ情報統括室に所属。頑固なので、ニックネームだけでもやわらかくひらがなにしてみました。普段はハニーポットで収集したDDoSの発生源であるマルウェアを対象に分析しています。 お久しぶりです。ふぇにっくちゅん です。 いきなりですが、みなさんは普段文章を書くときに、Markdown を利用していますか？ ふぇにっくちゅんは、ほとんどのシーンで Markdown で文章を書いています。 Markdown は簡単な構文を覚えるだけでよく、書いた文章をきれいに整えて表示できるようになります。 ここで、文章を書く方々に質問です。 文章を書くために HTML なんて書きたいですか？ （書きたくない） 文章を書いて公開するだけなのに、WordPress を運用したいですか？ （DBなんて運用したくない） 文章の公開と非公開という単純な閲覧制限の機能だけで物足りますか？ （柔軟か
Haskellコミュニティでは、ネットワーク関連を担当。 4児の父であり、家庭では子供たちと、ジョギング、サッカー、スキー、釣り、クワガタ採集をして過ごす。 QUICへの誘導 前回のブログで、ブラウザが HTTP/3 (HTTP over QUIC) に対応したサーバにアクセスしたときに、最初は HTTP/2 を使い、2回目の通信からHTTP/3を使うようになると説明しました。今回は、この過程でクライアントとサーバが何を折衝しているか、以下の順で解説します。 TLSのバージョン HTTPのバージョン HTTP/2からHTTP/3への誘導 QUICのバージョン TLSのバージョン あるURLで指定されたサーバにクライアントがアクセスすることを考えます。URLは、httpsで始まっていたとしましょう。つまり、TLSの中でHTTPが使われます。現在推奨されているTLSのバージョンは、1.2と1.
麻布十番駅の核シェルター化について
小池百合子知事が麻布十番駅を核シェルターにするとぶち上げて話題になっているが、 https://b.hatena.ne.jp/entry/s/news.yahoo.co.jp/articles/20979db65c4b2665d53884ea0247aa2eac51db19 実は都営地下鉄大江戸線の麻布十番駅は防災拠点として整備されていて、地下に巨大空間があるのだ。 地下鉄の線路は地下6階にあるのだが、駅コンコースは地下4階となっている。その上の空間が備蓄倉庫となっている。 更に鳥居坂のシンガポール大使館下に地下駐車場の入口があるのだが、 https://maps.app.goo.gl/T7BFm9ohKUEZT68J7 この下と道路の下が駐車場で、その下がまるまる防災倉庫＋コンコースとして伽藍と開いているのだ。 大江戸線は2000年に開通したが、90年代の麻布十番は延々と工事中で、しかも
by barité Videojuegos 2001年に発売された初代Xboxの共同開発者として知られるSeamus Blackley氏が「初代XboxはAMDが開発に協力してくれたが、最後の最後でIntel製CPUになった」と明かしました。 Original Xbox Ditched AMD For Intel At The Very Last Minute https://kotaku.com/report-xboxs-last-second-intel-switcheroo-left-amd-eng-1847851074 Blackley氏は初期から初代Xboxの開発に関わったことから「Xboxの父」とも呼ばれる人物。そんなBlackley氏が2021年10月13日、「Xbox20周年が近づいてきたことだし、もう一度AMDに謝罪しておきたい」として、XboxのCPUをAMDからInt
NETGEAR社製ルーターにおける認証不要の任意コード実行の技術的解説(PSV-2022-0044) - Flatt Security Blog
※本記事は先立って公開された英語版記事を翻訳し、日本語圏の読者向けに一部改変したものです。 画像出典: https://www.netgear.com/business/wifi/access-points/wac124/ はじめに こんにちは、株式会社Flatt Securityのstypr(@stereotype32)です。 一昨年、日本のOSS製品で発見された0day脆弱性に関する技術解説をブログに書きました。 それ以来、私は様々な製品に多くの脆弱性を発見してきました。残念ながら私が見つけたバグのほとんどはすぐに修正されなかったので、今日まで私が見つけた、技術的に興味深い脆弱性の情報を共有する機会がありませんでした。 本記事では、NETGEAR社のWAC124(AC2000)ルーターにおいて、様々な脆弱性を発見し、いくつかの脆弱性を連鎖させて、前提条件なしに未認証ユーザーの立場からコ
はじめに 学生や教員のネットワーク環境は多様であり，場合によっては通信量を抑える必要が出てきます．そこで，本記事では，Zoom の通信量の抑え方について基本的な事項も交えながら説明します． 本記事は，2020年5月29日に実施された【第9回】4月からの大学等遠隔授業に関する取組状況共有サイバーシンポジウム（5/29オンライン開催）における「オンライン授業において Zoom の通信量を抑えるには」の講演内容をベースに記述されています． 通信量の抑えどころ 教員(送信者)と，学生(受信者)の双方の工夫でそれぞれ通信量を減らすことができます．そのことを理解する上でも，Web 会議でどのような通信が行われているのかを概観しましょう． 以下の図を用いながら説明します． この図は以下の状況を想定しています． 教員がビデオを ON にして，画面共有をしながら音声で資料を説明しています．その情報は Zoo
入れ子構造を自由に拡張する – TypeScript版「Trees that Grow」 | IIJ Engineers Blog
日本Haskellユーザーグループ（愛称 Haskell-jp）発起人の一人にして、Haskell-jpで一番のおしゃべり。 HaskellとWebAssemblyとプリキュアとポムポムプリンをこよなく愛する。 This is a Japanese translation of Flexiblly Extend Nested Structures – “Trees that Grow” in TypeScript. 抽象構文木（AST, Abstract Syntax Tree）の扱いに慣れた一部のHaskell開発者の間では、「Trees that Grow」というイディオムが一般的で、Haskellの最も有名なコンパイラ、GHCにおいても採用されています。今回は、この「Trees that Grow」をTypeScriptで実現するにはどうすれば良いかを共有しましょう。 あらまし Ha
複数のサブスキーマを持つデータへの対応におけるスキーマ記述言語の比較 | IIJ Engineers Blog
プログラミング中、何度も同じような、でも、その都度少しずつ異なるコード（ボイラープレートコードとも呼ばれます）を記述しなければならない場面は多々発生します。 可能ならば、このようなパターン化された単調なコードの記述は省略して、より重要なロジックの実装に集中したいものです。 Web APIの開発においても、毎回のように実装が必要なパターン化された処理は多々あります。 リクエストやレスポンスのデータ（現在、ほとんどがJSON形式）のバリデーションもその代表です。 データ種別ごとに手動でバリデーション処理を記述するのでは無く、データ仕様の定義（データスキーマ）を与えれば、自動的にバリデーションするような仕組みが理想でしょう。 本稿では、そんなバリデータの調査や検証中に見つけた課題についてご紹介したいと思います。 ポリモーフィックパターン まず、以下のようなJSONデータを処理するケースについて考
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ようこそ、Kubernetes沼へ。商用サービスSREの現場から | IIJ Engineers Blog
自宅のパソコンにLTOドライブを載せてみた | IIJ Engineers Blog
地方ならではのクラウドVDIの落とし穴 | IIJ Engineers Blog
AWSやKubernetesなどのインフラ管理をまとめて行える「Clutch」をLyftがオープンソースで無料公開
コンテキストスイッチとうまく付き合いたい | IIJ Engineers Blog
2023年のSREチームのAWSコスト削減を振り返る - Uzabase for Engineers
『電話はなぜつながるのか』：私のお気に入りなエンジニア向け書籍 | IIJ Engineers Blog
Haskell社内勉強会とHaskell学習ツールの紹介 | IIJ Engineers Blog
Twitterの「おすすめ」タイムラインがイーロン・マスクのツイートとリプライだらけになっていると報告されている
テストだけで品質は上がらない?! エセ自己組織化した品質組織からの脱却 / JaSST'24 Tokyo
電波時計が使えないなら電波塔を作ればいいだけだ | IIJ Engineers Blog
Gmail への転送エラーを回避する方法 | IIJ Engineers Blog
The Missing README: A Guide for the New Software Engineerを読んだ
Happy Hacking Keyboard 誕生の経緯 | IIJ Engineers Blog
Baby-AGIなるAI連動型の推論システムを評価してみた | IIJ Engineers Blog
GitHub から Markdown だけ切除してみた | IIJ Engineers Blog
QUICをゆっくり解説(2)：ネゴせよ | IIJ Engineers Blog
初代Xboxは「土壇場でCPUがAMD製からIntel製に変更された」と開発者が明かす
オンライン授業において Zoom の通信量を抑えるには