【登大遊】天才エンジニアの安寧を求めない生き方「日本で“大義”を持って働く選択は有利」 - エンジニアtype | 転職type
エンジニアがいい仕事人生を歩むために、「心と体のコンディション」と「仕事のパフォーマンス」にはどんな相関関係があるのだろう？ 高いパフォーマンスを発揮するエンジニアの経験談から「心・技術・体」のベストバランスを学ぶ！ 2020年、NTT東日本と独立行政法人情報処理推進機構（以下、IPA）が提供した、無償かつユーザー登録不要で利用できるシンクライアント型VPN『シン・テレワークシステム』が話題を呼んだ。 このシステムをわずか2週間で完成させたことで称賛を集めたのが、自ら経営するソフトイーサの代表取締役、筑波大学産学連携准教授、IPA技術研究室長、NTT東日本特殊局員と、4足のわらじを履くプログラマー・登大遊さんだ。 優れたアウトプットを出し続ける登さんだが、「パフォーマンスと自身のコンディションは、基本的に常に一定」なのだという。登さんはなぜ、ブレずに高いパフォーマンスを出し続けることができ
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
自炊するな。ガチでやめろ。人生終わる。
引越しをするついでに自炊――家の本の電子書籍化――を行った。以下はその時の作業メモ、および深い後悔についての記録である。短くまとめると、絶対に自炊はしてはいけない。自炊をすると最悪死ぬ。 具体的な自炊の方法が知りたい方はすぐさましかるべき場所までスクロールすればよい。そうやってインスタントに情報を知っていればいいんだ！ ずっとそうしていればいい！ だが覚えておけ、Q. そうやって得た知識が何になるというんだ！ A. 知識になる 前書き 引越しをした。私は引越しを安上がりにするタイプで、おおむね宅急便 + 赤帽 + 自家用車による庶民的な引越しを行うことが多い。だが引越しの詳細についてはまた今度にしよう。 引越しをするついでに家にある本を大雑把に1. 重要な本、2. 持っておく本、3. くそどうでもいい本 の三つに分けた。 各カテゴリには、例えば次のようなものが含まれる。 重要な本 父親から
ブラウザで動くサービスを作るときの技術選定
はじめに 私の仕事は、新規サービスをまるっといい感じに開発するのを委託されることがほとんどです。最近はネイティブアプリを作ることよりもブラウザで動くWebサービスを開発することが多いのですが、案件の規模感や要求によって技術選定を少し変えるようにしています。「こういうときはこう」みたいに一概には言えないのですが、普段使う構成を紹介します。誰かの参考になれば幸いです。 2022/02/10 現在での内容です。 前提 開発を委託される場合の運用費をどうするの問題があります。クライアントにクレカ登録をしてもらうか、こちらで支払って毎月請求するかになります。僕は毎月やるのがめんどくさいのでできるだけ前者に倒している関係上、あまりいろいろなSaaSを組み合わせて作ることをなるべく避けています。 規模感によらず使っているもの 私の場合、以下が使えるとめちゃくちゃ効率よく開発できます。 GCP 好きだから
元司書が語る！ 国立国会図書館の絶版本「読み放題解禁」がスゴい
『独学大全──絶対に「学ぶこと」をあきらめたくない人のための55の技法』著者の読書猿さんは昨年「独学」「執筆」に加えて「復刊」をライフワークとしていくことをTwitterで宣言した。この連載「読書猿が推す『良書復刊』プロジェクト」では、読書猿さんが推す復刊本や、復刊に関係する話を紹介していく。 2022年5月19日より、国会図書館による「個人向けデジタル化資料送信サービス」がスタートする。ごく簡単に説明すると「国会図書館デジタルコレクション所蔵の絶版本や雑誌が、自宅で読み放題になる無料サービス」だ。読書猿さんは、このニュースは全国の独学者にとっても福音であると話す。今回は、元司書でレファレンス担当だった書物蔵さんを対談相手に迎え、同サービスの使いこなし方、楽しみ方を語ってもらった。（取材・執筆／藤田美菜子） 「自宅の隣に国会図書館」のインパクト ――今回スタートする、国会図書館の「個人向け
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Original article:https://blog.cassidoo.co/post/producivity-apps-2023/ 以下はCassidy Williams ( dev.to / Twitter / GitHub / Webサイト ) による投稿、The Productivity apps I use in 2023の日本語訳です。 技術者には珍しくWebサイトがファンシー。 The Productivity apps I use in 2023 お気に入りのツールや、それをどう使って仕事を進めるのかについてよく聞
なぜぼっちは恵まれているのに苦しむのか。 それは心像に負けているからである。 幸福になりたければストア哲学を実践しろ。 暗く狭い場所にて 『ぼっち・ざ・ろっく！』の人気が凄い。 1話の時点からクオリティが高いなと思っていたが、回を増すごとにどんどん人気が高まっている。最近はTwitterを開くたびにファンアートが流れている印象がある。 もちろん俺も楽しんで見ているわけだが、つい思ってしまうことがある。本作の主人公、ぼっちこと後藤ひとりに対して、「こいつ、持っているな」と。 『ぼっち・ざ・ろっく！』第1話 感受性。創造力。優れた容姿。生まれの良さ。練習を持続する意志。アリストテレスならば、彼女のことを「外的な善を持ち合わせている」と評するだろう。 だが何よりもぼっちは、卓越した演奏技術、すなわちギタリストの徳(アレテー)を持っている。これほど素晴らしいことがあるだろうか。 しかし当のぼっちは
ブログ「読書猿 Classic: between/beyond readers」主宰。「読書猿」を名乗っているが、幼い頃から読書が大の苦手で、本を読んでも集中が切れるまでに20分かからず、1冊を読み終えるのに5年くらいかかっていた。 自分自身の苦手克服と学びの共有を兼ねて、1997年からインターネットでの発信（メルマガ）を開始。2008年にブログ「読書猿Classic」を開設。ギリシア時代の古典から最新の論文、個人のTwitterの投稿まで、先人たちが残してきたありとあらゆる知を「独学者の道具箱」「語学の道具箱」「探しものの道具箱」などカテゴリごとにまとめ、独自の視点で紹介し、人気を博す。現在も昼間はいち組織人として働きながら、朝夕の通勤時間と土日を利用して独学に励んでいる。 『アイデア大全』『問題解決大全』（共にフォレスト出版）はロングセラーとなっており、主婦から学生、学者まで幅広い層か
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 記事の概要 私（芝浦工業大学学部4年生）が大学3年時に1人で制作した、大学のポータルアプリ（ポータルサイトからスクレイピングして時間割などを表示する）が、大学に正式採用され、公式アプリ"ScombApp"としてリリースされるに至った経緯を時系列順に説明します。 ホーム画面 時間割画面 制作の動機 大学のポータルサイト使いにくいがち。 ポータルサイトのスマホアプリ版があれば便利そう。 他にやってる人いなさそうだし、最初に作ったらみんな使ってくれそう。 ポータルサイトの問題点 大学ポータルサイトで使いにくかった点を挙げていく。 とりあえずこ
（年収270万で）プログラマーを引退して、医学部にきた俺が真面目に考えてやろう。 ① 言葉は正しく使おう真面目に読んでいて、ちょっと気になる箇所がある。たとえば PostgreSQL を postgre とか書くヤツは現場では嫌われるぞ。少なくとも postgres と書いてくれ。お里が知れるぞ。 ② プライドが高い消えていくエンジニアの特徴だけど、叱責されたり馬鹿にされるのが嫌で VCS にコミットしないヤツ、または貪欲にコードレビューをされるのが嫌がるやつは、成長しない。 ③ エリート意識この業界は数年前には『デジタル土方』と揶揄される業界でした。ちなみに、アメリカでも「テック系はハードだから避ける」という雰囲気でした。つまり何をいいたいのかというと、ソフトウェアの開発者っていうのは「泥臭い領域」なんだよ。エリートとは程遠い場所にあるというね。 ④ 「某天市場の先輩には，ここ仕事量少な
2020年のフロントエンドエンジニアの技術スタックの一例
年の瀬なので、私自身が今年利用した技術をベースに技術スタックをまとめてみようと思います。 とはいえ Web Standard といった広い対象から、フレームワークやライブラリまで、粒度の違うものを全て言及するのは無理があるというもの。特に強く言及できるものは個別で説明しつつ、最後に利用する機会がなかったものも最後に記載する形で。 以下常体。 追記: マイナー企業のようなので一応書いておきますが、筆者は本業ではLINE株式会社という組織でいわゆるエンジニアリングマネージャーと言われるような業務とその採用に関わる仕事をしています。 利用した技術一覧 HTML/CSS/JS みたいなことを書いてるとキリがないので、独断と偏見で区分けして適宜漉いています。特に利用する機会が多かったものは太字でピックアップ。 Frontend Language/Platform TypeScript JavaScr
コーディングのようにノートを取る技術 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 何かを学習するとき、ノートを取っているでしょうか？ 小学生の頃や中学生・高校生の時の「ノート」は紙に手書きだったかと思います。 しかし、最近になってからはパソコンを使ってノートを取る、という選択肢が増えました。 その変遷の中で生まれたパーソナル・ナレッジ・マネジメント(Personal Knowledge Management) という考え方があります。 その考え方を共有できたらと思います。 直感的なデジタルノート術の原罪 ケース1: ひたすらに手を動かす 学生の頃、黒板に書かれた内容をそのまま必死にノートに写している人がいた
かつてWindowsでテキストファイルといえばシフトJIS形式のものが大半だった。しかし最近では、UTF-8形式のテキストファイルも普通に見かけるようになってきた。世の中はUTF-8が主流になりつつあると言っていいだろう。 しかし、WindowsでUTF-8を使うと、ちょっと困ったことがある。それは、エクスプローラーの検索欄などで用いるWindows Searchが、UTF-8にはしっかり対応していないのである。正確に言うと、Windows Searchはファイル先頭に「BOM」のあるUTF-8は認識して正確にインデックス化し、ファイルの全文検索が可能になるが、BOMのないUTF-8では正しくインデックス化できず、ファイルの全文検索はASCIIコードのみ可能で、日本語などの非ASCII文字では全文検索ができない。 同じ内容のテキストをUTF-8、UTF-8 BOM付き、UTF-16ビッグエ
AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください！ 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ
こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
誰でもわかる全文検索入門
全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単
2022 年に学んで良かった技術
雑に書いていきます。 バックグラウンド自分のバックグラウンドスキルは以下の通り。専門はリアルタイムな通信プロトコルを利用したサーバーの設計と開発とマーケティング。 Erlang/OTPWebRTCEnd to End Encryption細かいのはこちら。 SQLGo で sqlc を使うために学ぶことにした。sqlc を採用したのは複数人数で開発するときの共通言語としては SQL の方がいいだろうというのと、SQL はどんなデータを持たせたいのかを伝えるのに便利と判断したため。 今までずっと通信系ミドルウェアの開発をしてきたこともあって SQL を学ぶ必要が無かったが、今回いい機会なのでちゃんと学ぶことにした。 まずは利用データベースを完全にしぼって TimescaleDB (PostgreSQL ベース) で利用する SQL だけを学ぶことにした。 書籍は元 SIer のガチ SQL
Obsidian がすごくいい
Obsidian（オブシディアン） と出会ってまだ3日目ではありますが、ここ最近で一番興味をそそられるアプリだったので紹介します。 A second brain, for you, forever. https://obsidian.md/ 出会いの経緯 を眺めていたときに一つの記事が目に付きました。 私がソフトウェア開発者として Notion から Obsidian に移った理由トップ3 何やら少し挑戦的なタイトルです。私も情報を整理するときに Notion はよく使用しています。不満がないとは言わないものの、Notion の機能を超える情報整理ツールは中々ないことくらいはわかります。 気になった記事は、まず読んでみることです。 読みながらの感想 "Obsidian" ……なんて読むの？ｶﾀｶﾀ……オブシディアン。いやー、スペルも読み方も覚えられないなぁ……。どんな意味なの？ｶﾀｶﾀ……
あなたの遅延はどこから？ SQLから！ 〜患部に止まってすぐ効くSQLレビューチェックリスト 年初め特大サービス号〜 - ANDPAD Tech Blog
あけましておめでとうございます！ 今年は異世界放浪メシのアニメが放送されるらしいので楽しみなバックエンドの原田 (tomtwinkle)です。 内部で運用しているSQLレビューチェックリストの一部を抽出し思いつきで追記して行った結果、結構な分量になってしまいました。 暇な時でも流し読みして頂けるとありがたいです。 Motivation SQLレビュー観点 大きくSQLが変更される修正の際にはEXPLAINをレビュー内容に加える 検索のキーにINDEXを使用しているか SQL発行回数がN+1(1+N)の構造になっていないか サブクエリを利用したSQLはパフォーマンス要チェック Viewの利用は基本的に禁止 CROSS JOINは禁止 WHERE句で十分に絞った検索をしているか 必要なcolumnだけSELECTしているか レコード数だけ必要な場合にCOUNT用のSQLを発行しているか 集計関
社内のSlackや打ち合わせで、今年に入ってから「どうやって本を読んでいるんですか？」と聞かれる回数が複数ありました。これを機にブログポストにまとめておこうと思います。これまでに色々な読書方法＋メモを試してきましたが、2022年時点で行き着いた方法という感じです。 前提 電子書籍（私の場合はKindle1）が販売されている書籍の場合は、電子書籍で購入します。電子書籍が販売されていない場合は、物理書籍を購入します。 電子書籍を優先する理由は次の2つです。 あとでまとめるときに楽なため スマートフォンがあればどこでも読めるため 特に1つ目の「あとからまとめるときの楽さ」を重視しています。（理由は後述） 読み進め方 電子書籍と物理書籍で読み方が多少異なります。そこで、電子書籍と物理書籍とで共通する部分を最初に示して差分を説明します。 電子書籍、物理書籍共通 高速で読み流し どちらのタイプの書籍で
JP Contents Hub
AWS 日本語ハンズオン Amazon Web Services(AWS) の 日本語ハンズオンやワークショップを、カテゴリごとにまとめています。 右側の目次や、ヘッダー部分の検索ボックスから、各コンテンツにたどり着けます。 また、Ctrl + F や command + F を使ったページ内検索もご活用いただけます。 料金について ハンズオンで作成した AWS リソースは通常の料金が発生します。作成したリソースの削除を忘れずにお願いします。 もし忘れてしまうと、想定外の料金が発生する可能性があります。 画面の差異について ハンズオンで紹介されている手順と、実際の操作方法に差異がある場合があります。 AWS は随時アップデートされており、タイミングによってはハンズオンコンテンツが追いついていない事もあります。 差異がある場合、AWS Document などを活用しながら進めて頂けますと幸い
神アップデート！ Win, Mac, Linux対応、クラウドでの同期機能も備えた最強のコードスニペットマネージャー -massCode
HTML, CSS, JavaScriptをはじめとしたさまざまな言語に対応、クラウドでの同期機能も備えたオープンソースのコードスニペットマネージャー「massCode」がv3に神アップデートされたので、改めて紹介します。 macOS, Windows, Linux対応、日本語の入力など日本語環境も完全サポート。クラウドで同期できるので、すべての環境で同じコードスニペットを使用できます。 非常に快適で高速に動作し、VS Codeとの連携でさらに便利になっています！ massCode massCode -GitHub massCodeの特徴 massCodeのダウンロードとインストール massCodeの使い方 massCodeの特徴 massCodeは、デベロッパー向けのコードスニペットマネージャーです。ライセンスはGNUで、オープンソースなので商用でも無料で利用できます。 macOS 1
本当に良いかどうかは時の洗礼を受けないと分からない。 だから去年買ったものを紹介する。 それにブラックフライデーだしな。 3年目の話 一昨年から1年前に買ってよかったものを紹介している。 なんか2回とも評判がいいし、俺の収入にもなる。だから今年も同じように書こうと思ったのだが、去年のトップブコメが気になっていた。 2021年に買って今も使い続けている良かったもの5選 - 本しゃぶり 逆に使わなくなった物も読みたい2022/11/25 08:50 確かに「使わなくなったもの」の情報は有用だろう。だがこれ単体だと俺の収入には繋がらず、書くモチベーションは生じない。だからまとめて紹介することにした。今回は以下の3つのランクに分けて紹介する。 使い続けていて、良いと思っているもの 使い続けているが、思うことがあるもの 使い続けていないもの なお、それぞれの製品でも述べるが、使い続けるかどうかは製品
国立国会図書館デジタルコレクションは最高である。 「国立国会図書館デジタルコレクション」が面白い まずは遊んでみる 使いまくりたくなったら準備しておくと効率が良い 無料でできる 検索演算子だけ覚えておく 国立国会図書館デジタルコレクションの使い方を知っておく 国立国会図書館オンラインに登録しておく メモ環境を作る 有料でできる パソコンを用意する できれば良い椅子とモニタがあったほうがいい 速度を意識して使う 速くなるとどうなるのか そこに全てはない ものすごいものをどうでもいいことに使うということ 「国立国会図書館デジタルコレクション」が面白い 「国立国会図書館デジタルコレクション」が面白い。 dl.ndl.go.jp 「国立国会図書館デジタルコレクション」では著作権など権利状況に問題がないことが確認できた約36万点の資料が無料で公開されており、ようするに古い本が無限に読めるサービスだ。
NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック
時雨堂を支えるビジネスモデル
shiguredo_model.rst 時雨堂を支えるビジネスモデル 更新:2023-12-08 作者:@voluntas バージョン:2023.2 URL:https://voluntas.github.io/ タイポなどは Twitter の @voluntas までお願いします。 概要 定期的に更新している 株式会社時雨堂 を作って、 自分が選択したビジネスモデルで充分な利益を上げられるようになったので雑に書き出していく。 時雨堂がどんな会社なのかは 時雨堂コトハジメ を見てほしい。 前提 IT 系零細パッケージメーカー で、ここ最近はパッケージをクラウド版として運用をセットで提供するビジネスも始めている。 主力製品はパッケージソフトウェア製品と、パッケージソフトウェア製品のクラウド版の２つ。 ライセンス契約モデル 時雨堂は自社開発ミドルウェアのライセンス契約モデルで利益を出している
ハマった作品のせいで二次創作込の女性向けBL(R-18込）から男性向け全年齢＆R-18に引っ越ししてからの周囲の変化 備忘録代わり。 良かった所 毒マロがほぼ消えた。なんだったの？ってぐらい消えた、何も来ねえ。 垢１つで良くなったこれが一番びっくりした。男性向けってジャンル毎に垢変えなくていいんだよね 元いた所だとそのジャンルの垢で別の作品の絵流すとなんかたまに毒マロ送られてきてたんだよね 今冷静に考えると私悪く無さすぎてムカついて来たな。 収入増加これはなにがどう、というわけではなく全体的な話。 純粋に男性向けは値段が高い、同人も１ページあたりの値段が高い。 コミッションも4桁にしてるとガンガン入って納期地獄になるから5桁に上げたぐらい。 最初は男性の方が収入高いからかなって思ってたけどフォロワーとかの動向見てると 多分これ手をつけちゃいけない金のラインが女性と男性比べて男性のほうがハー
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
Webフルスタックエンジニアになるためのチェックリスト Zennでの投稿にあたって この記事は、2020/03/22に自分のgithubリポジトリで公開していた内容を、Zennのgithubリポジトリ連携機能を用いて一般公開したものです。 投稿にあたって、Zennの記事連携フォーマットに準拠する以外の修正は加えておりませんので、一部Zennというプラットフォームの方針や雰囲気に合わない内容などあるかもしれません。あらかじめご了承ください。 はじめに 日本のWeb開発業界で「フルスタックエンジニア」になるために必要な知識を、個人的経験からまとめました。 フルスタックエンジニアの定義ですが、ここでは、 企業で開発リーダー/テックリードとして、Webブラウザアプリケーションを前提としたサービスの立ち上げからリリース、運用まで面倒を見られる。 というロールと仮定し、前提条件としては、どちらかという
オレオレ RAG をさくっと作る
この記事は間違いが含まれている可能性があります。 もともと自社のドキュメントでは Meilisearch で日本語全文検索を実現していましたが、ドキュメントに質問できるようしたいと思い、簡単な RAG を作りたい！と思っていました。 とりあえず、ドキュメントを分割し、ベクトル化してベクトルデータベースに突っ込んで、質問をベクトル化して結果を引っ張り、それを LLM に食べさせて解説させる、というのができればよいということがわかりました。 ベクトル化はよく使われている OpenAI Embeddings API を利用し、ベクトルデータベースは普段からよく使っている DuckDB に VSS (Vector Similarity Search for DuckDB) という拡張を使うことにしました。 自社のドキュメントをなんとかうまいこと分割して、あとは分割したドキュメントを API を叩い
くまみ @kumami_ 国会図書館所蔵のデジタルコレクションで読めるこの本、コマ番号81～89にかけて相対性理論の話が人妻ポルノに差し変わっているというとんでもない乱丁がある…（「ナメクジ」で全文検索かけていたせいで気付いてしまったので地味なダメージを喰らってるところです） dl.ndl.go.jp/pid/12611354/ 2024-12-23 19:04:38 リンク 国立国会図書館デジタルコレクション 四次元宇宙の謎 : 超空間から超時間へ - 国立国会図書館デジタルコレクション 著者：ラモン・バルデス・ジュニア 著,南山宏 訳, 出版者：二見書房, 出版年月日：1981.8 2 users 梅酒みりん@5例大祭 @PokersonT すげぇ 国会図書館のスキャンミスとかじゃなくて元々の本のページが別のエロ本にすり替わってるっぽい こんな事あるのか…と言う以前に内容の落差で噴く
法律のデータ構造と検索
デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に、それらを使った法令データの全文検索システムを実装する方法をご紹介します。法令検索の実装についても、GitHubリポジトリで公開しています。 この記事は、情報検索・検索技術 Advent Calendar 2023の16日目の記事です。 法律と法令 法律とは 法律の制定と公布 法律と法令の違い 法律の改正 法令のデータ構造 e-Govの法令データ 法令標準XMLスキーマ 法令番号と法令ID 題名 本則と附則 条・項・号 編・章・節・款・目 法令XMLパーサ：
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
![[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/3636c7c8e7c838018a6e006d55b3f4b8d18f34cc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--7VM-vHg9--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%25255DLLM%2525E3%252581%2525A71%2525E5%2525B9%2525B4%2525E9%252596%252593%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252581%252597%2525E3%252581%2525A6%2525E5%2525AD%2525A6%2525E3%252582%252593%2525E3%252581%2525A0%2525E3%252581%252593%2525E3%252581%2525A8%2525E3%252580%25259CLLM%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E6%252588%252590%2525E5%25258A%25259F%2525E3%252581%2525AB%2525E5%2525B0%25258E%2525E3%252581%25258F%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%2525E7%25259A%252584%2525E3%252582%2525AC%2525E3%252582%2525A4%2525E3%252583%252589%2525E3%252580%25259C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aseya%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2QzODg4YjM0MzEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
SQLアンチパターン簡単まとめ
「SQLアンチパターン」について、自分の勉強がてら内容を簡単にまとめました。 「とりあえずSQLは触れてWebアプリが作れる」「シンプルなアプリを実務で作ったことがある」くらいの人が読むととても勉強になると思います。 また、「現場での良くない設計」が詳細に言語化されているので、経験豊富な人でも新たな発見があると思います。 詳しく知りたい方は是非本を買って実際に読んでみて欲しいです。 第一章 ジェイウォーク パターン 1カラムにコンマ区切りで値を入れて複数の紐付きを表現しようとする なぜダメか 検索しづらい 文字列カラムの文字数制限という暗黙の制約を受ける バリデーションかけられない 解決策 交差テーブルの作成 第二章 ナイーブツリー パターン 木構造を表現するとき、常に親のみに依存する(parent_idだけ持ってしまう) 隣接リスト なぜダメか 階層を深く掘ろうとするとそのぶんSQLをか
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
セキュリティエンジニアにセキュリティ技術情報収集のやり方を聞いてみた - ラック・セキュリティごった煮ブログ
こんにちは、かすたーど先生です。 セキュリティ業界を目指している学生さんとお話しする機会がたまにあるのですが、「セキュリティエンジニアの方は、どうやってセキュリティ技術に関する情報収集しているんですか？」と聞かれることがよくあります。 情報収集の方法って、学生さんももちろん、セキュリティエンジニアの方同士も「他の人はどうやっているんだろう？」と思っているネタなのではと思いまして、今回ブログのテーマにすることにしました。 ということで、私と同じデジタルペンテスト部に所属している一部のセキュリティエンジニア約30名に協力してもらい、セキュリティ技術の情報収集に関するアンケートを実施しました。結果をご紹介します。 １：セキュリティ技術の情報収集は何を使って実施していますか（複数回答可） 1位：Twitter 2位：ニュース系サイト 3位：書籍・ブログ（同数） 4位：脆弱性情報データベース 5位：
2022年の暮れも押し迫った12月21日に、国立国会図書館デジタルコレクションがリニュアルした。イーストのSさんに教えてもらってすぐにアクセスしてみたのだが、これが私のような人間にはめちゃめちゃ興奮するし役に立つし楽しいものになっていた。 遠隔複写のための利用者登録をしたばかりだったので、今回のリニュアルがいかに画期的なものかがよく分かる。国会図書館の蔵書のうち、本、雑誌を中心に《約247万点》の全文検索ができるようになったのだ（これまでの50倍に一気に増えた）。 全文検索ということは、1冊の本の中身の一字一句もらさず検索して洗い出してしまえるということを意味する。グーグル感覚という言い方がいちばん分かりやすいだろう。 試しに、個人的に昨年から調べていた「秋葉三尺坊」という平安末期に生まれたお坊さんの名前を入力してみる。すると1秒かそこらで、1415件もの検索結果が出てくる。いまの一般の日
こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
検索が爆速になるデータベース設計を公開します
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
2023年、今私が使っている生産性爆上げツールたち - Qiita
ぼっちを救うためのストア哲学 - 本しゃぶり
元国立国会図書館司書が書いた「調べもののバイブル」が飛ぶように売れている理由
自作した時間割アプリが大学の公式アプリに採用された話 - Qiita
（年収270万で）プログラマーを引退して、医学部にきた俺が真面目に考えて..
BOMなしUTF-8によってWindowsでもたらされる困惑 (1/2)
【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita
Elasticsearch運用ノウハウ | メルカリエンジニアリング
色々試して行き着いた読書方法
2022年に買って今も使い続けているもの、使っていないもの - 本しゃぶり
国立国会図書館デジタルコレクションの遊び方 - 山下泰平の趣味の方法
NoSQLデータモデリング技法 · GitHub
女性向けBLから男性向け全年齢＆R-18に居を移して起こった変化
Webフルスタックエンジニアになるためのチェックリスト
国会図書館デジタルコレクションで読める相対性理論の文章が途中でとんでもないものに入れ替わっていた
[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜
人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
RAGの実装戦略まとめ - Qiita
国会図書館デジタルコレクションのリニュアルとChatGPT
Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG