先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
ドーナツの歴史 - 歴ログ -世界史専門ブログ-
世界中の人を虜にする甘いドーナツの誘惑 ドーナツの消費量は世界で増加傾向にあります。 世界のドーナツ市場は2021年で157億8000万ドル（2兆3354億円）に達し、2028年にかけて年間3.4%で成長すると見込まれています。 日本では、かつてはミスタードーナツがどこでもありましたが店舗数が減り、その代わりにコンビニやスーパーで気軽に買えるようになりました。 今回はドーナツの歴史を紐解いていきます。 １. アメリカ人とドーナツ ドーナツの本場・本家はアメリカです。 2020年のアメリカのドーナツ消費者数は2億1002万人。国民の約64%がドーナツを食っていることになります。また、2022年のアメリカのドーナツ市場の規模は75億ドル（1兆1100万円）だそうで、冒頭の数字に照らし合わせると、世界の市場規模の約半分がアメリカにある計算です。 アメリカ人の3分の1以上（37％）が毎月少なくとも
Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に
PCを使っていると、過去の操作内容やブラウザで閲覧していた情報を思い出したくなるタイミングが頻繁に発生します。そんな時に役立ちそうなPC操作記録アプリ「Windrecorder」がオープンソースで開発されています。 GitHub - yuka-friends/Windrecorder: Windrecorder is a memory search app by records everything on your screen in small size, to let you rewind what you have seen, query through OCR text or image description, and get activity statistics. https://github.com/yuka-friends/Windrecorder I made an o
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた - Qiita
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた機械学習データ分析キャリアデータサイエンスデータサイエンティスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がないのは残念。 いきなり数学から入るコースになってますが、一旦は飛ばしてコード写経してから戻ってきても良いと思います。ここで挫折すると勿体無いので。 計量経済学重視の観点はいいですね
無料でEPUBやPDFのほか7万以上の書籍を自由に読めてWindows・Linux・macOSなどで同期できる電子書籍リーダー「Librum」レビュー
オープンソースの電子書籍リーダーソフト「Librum」は、PDFや電子書籍ファイルであるEPUB・MOBIのデータを読み込んで本棚として共有できるほか、7万冊以上の無料書籍を自由にダウンロードして複数端末で読書進度も合わせて共有できます。 librumreader.com/ https://librumreader.com/ Librumの公式ページにアクセスし、「Download」をクリック。今回はWindowsからダウンロードしていますが、Windows、GNU/Linux、macOSに対応しており、iOSとAndroidは後日対応予定とのこと。 ダウンロードした「librum-windows-0.11.0-installer.exe」をダブルクリックして開きます。 インストーラーが開いてライセンスが表示されるので、「I accept the agreement」にチェックを入れて「N
「あとで読む」タグで振り返る2023年 〜今年の「あとで読む」、今年のうちに〜 - はてなブックマーク開発ブログ
今年も残すところあと少し。皆さんにとって、2023年はどのような一年でしたか？ はてなブックマークでは今年もたくさんのエントリーがブックマークされ、コメント欄も盛り上がりました。 データで見る「あとで読む」 年末ということで、2021年・2022年に引き続き今年も「あとで読む」タグにフォーカスしたデータを集計しました。全ブックマークを対象にした「あとで読む」率、カテゴリー別「あとで読む」率、「あとで読む」が多いエントリーランキングを通して、2023年のはてなブックマークを振り返ってみましょう。 全ブックマークを対象にした「あとで読む」 率 カテゴリー別 「あとで読む」 率 「あとで読む」 タグが多いエントリーは？ トップ10ランキング 「あとで読む」タグの数が多かったエントリーランキング カテゴリー別「あとで読む」率の高かったエントリーランキング 気になった記事を気軽に保存できる「あとで読
MySQL is certainly a powerful open source database management system, but even the most robust engine struggles when queries take an eternity to execute. For DBAs and developers, improving MySQL query performance is an ongoing goal. Efficient query performance is crucial for ensuring the smooth operation and optimal user experience of applications powered by MySQL databases. When businesses rely h
PerlからGoへのシステム移行のアシスト 〜Perl XSとUnix Domain Socketを活用〜 - Mirrativ Tech Blog
こんにちは ハタ です。 Mirrativ では 2020年頃から サーバサイドの技術をPerlからGoへのシステム移行 を行っており、2024年現在でもサグラダファミリアのように移行作業は継続しています PerlとGoという2つの環境を同時に運用していますが、 基本的には 新機能は Go で実装 し、 Perlでは積極的に新規実装を行わない というスタイルで進めていました しかし、既存の機能の一部に手を加えたいとなった場合、まだまだ Perl の実装に手を加えることが一定あり、Perl から Go の機能を呼び出したいというニーズが出てきました （配信やギフトといったビジネスの根幹を支えるレガシーな実装においては顕著） そこで PerlXS を利用することで Perl から Go を直接呼び出せるようにできないかと考え検証を進めることにしました Goの -buildmode=c-shar
OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
Here are the 25 most viewed decks of 2023: わかりやすい説明のための 10 の鉄則 / 10 golden rules for easy-to-understand explanations by @e869120 私考える人、あなた作業する人」を越えて、プロダクトマネジメントがあたりまえになるチームを明日から実現していく方法/product management rsgt2023 by @moriyuya 解像度を上げる 🔬/ Increase resolution by @tumada セキュリティ研修【MIXI 23新卒技術研修】/ Security training [MIXI 23 new graduate technical training] by @mixi_engineers ソフトウェアの内部品質に生じる様々な問題は組織設計に
1. 背景 VPCエンドポイントを紹介する記事で「インターフェース型エンドポイント (AWS PrivateLink)」のような表現や、「PrivateLinkとは、AWSへのAPIアクセスをインターネットを経由せずに行えるインターフェースタイプのVPCエンドポイントです。インターフェースタイプはPrivateLinkと呼ばれています」といった説明をよく目にしたことがあるのではないでしょうか。 このような説明により、PrivateLinkがインターフェースVPCエンドポイントと同義だと誤解してしまう方が多いのではないかと懸念されます。 本記事では、AWS VPCエンドポイントの種類、その使い分け、そしてVPCエンドポイントとPrivateLinkの関係について整理します。 AWS VPCエンドポイントには以下の3種類があります。 ゲートウェイエンドポイント（Gateway Endpoint
Collin Rugg @CollinRugg REPORT: Donald Trump says a last millisecond head tilt likely saved his life as slowed-down footage shows the bullet grazing his ear. If Trump hadn't moved his head, the bullet would likely have hit the rear of his head, ending his life. Trump says he turned his head to look at the illegal immigration statistics that were on the big screen at his rally. "That chart that I w
『Lean と DevOps の科学』って教養ないと理解できないじゃん！っていう話 - Qiita
今や生産性の可視化・評価指標といえば本書籍で紹介された『FourKeys』ですね。ちまたでは、絶対視されている様な表現・評価がされている記述をたまに見かけます。ですが、本当にそうでしょうか？ある方が調べたところ、FourKeys を使用している人のうち『Lean と DevOps の科学』を読んだことがない人は9割近くもいたそうです。 本記事では、FourKeys を有効に活用するために知っておくべき・理解しておくべき事柄を幅広い分野でまとめました。生産性を向上し、仕事の成果の質を上げたいと努力するエンジニアの方々が、次の日から使える情報を書けたのではないかと思います。FourKeys だけを見て生産性を上げるという行動は手段の目的化につながりかねません。Fourkeys の背景にある思想を知ることで、FourKeys を真に活用するきっかけになればと思います。 目次 初めに GW中に読も
VSCodeの偽拡張機能を作ったらダウンロードされまくり＆悪意あるコードを簡単に仕込めるVSCode拡張機能システムの欠陥も明らかになったという報告
Microsoft製テキストエディタ「Visual Studio Code(VSCode)」は拡張機能を導入することで機能を追加したり外観をカスタムしたりできます。セキュリティ研究者らが「人気拡張機能にコードを挿入した偽拡張機能」を公開した結果、短期間で大企業やセキュリティ企業を含む多くのユーザーのマシンにインストールされたとのこと。セキュリティ研究者らはVisual Studio Codeの拡張機能システムの欠陥を指摘し、警鐘を鳴らしています。 1/6 | How We Hacked Multi-Billion Dollar Companies in 30 Minutes Using a Fake VSCode Extension | by Amit Assaraf | May, 2024 | Medium https://medium.com/@amitassaraf/the-stor
自分の回線速度は遅いのか速いのか1時間ごとにインターネット接続速度をテストし最大30日間分を記録して分析できる「MySpeed」レビュー、WindowsやLinuxでセルフホスト可能なオープンソース
MySpeedは継続的にインターネットの回線速度を計測・記録してくれるツールです。どんなアプリなのか、実際に使って試してみました。 gnmyt/myspeed: A speed test analysis software that shows your internet speed for up to 30 days https://github.com/gnmyt/myspeed 今回はWindowsで動作を試すので、「Installation」の項目にある「Windows」をクリックします。 Windowsマシンへのインストール手順が解説されているので、この手順に従って進めていきます。 最初にNode.jsのインストールが必要とのこと。Node.jsの公式サイトへ行き、「LTS」と書かれたバージョンのボタンをクリックします。 実行ファイルがダウンロードされるので、ダブルクリックして実
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
Amazon RDS ブルー/グリーンデプロイを利用してMySQLのアップグレードをした話 - Pepabo Tech Portal
こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ
はじめに 以前こんなツイートをしました。 すると、リプライで色々とコメントを頂きました。（疑問を投げかけたら答えてくれる方々、本当にいつもありがたいです🙇♂️） ということで、本記事では推定行数と実際の行数の乖離を減らすために何をやったのかを備忘として書きます。 ただ、実際のSQLや実行計画を書くことはできないので、あくまでどんな考え方をしたのか、ということを書きます。 対処法①（対象のテーブルのautovacuum頻度を変更） 対象のテーブルはかなり更新の激しいテーブルだと聞いていたので、まずは統計情報が最新化されているかを考えました。 更新が激しくてautovacuum時の自動ANALYZEが追い付いていないんじゃないかと考え、対象のテーブルだけ自動ANALYZEの頻度が上がるように設定を変更しました。 PostgreSQLの設定パラメータは基本的にはpostgresql.conf
下っ端鳶職人からお金持ちになった男の物語
鳶職人になるとお金持ちになれるのか？ あなたはそんな疑問を抱いたことはありませんか？ 結論から申しますと鳶職人はお金持ちになる事が出来ると言えます！ 理由はいくつかあります（これだけではないです） 建設業界は慢性的に人手不足で、これからもますますその傾向に拍車がかかると言える 希少性の高い技術なので常に需要が多い 年齢学歴などが関係なく、特に若いうちから高収入を得やすい この後紹介する私の叔父も、若くして実力が認められてお金持ちになった鳶職人の一人です。 叔父は16歳から鳶職人となり、紆余曲折を経て一流の鳶職人になった今では、年収1,000万円を軽く超えるお金持ちになっています。 年収が1,000万円を超える人は日本全体で5.4%という統計がありますので、これはお金持ちになったといっても良いのではないでしょうか？ この記事では、叔父である現役鳶職人がたたきあげで年収1,000万円を超えるお
空気清浄機のテストやレビューを行う独立系メディアのHouseFreshが、「Google検索の検索結果ページから、HouseFreshが事実上消えてしまった」と報告しています。 HouseFresh disappeared from Google Search results. Now what? https://housefresh.com/how-google-decimated-housefresh/ 2024年2月、HouseFreshは「Google検索の検索結果上位に表示される有名メディアの商品レビュー記事を信用しないように」という警告記事を公開しました。この記事が公開されてから10週間以上が経過してからも、ソーシャルメディア経由で多くの反響メッセージが届くそうです。 問題の記事を公開してから数日後、HouseFreshはデジタルメディア・Dotdash Meredithの元従
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
Parquetフォーマット概観 - 発明のための再発明
PCの操作をすべて録画＆文字起こしして過去の操作を丸ごと検索可能にするアプリ「Windrecorder」
Ultimate Guide to Improving MySQL Query Performance
2023 - Most Viewed Decks
AWS PrivateLinkの真実：VPCエンドポイントとの関係性を徹底解説 - Qiita
トランプ暗殺未遂、距離とライフルの性能的には「命中して当たり前」だった？～現在の銃の性能について
PostgreSQLの実行計画の推定行数と実行数の乖離改善の考え方
Google検索のアルゴリズム変更でトラフィックの90％超を失ったウェブサイトが窮状を訴える