ウクライナの夏休み | 何丘ブログ
妻の郷里であるオデッサ州の某村に里帰りにきている。その日記。 登場人物：私、妻、義父母、太郎（4歳児） ※渡航の経緯については「盗む」の記事参照 7月21日 出立の日。子連れで大変な道のりである。どきどきしている。 3時間半か4時間かかけてキシニョフへ。そっからイスタンブールまで空路1時間。イスタンブール空港で3時間待って、イスタンブールから東京まで13時間。 基本的にこの記事はもう書き終わった。書ききれなかった内容を帰国後少し書き足す。 本記事になんらか教えられることあった、考へるヒントになった、また、この何丘という書き手には、いささか見どころがある、と思ってくれる方、投げ銭くれるととても嬉しい。メッセージには帰国後返信いたします。 何丘に「投げ銭」してみる では。 7月20日 気温は最高でも32℃とかで風も吹いておりエアコン要らず、これなら日本から避暑に来たとも言えそうであった。電気も
Windowsはなぜ再起動が必要になるのか？ (1/2)
Windowsでは、Windows Updateの直後やアプリケーションなどのインストール後に再起動が要求されることがある。以前に比べると、再起動にかかる時間は短縮されたものの、開いているプログラムを閉じてファイルを保存する必要があるなど、ちょっと面倒ではある。 なお、システムの再起動は、何もWindowsだけでなく、Linuxなど他のプラットフォームでも必要になることはある。とはいえ、ちょっとしたアプリケーションのインストールやアップデートの後に再起動が要求されるなど、頻度が高い気がしないでもない。今回は、この再起動について調べる。 Windows Updateが再起動を要求するとき Windows Updateの場合、再起動が必要になるのは大きく2つの理由がある。1つはWindows自体の更新で、このときにWindowsのインストールイメージが作られて再起動。Windowsの再インスト
大規模言語モデル (LLM) の技術と最新動向
マルチメディア，分散，協調とモバイル（DICOMO2024）シンポジウムでの招待講演の資料です。 https://dicomo.org/
いまどきの分析設計パターン10選
JJUG CCC 2024 Spring 複雑な業務ロジックに立ち向かうための実践技法 【初級編】 ①値の種類 ②範囲型 ③階段型 【中級編】 ④状態遷移 ⑤入出金履歴と残高 ⑥未来在庫 【上級編】 ⑦セット演算 ⑧割合と端数 ⑨決定表 ⑩経路探索
リレーショナル・データベースの世界
序文 私の仕事は、DBエンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。「Web系は花形、データベースは日陰」という言葉も囁かれていました。今でも囁かれているかもしれません。 ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。 もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。 今でこそバイブルと仰ぐ『プログラマのためのSQL 第2版』も新入社員には敷居が高すぎました (2015年2月追記：その後、自分で第4版を訳出できたのだから、 人生は何があるか分からないものです)。 そこで、です。このサイトの目的は、データベースの世界に足を踏み
DevOpsの負の側面について
トランスクリプト Protsenko氏：私の名前はMykytaです。Netflixで働いています。私の仕事は基本的に、他の開発者が遅くまで職場に残らなくてもいいようにすることです。彼らが午後5時に退社しても生産的であることが私の実現したいことです。私はプラットフォーム組織、つまり生産性エンジニアリング部門で働いており、他のエンジニアのために労力を抽象化しようとしているのです。エンジニアが同じ退屈な技術的問題に何度も対処するのではなく、ビジネス上の問題の解決に集中できるようにします。 いくつか質問させてください。あなたたちのうち何人が、自分で作って自分で動かすという哲学を実践している会社で働いてますか？生産現場との間にゲートキーパーがいないこと、機能や修正をより早く提供できることに満足している人はどれくらいいますか？本番環境で発生したインシデントに対処しているときに、どうすればいいのか分から
How platform teams get stuff done
Platform teams have a unique reliance on other teams to ensure adoption of their platform - getting code changes into other teams' codebase is critical to their success. There are a variety of patterns for that cross-team collaboration, and selecting the right ones depends on both the phase of platform adoption and the ability of both teams and codebases to accept external influence. 19 July 2023
令和05年最新版 日本の半導体産業の現状について
台風で仕事が休みになりそうなので暇つぶしに。 3年くらい前に日本の半導体産業の近況をまとめたのですが、ここ数年で政治家の先生たちが何かに目覚めたらしく状況が大きく変わりつつあるので各社の状況をアップデート。 前回の記事 https://anond.hatelabo.jp/20200813115920 先端ロジック半導体■ JASM (TSMC日本法人) 熊本工場：28nm, 22nm (工場稼働時) / 16nm, 12nm (将来計画) 日本政府の補助金とソニー・デンソーの出資という離れ業により、業界人が誰も信じていなかったTSMCの工場進出が実現した。現在は建屋の建設が進んでおり、順調にいけば2024年内には量産開始となる。生産が予定されているプロセスはいずれも世界最先端に比べると古いものだが日本では最先端であり、HKMG(ハイケーメタルゲート、トランジスタの性能を上げる技術)やFin
Solr Operatorを利用したKubernetes上での検索システムの構築について - エニグモ開発者ブログ
エンジニアの竹田です。 BUYMAの検索システムやMLOps基盤の開発・運用を担当しております。 今回はSolr Operatorによる検索システム構築を行いましたので、その実施内容と得られた知見についてご紹介したいと思います。 はじめに 昨期から今期にかけて、オンプレミスのシステムからの脱却、およびマイクロサービス化を目指し、商品検索システムのリプレイスを進めていました。 エニグモでは機能毎にApache Solrを用いた複数の検索システムを保持しており、クラウド移行に伴い、構築面や運用面の負担は大幅に軽減できております。 なお、リプレイスを行った商品検索システムの構成も下記の記事と大きくは変わっていません。 tech.enigmo.co.jp 今回フォーカスする検索システムの課題 検索システムの運用には、開発案件や障害対応、システムのバージョンアップやシステム増強作業などがあります。
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
菊地成孔の考える、YouTube的ジャズ入門。はじめてのジャズはネット検索から | ブルータス| BRUTUS.jp
昭和の時代。ジャズを聴き始めるなら、専門誌を読み、ジャズ喫茶でレコードを聴き、クラブで生演奏に触れるという流れが一般的だった。しかし、雑誌は廃刊、店舗も減少しつつある現在。初心者は一体、どの音楽家の、どんな作品から聴き始めればいいのだろうか。伝統のある音楽ゆえ、門外漢からは口が裂けても言えない現代の入門方法を、菊地成孔さんがズバリ答えてくれた。 現在、ジャズの魅力をさらに深掘る特設サイト「JAZZ BRUTUS」もオープン中！ 2020年代的検索から入る、新しい入門 「ジャズをまったく聴いたことのない人にとって、クラシックや歌舞伎などと同様、歴史のある音楽だから、ハードルが高い印象があると思います。さらに、ジャンルは耳にすることはあっても、しっかりした流行がないため、初心者がアクセスしづらい。情報源が雑誌から電子版へ、お勉強の場がジャズ喫茶から動画へ移行しつつある昨今を鑑みて、初心者に限り
第105回 hiccup／ デジタル時代によく起こります | 通訳翻訳WEB
ネイティブが使う粋な英語表現を現場からお届け！ グローバル化が進み、英語が飛び交う製薬業界。製薬会社で活躍している社内通訳者が、グローバルビジネスの現場で流行っていたり、よく耳にしたりする英語表現を紹介します。 第61回では“technical glitch”（技術的な誤作動）を紹介しました。“technical hitch”と言うこともあることはその回でも言及しましたが、この2つに加えて今回覚えたい単語が“hiccup”。もちろん、元々の意味は「しゃっくり」ですが、そこから派生したのでしょう、「テクノロジーのちょっとした中断」という意味もあるんです。テクノロジーがしゃっくりをしたイメージを思い浮かべれば覚えやすいですね。コロナ禍でオンライン会議が増えましたが、最近も通訳をしていたオンライン会議が技術トラブルで一時中断となった際、アメリカ人の参加者がこの単語を使って状況を説明していました。
データエンジニア道の俺のバイブル
先人の知恵に学ぶ データエンジニア道で、本当に良かった！読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functional Data Engineering — a modern paradigm for batch data processing 関数型パラダイムを使ったデータパイプラインの構築方法。これを初めて読んだ時の衝撃は今でも忘れないし、フルスクラッチからdbtを使ったデータパイプラインになっても健在な設計手法。 Engineers Shouldn’t Write ETL: A Guide to Building a High Function
DatadogのモニターをTerraformerでインポートして感じたことなど - エニグモ開発者ブログ
この記事は Enigmo Advent Calendar 2022 の13日目の記事となります。 お疲れさまです。インフラチームの山口です。 弊社では一部インフラリソースのモニタリングにDatadogを利用しています。 その中で、今回はDatadogの利用開始当初にGUIで作成されたモニターをTerraformerとTerraformを使用して構成管理した際の事例について報告します。 同様の技術スタックを使用したインポートや構成管理における具体的なテンプレート等の事例には事欠かないと思いますので、作業計画を中心に説明します。 要は、TerraformerやTerraformの使い方は様々良い資料があると思うため、今回固有の対応をした点を注力して説明します。 本稿の構成を以下に記載します。まず、対象とするモニターの状態などの前提を説明します。次に、作業の流れを概説し、Terraformのディ
コードを読む時に意識していること - エニグモ開発者ブログ
こんにちは、サーバーサイドエンジニア の 橋本 です。 この記事は Enigmo Advent Calendar 2022 の 14 日目の記事です。 はじめに エンジニアとして仕事をしているとコードを読むことが多いと思います。例えば、仕様調査、CSからのお問合せ対応、レビュー対応などがあると思います。 今年を振り返るとコードを書く以上に読むことが多く、コードをより正確かつ速く読むにはどうすればいいかを考えることが多くありました。 ということで、この記事では私個人がコードを読む時に意識していることを紹介していこうと思います。 いきなりコードは読まない 1つ目はいきなりコードは読まないことです。業務で使われているコードの量は1つの機能でもとても多いです。いきなり読み始めるととても時間がかかったり、迷子になってしまうかもしれません。なのでまずはシステム全体を把握してインプットとアウトプットが何
テストコードの重要性に触れたお話 - エニグモ開発者ブログ
こんにちは、エンジニアの竹田です。 この記事は、Enigmo Advent Calendar 2022の15日目の記事です。 さっそくですが、エンジニアのみなさまは一流のエンジニアとはどんなエンジニア像をお持ちでしょうか。 自分は「障害を未然に防ぎ、継続的に安定運用可能なシステムを構築できるエンジニア」を一流のエンジニアだと考えています。 ひとえに障害と言っても、仕様と異なる動作をしない、リソース不足等によるシステム停止が発生しない、などいろいろと定義はあるかなと思います。 今回のエントリでは前者の「仕様と異なる動作をしない」という点について、業務を通じて見識を深められる場面がありましたのでご紹介したいと思います。 検索システムのリプレイス 今期は、とある検索システムのリプレイスに注力していました。 エニグモでは検索システムにApache Solrを利用しており、今回リプレイスするシステム
データ基盤の処理最適化によるBigQueryコスト削減 - エニグモ開発者ブログ
こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの？ 実装する上で意識したところ BQ履歴テーブル作成前提となるDAG依存関係 本番データを使った確認期間をできるだけ長めにとろう データ品質担保はどうしよっかな 今回は見送ったデータ品質対応 既存の手動実行スクリプトをAirflowに移植しようと思ったら そろそろリリース後の話をしよう 効
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について
はじめに｜図解 DB インデックス
Developers Summit 2023 講演資料・動画まとめ
