こんにちは。株式会社asken VPoEの安西です。 先日、現場で役立つシステム設計の原則著者の増田亨さんに設計についてご講演いただきました。360名を超える方々にご参加いただき、大変盛り上がり、学びがありました。 asken.connpass.com 書き起こしをして公開するとより多く方に学びをお届けできるのではないかと思い、増田さんにその旨打診したところ、「自分にとっても学びがあるから是非やってください」と嬉しいお返事をいただきました。質疑応答も含めると1時間半くらいあったので大変長文記事になり、要約したほうが良いかなと思ったのですが、増田さんの意図をできるだけお伝えるために、複数ページに分けて公開にチャレンジしてみます。貴重な内容ですので、是非お読みくださいませ。 資料 増田さんの講演資料 質疑応答モデル なぜこの場を作ったのか 書き起こしリンク パート1「良い設計を目指す」（本記事
【後編】開発内製化の5年の軌跡。「消耗戦の悪魔のループ」をどう乗り越えたのか - エス・エム・エス エンジニア テックブログ
エンジニア組織の内製化を進めるには、事業構造、事業戦略、企業文化、人材などの所与の条件を踏まえて、最適な方法を実践することが求められる非常に難易度の高い取り組みです。エス・エム・エスは2015年よりエンジニア組織の内製化に取り組んできました。そのプロセスとそこで得られた反省や学びを技術責任者の田辺に聞いたインタビューの後編です。 tech.bm-sms.co.jp 前編では、2015年の入社から1年半くらいの間にやったことを話しました。リサーチから始めて会社の特性を理解しにいくということと、小さく始めて検証をするというスタートをきり、小さな新規サービスの立ち上げに上流からかかわって、アジャイルな開発がうまくいったということでした。 エス・エム・エスは当時40近い数のサービスを展開していたのですが、最初の1年半で内製化を進める主要なサービスと注力をせず終了するサービスや CMS 化で開発能力
フューチャーアーキテクト株式会社 シニアアーキテクト 渋川 よしき 本田技術研究所、DeNAを経て現職。技術書の執筆や翻訳も手がけ、「実用Go言語」「Real World HTTP」「Goならわかるシステムプログラミング」の執筆、エキスパートPythonプログラミングの翻訳などを行う。2023年5月に翻訳書「ソフトウェア設計のトレードオフと誤り」を、7月に「エキスパートPythonプログラミング改定4版」を上梓。 技術や業界など仕事についての情報収集の基盤として多くのエンジニアを支えていたTwitterが、以前とは異なる姿となってゆく今、必要な情報を過不足なく収集しインプットする方法に悩みを持つ人も少なくありません。 「アフターTwitter時代の情報収集」と題したこの連載では、業界をリードする方々に、Twitterの変化によって普段の情報収集の方法がどう変わったか、欲しい情報を効率よく集
セキュリティエンジニアへの道：私のキャリアチェンジ物語 / The Road to Becoming a Security Engineer: My Story of Career Change | メルカリエンジニアリング
セキュリティエンジニアへの道：私のキャリアチェンジ物語 / The Road to Becoming a Security Engineer: My Story of Career Change * English version follows after the Japanese こんにちは。メルカリのProduct Securityチームでセキュリティエンジニアをしている@gloriaです。ブログを書くのが随分お久しぶりなのですが、前にQAと自動化テストについて記事をフォローしていた方がいらっしゃったら、当時に自動化テストエンジニアとして書いたISTQBテスト自動化エンジニア認定資格、STARWESTカンファレンス、とAQA POP TALKの記事を読んだことがあるかもしれません。 今回は、自動化テストエンジニアからセキュリティエンジニアへのキャリアチェンジについてお話して、キャリア
SRE/DevOps/Kubernetesを追いかけてきた2020年をふりかえる - 運び屋 (A carrier(forwarder) changed his career to an engineer)
ここで話すこと ここで話さないこと SRE/DevOps/Kubernetesをテーマにブログを書き始めた理由 気をつけていること オススメWebページ7選 The Blameless Blog Netflix Technology Blog Facebook Engineering Datadog blog The GitHub Blog Julia Evans The Kubernetes Podcast from Google ブログによる変化 反響 やってみて思ったこと 異動による変化(2020年4月) コミュニティー活動による変化 今後の目標＆告知 これは エーピーコミュニケーションズ Advent Calendar 2020 の20日目の記事です。 自身の中で多くの変化があった2020年をふりかえりつつ、タイトルにあるテーマ(SRE/DevOps/Kubernetes)を追いか
はじめに こんにちは。ZOZO研究所のshikajiroです。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker, Flask, Terraform, Airflowなど様々な技術を活用しています。今回は私が担当した「近似最近傍探索Indexを作るワークフロー」のお話です。 corp.zozo.com 目次 はじめに 目次 画像検索の全体像説明 Workflow Develop Application 推論APIの流れ 近似最近傍探索とAnnoy 近似
はじめに こんにちは、技術本部SRE部ZOZOSREチームの堀口です。普段はZOZOTOWNのオンプレミスとクラウドの構築・運用に携わっています。またDBREとしてZOZOTOWNのデータベース全般の運用・保守も兼務しております。 ZOZOTOWNではSQL Serverを中心とした各種DBMSが稼働しています。その中でZOZOTOWNサービスの根幹となるいわゆる基幹データベース（以下、基幹DBと呼ぶ）を5年ぶりにリプレースしました。 基幹DB群は、商品情報、在庫情報、注文情報、会員様情報、ブランド様情報、配送管理、キャンペーン情報、分析系情報などZOZOTOWNサービスにおけるほぼ全ての情報を管理しているものとなります。 リプレースのモチベーションは5年のハードウェア（以下、HWと呼ぶ）保守期限終了およびSQL ServerのEnd Of Life（以下、EOLと呼ぶ）を迎えるため、HW
モノリシックなアプリケーション開発から小さなアプリケーション開発へ（Software Design連載 2022年3月号：設計方針から変えていく、 モノリシックなアプリの過去と未来） - MonotaRO Tech Blog
この記事の初出は、Software Design2022年3月号「設計方針から変えていく、モノリシックなアプリの過去と未来（最終回）」で、加筆修正されています。過去の連載記事は以下を参照ください。 第1回 Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか - MonotaRO Tech Blog 第2回 Software Design連載 2021年9月号 「テストが無い」からの脱却 - MonotaRO Tech Blog 第3回 Software Design連載 2021年10月号 スナップショットテストの可能性を追求する - MonotaRO Tech Blog 第4回 Software Design連載 2021年11月号 Robot FrameworkでE2Eテストを自動化する - MonotaRO Te
IIJ てくろぐ
IIJでは広報誌「IIJ.news」を隔月で発行しています。本blogエントリは、IIJ.news連載コラム「インターネット・トリビア」を転載したものです。IIJ.newsはご希望者へ郵送でお送りしています。また、IIJ Webでも記事をご覧頂けます。 IIJ.news vol.179 もくじ ぷろろーぐ「地球儀」 / 鈴木 幸一 特別対談 人となり 三菱重工業株式会社 取締役会長 宮永 俊一氏 株式会社インターネットイニシアティブ 代表取締役社長 勝 栄二郎 IT Topics 2024 DXがもたらす新たなビジネスチャンス / 北村 公一 地銀勘定系共同システムの変革を前に / 荒木 健 SASEの活用 / 松川 秀明 放送業界のIP化をめぐって / 井手 隆裕 GIGAスクール構想とI IJ の取り組み / 波多野 剛 IIJ Research となりの情シス: 全国情シス実態調査2
アーキテクチャと設計は全然違う⋯ただしあなたの想像する”違い”とは多分全然違う【輪読会発表紹介】 - エムスリーテックブログ
エムスリーエンジニアリンググループ製薬企業向けプラットフォームチームの三浦 (@yuba)です。エンジニアリンググループ内では技術書の輪読会が有志によりいくつか立ち上がっています*1。そうした勉強会の一つで発表した内容が社内で少々バズったので、これは社内だけじゃもったいないとご紹介させていただきます。 本は、「ソフトウェアアーキテクチャの基礎（オライリー・ジャパン、Mark Richards/Neal Ford著 島田浩二訳）」。その第2章です。 謝辞をまず この章は 知識の”幅”と”深さ”だ 幅広さ→候補とメリデメ→ビジネス動機に即した判断 深さ→最新アップデートに追いつき続けること→偏らない判断 まとめ 参加者の感想など We are hiring! ソフトウェア アーキテクチャ基礎 輪読会資料 第2章 アーキテクチャ思考 from 琢磨 三浦 謝辞をまず この本の輪読会を立ち上げてく
【CTO・エンジニアマネージャーに聞いた】企業成長フェーズ5段階別に発生するエンジニア組織の課題と取り組み事例まとめ | Findyブログ
【CTO・エンジニアマネージャーに聞いた】企業成長フェーズ5段階別に発生するエンジニア組織の課題と取り組み事例まとめ 2020.02.13 Findyの石川（@HRBizDev1）と申します。 2019年3月にFindyへジョインし、昨年まではFindy Freelanceの立ち上げ、今年からは先日、事前登録を開始したFindy Teamsの事業開発を担当しています。 （前職ではエムスリーグループの企業で医療機関の採用支援や新規事業を担当していました） Findy Teamsではβ版リリースに向けて、上場企業から創業初期のスタートアップまで、様々なフェーズの企業数十社へヒアリングを進めている段階ですが、その過程でエンジニア組織において発生する組織課題は事業成長フェーズによって、異なることが段々と見えてきました。 そこで、今回はヒアリングを通じて見えてきた課題と取り組み事例をまとめてみました
なぜ Four Keys を改善するのか？/productivity-con-link-and-motivation
【開発生産性Conference】 リンクアンドモチベーション登壇資料（2023/07/13） 『なぜ Four Keys を改善するのか？ 〜How ではなく Why を重視したメトリクス改善活動〜』 #開発生産性con_findy #リンクアンドモチベーション #リンモチ ============================================= 【イベント情報】 ■イベントページ https://findy.connpass.com/event/283417/ ■特設サイト https://dev-productivity-con.findy-code.io/ 【株式会社リンクアンドモチベーション】 ■お問い合わせ engineer_pr@lmi.ne.jp ■Entrancebook https://note.com/lmi/n/n179505e048f4 ■テック
RubyとRuby on Railsで作られたWebサービス10選 | TECH::NOTE | プログラミングをはじめる全ての人に
「Ruby on Railsとは何？」 「Rubyとはどう違うの？」 「Rubyで作られたサービスを知りたい」 こう考えていませんか？ 本記事では日本で生まれたプログラミング言語Rubyと、Rubyによる開発で使われるWebアプリケーションフレームワーク「Ruby on Rails」について解説。 Rubyで作られたWebサービス・アプリケーションの実例も紹介しますので、これからRubyを勉強する方は必見です。 この記事は現役エンジニアによって監修済みです。 Ruby on Railsとは？Rubyとの違いを解説 プログラミング初心者の方にはRubyとRuby on Railsを混同している場合があります。 1995年に公開されたRubyですが、広く知られるようになったのは2004年に登場したRuby on Railsによるものが大きいです。 RubyはRuby on Railsという、短
"Everything is true," he said. "Everything anybody has ever thought." この記事は ABEJAアドベントカレンダー2023 の 17 日目の記事です。 こんにちは。システム開発部の石川 (@ishikawa) です。昨年のいまごろは Objective-C ばかり書いていましたが、今年は念願の Swift で QR コードリーダーを書き直したり、React Native の C++ コードをデバッガで追いかけて不思議なバグの修正をした年でした。 react-native で 196,607 回 fetch() すると通信できなくなるバグを直した https://t.co/lvNC3PL85b— takanori_is (@takanori_is) 2023年9月21日 普段の業務では TypeScript と Go、Pyt
脱初級ITエンジニアまでの学習方法 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 今回は毎年春先の社内ビアバッシュで新人向けに「一歩目の学習方法」として発表している話をしようと思います。 学習とは この記事の対象 学習に対する向き合い方 まず最初は 学習作戦その1「ちょい足し学習」 例）HTTPメソッドを扱ったとき 学習作戦その2「外から情報を仕入れる」 よくある情報源 技術書 技術同人誌 ウェブサイト 勉強会 SNS 飲み会 GitHub 脱初級者 手を動かす（検証と実践） 自由にできるサーバーを用意する 情報発信 無理に全部やらなくていい エンジニアにとっての勉強 学習とは ［名］(スル) １ 学問・技術などをまなびならうこと。「学習の手引」「学習会」 ２ 学校で系統的・計画的にまなぶこと
「男性育休」どうしたら広まる？ 毎日さまざまな話題のエントリーが生まれるはてなブログの中から「旬な話題」をピックアップする企画「はてなブログで話題」。今回は「男性育休」をテーマに記事を紹介します。 あわせて、独自の集計による今週の「はてなブログランキング」トップ30の記事と、「はてな匿名ダイアリー」トップ10の記事を紹介します。 厚生労働省の「令和2年度雇用均等基本調査」によると、2020年度の男性の育児休業取得率が12.65%と、過去最高になりました。2025年には30%の取得を目指している男性の育児休業は、はてなブログの週間ランキングでも「男性育休」などのワードでたびたびランクインします。 増加傾向にあるとはいえ、まだ1割程度の男性しか取得していない育児休業ですが、はてなブログでは実際に育児休業を取得した男性の生の声や、その周囲の人の声がブログに書かれていることが多くあります。 実際に
【新卒応援】Macを手に取ったらまず入れるべき業務効率化ツール5選 - オールアバウトTech Blog
今週から、オールアバウトで一年間働いてきた新卒エンジニアが投稿する連載企画 「テックブログ新卒週間」を始めます！ 今回は3本連載のうちの一本目、2016年度入社 開発エンジニアのTKKが投稿をさせていただきます。 よろしくお願いいたします！ はじめに 社会人になり、PCの買い替えや会社からの貸与によって、初めてMac端末に触れる方は多いのではないでしょうか。 かくいう自分も、そんな一人。Macを受けとったものの最初はどんなソフトウェアから入れればいいのかわからず、苦労しました💦 そんな苦労から得た、実際に業務に役立った「まずは入れるべき業務効率化ツール」を5つご紹介します。 自分と同じ境遇の方々の力になれれば幸いです。 Spectacle https://www.spectacleapp.com/ 概要 ショートカットキーで各ウィンドウの移動、サイズ調整ができる オススメポイント キーボ
TOPインタビュー「3年前に戻れるなら、同じ意思決定はしない」マネージャーをなくしたサイボウズから学ぶ、フラット型組織でできないこと サイボウズ株式会社 開発本部副本部長 兼 New Business Division 副本部長 岡田 勇樹 2007年に新卒でサイボウズに入社。エンジニアとして「サイボウズ Office」や「kintone」の開発に参画。2014年に東京から地元大阪にUターンし、マネージャーとして大阪開発拠点の立ち上げを主導。現在はエンジニア採用に携わりつつエンジニア組織のマネジメントに注力。阪神タイガースのファン。 3年前、「kintone」や「Garoon」などを手掛けるサイボウズの開発本部が発した「マネージャーをなくす」宣言。多くのエンジニアを抱える大所帯で、業界でも先駆けとなる組織階層の撤廃は、大きな驚きをもって受け止められました。職能ごとに整理された組織から、プロ
こんにちは！ バックエンドエンジニアのりほやんです！ 2017年の2月28日にIQONはリブランディングを行い、タグラインを "わたしの「好き」がここにある” に刷新しました。 この “わたしの「好き」がここにある” という体験をユーザーにしていただくには、IQONに掲載されている商品情報がとても重要になります。 そして、正確な商品情報の掲載にはクローラーが正しく運用され稼働していることが必要不可欠です。 本記事では、IQONの商品情報を支えるクローラーの運用をどのように仕組み化しているかについてご紹介します。 クローラーを作成、運用されている方々のお役に立てたら幸いです。 弊社テックブログでは以前、『速くクロールすること』に注目した記事を公開しましたが、今回は『正しくクロールすること』に注目しました。 『速くクロールすること』に注目した『Docker / Apache Mesos / M
IDCF テックブログ
IDCフロンティアのUI/UXチームです。 IDCフロンティアが提供するクラウドサービス「IDCFクラウド」では複雑なインフラ技術を直感的なユーザーインターフェースを通してお客さまに簡単に使ってもらえるように工夫しています。 IDCFクラウドの画面例 データセンターやクラウドサービスの運用となるとインフラエンジニアの方が活躍されているイメージを持たれるかもしれません。しかし、弊社にはUI開発を中心に担当するフロントエンドエンジニアも在籍しており、UI開発も自社で実施しています。 今回と次回のブログでは、IDCFクラウドのフロントエンド領域に関する業務内容をご紹介します。 具体的なイメージを持ちやすいように、実際に業務を進める際に使っているツールやドキュメントのスクリーンショットを載せています。個人名や社内情報は白塗りでマスキングしていますが、それ以外の部分は可能な限りお見せしています。 業
WordPressをマジメにAMP（Accelerated Mobile Pages）対応させた話 #AMPlify | PSYENCE:MEDIA
WordPressをマジメにAMP（Accelerated Mobile Pages）対応させた話 #AMPlify ku-suke 2016.10.06 474 6616395150 こんにちは、2016年中途入社のku-sukeです。現在はkidslyという保育園むけサービスのプロダクトオーナーを担当しています。今回は個人的にも注目しているAMP（Accelerated Mobile Pages）をこのテックブログに実装した話を書きたいと思います。特に、WordPressプラグインを入れるだけの簡易対応ではなく、フッターまわりやデザインの調整などをまじめに対応させたので、企業をはじめメディア運営をWordPressで運用されている方のお役に立てば幸いです。 事業サイドがAMPに乗っかるか考える事 - ku-sukeのブログ AMPとは？ AMPとはAccelerated Mobile
こんにちは！ エンジニアマネージャーの森住（@t_morizumi）です。 現在 SmartHR は saiyo-tasukete プロジェクトの名の下、エンジニアの採用ブランディングと再び向き合っている真っ只中にあります。 「普段取り組んでいることをきちんとテックブログで発信する」という、ぐうの音も出ないほど当たり前のことが大切であることに CTO が気づいてしまったため、僕もこうして筆を取っている次第です。 さて、今回はエンジニアのキャリアについてということで、SmartHR がエンジニアのキャリアアップにどのように取り組んでいるのかをご紹介したいと思います。 SmartHR のエンジニア組織について まずは大前提として、SmartHR のエンジニア組織は以下のような構造になっています。 （※ 組織構造の概略をお伝えすることが目的のため簡略化しています） CTO がマネージャーを支え、
機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめに こんにちは、CTOの今村です。 先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。 イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。 さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。 今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。 最近のデータまわりの取り組み 今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
dbtを導入して小規模チームでも運用可能なデータマネジメント体制を構築した話 - High Link テックブログ
はじめに こんにちは。株式会社High Linkのデータユニットマネージャーの芦川 (@assy) です。 私たちのチームでは、データを強みとした事業価値創出を促進するために、データ基盤の整備やデータマネジメント、全社的なデータ利活用レベルの引き上げに取り組んでいます。 データマネジメントをしていると、「誰が作ったかわからない野良のテーブルが乱立している」ことや「BigQueryコンソール上でviewを定義してしまってコードレビューができない」さらには、「テーブル間の依存関係がわからず削除できない」といった課題にぶつかる方は多いんじゃないでしょうか。 私たちもまさにこのような問題に直面し、導入したのがdbtです。 今回は、dbtの導入に至る経緯や選定の理由、dbtをどう活用しているのかといった話を共有させて頂こうと思います。 私たちのようにデータマネジメントにがっつり人的リソースを割けない
SREは大規模なリプレイスプロジェクトで発生した様々な問題にどう取り組んだか【Backlog Play 化プロジェクト】 | Backlogブログ
Backlog SREチームのmuziです。2018年4月から2019年7月まで、BacklogをJavaからScala / Play Frameworkに移行する大規模なリプレイスプロジェクトに参加していました。 SREとして、このリプレイスにはかなりの困難が伴いました。特にBacklogのサービス安定性は大きな問題でした。 本記事では、こうした問題に対して、SREである私がどういうアプローチを取ったのか、そしてこのプロジェクトで得られた教訓を今後チームや組織全体でどのように活かそうとしているかをご紹介します。 正直言って、泥臭い話だらけの内容です。それでも、技術的負債を抱えたプロジェクトでSREが取れるアプローチの事例の一つとして、読者の参考になれば幸いです。 はじめに ヌーラボでは2015年11月から2019年7月まで、BacklogをJavaからScala / Play Frame
M3ではWebサイト開発が未経験の学生さんに向けて、Webサイトの開発の楽しさ体験してもらう勉強会イベントを不定期で開催しています！ この記事では、クレジットカード決済ができるECサイトをRuby on Railsアプリで開発して、Heroku(サーバ)に公開するまでの手順を紹介します。RubyGemsをうまく組み合わせることで、シュッと作成できるのでWebサイト開発をちょっと試してみたい方にオススメです。 ちなみに、M3は日本／世界に医療に貢献するようなサービスを開発しています。この記事がそういった社会に貢献するサービスの開発に興味を持ってもらうきっかけになれば幸いです。 目次 (01) RubyとRuby on Railsについて (02) ローカル環境構築の準備 (03) Railsアプリケーションの作成 (04) 商品管理画面の作成 (05) MVCとは？ (06) 本番DBにPo
@takkyです。 オールアバウトTech Blogは本日11/18で開設半年になりました！！ 今回は半年運営してきたTech Blogの書き方・続け方について紹介します。 Tech Blogの体制 オールアバウトTech Blogは、開発部内でTech Blog編集部を立ち上げて運営をしています。 現在メンバーは3人で全員エンジニアです。 他社様の運営の話を聞いてみると人事や広報の方がメンバーとして入っていることもあるようなのですが オールアバウトのTech Blogは運営メンバーが全員エンジニアです。 Tech Blogの編集メンバーは主業務の他に持ち回りで記事の校正やネタ出し、執筆依頼など運営作業を行っています。 編集部を立ち上げた理由としては以下になります。 Tech Blogは会社の名前を出していることもあり記事の質を担保したかった。 業務で使用している技術でどんなことがブログに
BASEにおけるSlack活用術を大公開！〜Slackで始める業務改善〜 - BASEプロダクトチームブログ
こんにちは！New Owners Dev GroupにてEngineering Managerをしている植田です。 皆様の会社・組織ではSlackを導入・活用されていますか？ 私は2021年4月にBASEへ入社したのですが、色々と驚いた点のうちの一つに 「Slackを全社をあげて活用しまくってる！」 というものがあります。 BASEではただのチャットツールのみならず、あらゆる場面でSlackを活用し業務を効率化していることに大きな驚きを覚えました。エンジニアは当然のことながら、非エンジニアもSlackをフル活用しているので今回はそれを大公開してしまおうと思います！ ※実際社内で利用しているSlackのキャプチャを掲載しているため、画像にはマスクを施しています BASEでのSlack活用例 今回、記事を書くにあたり社内の関係者に声をかけ、どんな場面でSlackを活用しているかヒアリングをかけ
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編，パイプライン構築の話になります． tech.connehito.com はじめに 再掲になりますが，我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ETL）：AWS Glue ワークフロー・パイプライン：AWS Step Functions・Lambda・EventBridge 後編は，検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります（下図の全量データ同期パイプラインの部分）． 検索基盤全体のアーキテクチャー概略図 もう少し具体的には，OpenSearchのindexの管理方法について説明した後に
「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。2回目に登壇したのは、株式会社リンクアンドモチベーションの岡田大輔氏。OpenAIからAzure OpenAI Serviceへの移行について発表しました。 登壇者の自己紹介 岡田大輔氏：機能開発を「ChatGPT」を使ってやってみたので、そこからわかったことを共有させていただければなと思います。 最初に自己紹介です。岡田大輔といいます。リンクアンドモチベーションで働いていて、今4年目です。アプリのエンジニアをしています。ふだんはRailsとVueでWebアプリを作っているのですが、今回は、機能開発のところで（ChatGPTを）いろいろ触ってみました。 ChatGPTを使った機能開
git rebaseの使い方をやっと理解したので忘備録を書いておこうっと。 他の人とのやりとりはgit mergeだけで十分 普段の作業はgit mergeだけで十分。ほぼすべての場合は、git mergeだけで十分。これを肝に命じておく。 git rebaseはコミット粒度を上げるためにgit branchとセットで使う git rebaseとは、小さな多数のコミットを、ひとつのコミットにまとめたいときに使う。 少し修正して、commit、試験。少し修正して、commit、試験。少し修正して、commit、試験。普段の作業はこんな感じじゃないのかな。 でも、コミットのメッセージを書く単位よりも小さく、コミットしたいときはよくある。ここ一行だけ変えて、試験したいとかね。コミット粒度を小さくしておけば、間違った部分だけを、git revertで戻せるし、git resetで戻れるから。 gi
はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル（LLM）に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 今回の記事は2023年7月に開催されたABCI LLMハッカソンで取り組んだときに開発していたGIT-LLMというモデルの開発について解説する記事となっています。途中のコードの解説部分などは少し退屈に感じるかもしれませんので、その場合はぜひ結果のパートだけでも見てみてください。いろい
【ビットコイン】ウォレットの概要とHDウォレットの仕組み - Gunosy Blockchain Blog
このブログについて データ分析ブログ、テックブログ のスピンオフとして今回ブロックチェーンブログを作りました。 本ブログでは社内の研究開発の一環として調査しているブロックチェーン技術に関連したコンテンツを書いていきます。 はじめに こんにちは、 開発本部の @yamarkz です。 この記事は Gunosy Advent Calendar 15日目の記事です。(少し投稿が遅れてしまいました、すみません。) 昨日は @hoshitocat さんの Headless ChromeをDocker上で動かして、E2Eのテスト でした。 また、ブロックチェーン Advent Calendar で @mosa_siru さんが 仮想通貨マイニングに関するまとめ を書いてくれました。 今回はビットコインのウォレットの概要と仕組みについて紹介します。 ウォレットのイメージが湧かない方は先に (おまけ) と
こんにちは、UX開発部の橋口です。 Webサービスを開発するうえで、JavaScriptは絶対的に使われる技術だと思います。 みなさんもJavaScriptでエラーの調査をする際に、クライアントで実行されるためエラーの内容やどこで発生したかが分からなかったり、問い合わせ内容の再現ができず困ったことがあるのではないでしょうか？ 解決の糸口を作るためには、クライアントサイドで発生したエラーに関する情報を収集してあげる必要があります。 JavaScriptのエラーログも収集できる著名な製品もありますが、クラウド環境への導入の場合には高額になってしまったり、独自に解析する場合でも、環境などを用意するのも大変ですし管理も大変です。 そこで、今回の記事はトレジャーデータサービス by IDCFにJavaScriptのエラーログを収集する方法について紹介します。 課題 JavaScriptのエラーを収集
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 47週目の記事です！ 1年間連続達成まで 残り 6 週 となりました！ はじめに ログラスのクラウド基盤でエンジニアをやっているゲイン🐰です。 ログラスではAWS上でアプリケーションを動かすためにIaCとしてTerraformを採用しています。 我々のTerraformの構成を紹介するとともに、現状の課題とリファクタリングの事例を共有できれば幸いです。 ログラスのTerraform構成 ざっくりログラスのアプリケーションにまつわるTerraform構成は以下のようになっています。 基本的にはterraform/usecaseディレクトリ配下にmoduleとして定義されています。 中身は比較的にベタでリソースが書かれており、それらをterraform/envディレクトリの各ディレクトリ内で呼
Terraform はそのままだと管理が大変 みなさん IaC (Infrastructure as Code) してますか？パブリッククラウドをIaCするなら、 Terraform が便利ですね！ しかし、本格的に使い始めると、こういう問題がすぐに出てきます。 複数環境の楽な分け方を知りたい ワークスペースはなんか嫌だ とはいえ、環境間で共通するボイラープレートをどうにかしたい 環境内で適用するモジュールを細分化・分岐したいけど面倒 環境ごとに使うモジュールを切り替えたい テスト環境はAuroraではなく安いRDSにしたい モジュール(tfstate)を分割して小さい範囲で適用したい 大きなモジュールは影響範囲がわからないし、差分計算にそれなりに時間がかかってしまう 分けたモジュールを一括適用するのが面倒 モジュール間の依存関係がわからない モジュール(tfstate)間での値参照が面倒
LLMで自動運転車を動かしてみた話｜aoshun7
こんにちは、自動運転EVをつくるTuring（チューリング）株式会社で共同創業者CTOをやっている青木俊介です。 先日Turingは噂のLLM（Large Language Model：大規模言語モデル）で自動運転車を動かすプロジェクトを完遂させました。 上の動画にもあるように、今回開発したデモではユーザ（乗客）が音声で指示を出すと、LLMが裏で動き、自動運転車がユーザの指示に従って動いてくれます。LLMで実際の自動車が動いたのは世界初な気がします。 もちろんこのシステムで公道を走るわけではないのですが、我々Turingの開発思想的には非常に重要なデモでした。 この記事では「なぜTuringがLLMで自動運転車を動かしたのか」「実際どんな風にLLMで自動運転車が動いているのか」「Turingの開発体制の今後」について書いていこうと思います。 1. LLMと自動運転とTuring「LLMで自
会員数10万人のレガシーなコミュニティサイトを一から全部作り直した舞台裏 - エス・エム・エス エンジニア テックブログ
はじめに 規模の大小を問わず、レガシー化したサイトには色々な課題が存在します。課題の根本的な改善のためにソースコードをゼロから書き直してリニューアル（以後、このことをフルリニューアルと呼称します）するということは、とても魅力的な一方でリスクもあります。フルリニューアルすなわちアンチパターンとされていることも多いですね。ここでは「中規模程度のコミュニティサイトをフルリニューアル、すなわち一から全部作り直す」という選択をした背景や、その進め方について書いていきます。 なお、書きやすさのために筆者一人で思考・実行したように書いていますが、実際には事業部所属のもう一人のエンジニアもしくは二人の考えや行動をミックスしたものとなっています。 TL;DR PHP 5/Ethna & Smarty/オンプレ/オフショア開発7年ものを引き継ぎ/ツライ ↓ PHP 7/Laravel & Vue.js, El
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
増田亨さんによる「設計の考え方とやり方」勉強会 書き起こし1 「良い設計を目指す」 - asken テックブログ
「Real World HTTP」著者・渋川よしき氏が「最新情報は追わない」と断言する理由
近似最近傍探索Indexを作るワークフロー - ZOZO TECH BLOG
ZOZOTOWNの基幹データベースをリプレースした話 - ZOZO TECH BLOG
GitHub Copilot はどのようにして空気を読むか？ - ABEJA Tech Blog
「男性育休」を取得した男性たちが語る、ハードルと育休中の過ごし方 - 週刊はてなブログ
「3年前に戻れるなら、同じ意思決定はしない」マネージャーをなくしたサイボウズから学ぶ、フラット型組織でできないこと
数百サイトのクローラーを効率よく運用する仕組み - ZOZO TECH BLOG
エンジニアのキャリアについて【SmartHRの場合】 - SmartHR Tech Blog
Railsでクレカ決済付きECサイトを作ってみよう！【勉強会イベント紹介】 - エムスリーテックブログ
テックブログの書き方・続け方 - オールアバウトTech Blog
ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~ - コネヒト開発者ブログ
「OpenAI」から「Azure OpenAI Service」への移行 「LangChain」を使って実装する中で気づいたこと
git rebaseの使い方をやっと理解したので忘備録 - Perlテックブログ(跡地)
作って遊ぼう！LLMを搭載した君だけのV&Lモデル！
フロントエンジニア必見！JavaScriptのエラーログ収集方法 - IDCF テックブログ
Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築
ログラスのTerraform構成とリファクタリングツールの紹介
Terraform だけだとハードモードなので Terragrunt を使おう - Qiita