Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介したいと思います。 なお、SQLを使ったデータ基盤の監視自体については私の前職のTech Blogで詳細に書いていますので、そちらを参照してください。 SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog 本エントリはこれをベースに「dbtをフルに活用している10Xの環境向けに入れた監視」や「BigQuer

こんにちは、つくぼし(tsukuboshi0755)です! 現在 DevelopersIO 2023の一環として、YouTube でのビデオセッションが公開されています。 今回私の方では、「AWSとGitHubを用いたパターン別CI/CD構成解説」というタイトルで投稿しました。 概要 AWS基盤でCI/CD構成を作りたいが、どのようなサービスを組み合わせて作るべきだろうか？ 特にCI/CDに関する有名なサービスとして、AWSのCodeシリーズとGitHubがあるが、両者の使い分けはどのようにすれば良いだろうか？ そんなお悩みをすっきり解決するため、様々なパターンを想定したCI/CD構成をまとめて解説します。 動画 スライド 参考サイト ECS用のCDパイプラインに対する考察 CodeDeploy / GitHub Actions｜Rails × CloudFormation ハンズオン A

Qiita Conferenceは、ソフトウェア開発者が集まり、最新の技術や最先端の挑戦・ソフトウェアの未来についての考えや知見を共有し、つながる場を創出する、「Qiita」が開催するオンライン技術カンファレンスです。ここで松本勇気氏が登壇。まずは、大規模言語モデルが与えたインパクトについて話します。 松本氏の自己紹介 松本勇気氏：本日は基調講演の場をいただき、ありがとうございます。日本CTO協会（理事）およびLayerXという会社のCTOを務めている松本と申します。みなさま、よろしくお願いします。 何か気になることがあればチャットでワイワイしてもらえると、話している側的にはちょっと楽しくなってくるので、ぜひよろしくお願いします。 今日は「エンジニアキャリアとLLMによって変わっていく開発とその未来」。ちょっとタイトルが長かったので「ChatGPT」から「LLM」（という書き方）になってい

おそらくWeb制作を依頼した側の会社からすると何をやっているのか全くわからないであろう「WordPressの保守」という項目。 やってることわからないし別に依頼する必要はないなと判断してしまうようなケースも多いかなと思う。 WordPressを利用する上で必要なことなので、私が会社や個人で保守という作業の中で一体何をやっているのかを紹介する。 最初に結論 保守でやっている作業は以下の通り。 WordPressの本体のアップデート WordPressのテーマのアップデート WordPressのプラグインのアップデート 不具合が起こった場合の状況把握 不具合の修正（いただいている料金による） WordPressやWeb技術に関する情報の収集 WordPressの保守と更新代行の違い 大いに勘違いしている人がいるのだが、WordPressの保守と更新代行は違う。 WordPressの保守は最初に

つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用 この本では、LangChain と Streamlit を用いて、ChatGPT APIを活用するAIアプリを開発していきます。つくりながら学ぶことを重視し、簡単なチャットアプリ開発から始めて、Embeddingを活用するアプリ開発まで、ステップバイステップで学べます。 AIアプリをローカル環境で開発した後は、WEB上にデプロイする方法も学びます。クラウドの知識もほぼ必要なく、ランニングコストも掛からない方法で行うため、ぜひ作ったアプリを公開することにチャレンジしてみましょう。 500円と設定していますが投げ銭用です。本文は全て無料で読めます。

「Pulumi AI」発表。自然言語でAWS、Azure、Cloudflare、Kubernetes、Datadogなど130以上のインフラやサービスのInfra-as-Codeを自動生成 クラウドをはじめとするITインフラの構成をコードで定義する、いわゆるInfrastructure as Codeツール「Pulumi」を提供するPulumi社は、自然言語からインフラ構成コードを自動生成する「Pulumi AI」を含む、AIを活用した新サービス群「Pulumi Insights」を発表しました。 Exciting news! Pulumi Insights - intelligence for cloud infrastructure – is here. We’ve tapped into the power of generative AI and GPT-4 to automate

ソフトウェアエンジニアの 鈴木 (@szk3) です。 先日、カミナシにおいて古くから存在する１つの機能をリアーキテクティングしました。 その結果、処理時間は4分の1以下、コストは90%程度削減 と大きな成果を出すことができました👏 本記事では、その機能が抱えていた課題に対しどのような改善のアプローチをして上記の結果に結びついたのか？について共有します。 Excel変換とは 今回、リアーキテクティングの対象となった機能は、カミナシに帳票として記録されたデータをExcel形式に変換して出力する機能です。 これを、”Excel変換” と呼んでいます。 Excel変換は、カミナシのサービスの中でも比較的古くから存在する機能です。 ここ数年での利用ユーザーの増加と共に、設計当初のシステムアーキテクチャが技術的な負債となっている状態でした。 Excel変換の課題 まず最初に、設計当初のアーキテクチ

仮想化システム「Docker」を開発するDocker社は、2023年3月16日に「Docker Free Teamsプラン」の廃止を発表していました。ところが、2023年3月24日には方針を変更して「Docker Free Teamsプラン」を引き続き提供することを発表。同時に、廃止発表後に有料プランに移行したユーザーに対して返金対応を行うことも明らかになりました。Docker社の無料プラン廃止を巡る発表は二転三転しており、開発コミュニティに混乱をもたらしています。 We're no longer sunsetting the Free Team plan | Docker https://www.docker.com/blog/no-longer-sunsetting-the-free-team-plan/ 2023年3月14日に、Docker Hubを組織で利用しているユーザーに対して

面白いなと思った使い方、大事だなと思ったコツの個人的な備忘録です。 はじめに 前提 ChatGPTのTipsまとめ 基本編 鵜呑みにしない 途中で文章が途切れた時は "続けて" 汎用Tips 文脈を伝える 条件/制約や質問を明示する 相手の立場を指定する 回答の特性を指定する 英語で入力する 無茶振りする レビュアーや反論者を用意する おわりに はじめに ChatGPT、面白いですね。 難しく考えず素朴にChatGPTと会話するのも十分面白いですが、コミュニケーションを工夫することでより良い体験が得られたりします。 (対人コミュニケーションと同じですね) 今回は、個人的にChatGPTを使ってる中での好みのコツをまとめます。 ChatGPTのコツを書いているはずが、いつの間にか対人コミュニケーションの話みたいになってしまった ChatGPTの使い方のコツをまとめる - BioErrorLo

こんにちは。CTOの松本です。ここしばらくケトジェニックな減量に取り組んでいます。好きな食べ物は鯖水煮缶です。 今回は、先日発表されたsuguruさん入社について、長期で成長し続けることを目指した今後の組織の形の考え方、特に縦と横の意識についてお話させてください。 内容についてはsuguruさん、mosaさんとのPodcastでもお話しておりますのでもしよければこちらもどうぞ。 open.spotify.com 縦と横の意識 開発組織に関わらず、様々な会社で「個々の専門領域・事業領域・プロダクト領域に閉じるチーム」と「横断的なチーム」という2軸の整理を議論することがあるかと思います。開発組織で言えば、例えば一つのプロダクトやシステムを管轄するチームと、インフラ等横軸で全体をサポートするチームがありえます。 また、直近ではこれを更に細分化し、ストリームアラインドチーム、イネーブリングチーム、

この記事は BASE Advent Calendar 2022 の21日目の記事です。 Platformグループでグループマネージャー をしている 松田（ @tadamatu ） です。 先日、エンジニア15名に AWS JumpStart（AWS研修プログラム） に参加してもらいました。 この記事では、参加の目的や感想、実際参加してどうだったのか、などを伝えさせていただこうと思います。 「AWS JumpStart（AWS研修プログラム）」とは？ AWSが 無償 で提供してくれている研修プログラムで、AWS初学者のエンジニアを対象とした、実践的な2日間の研修プログラム です。 https://awsjumpstart221020.splashthat.com 将来的にAWS活用をリードする人材になるための第一歩をスムーズに踏み出せるようなプログラムをご提供します 単なるAWSサービスの学

こんにちは。エンジニアの永井(shnagai)です。 今回は、現在進めている検索システム内製化プロジェクトの中で、日本語サジェストを実装するために試行錯誤した話を書こうと思います。 内容は、ざっくり下記の構成になっています。 日本語サジェストの難しいところ よりよい日本語サジェストのために試行錯誤した点 この記事はコネヒトアドベントカレンダー2022の16日目の記事です。 日本語サジェストの難しいところ 日本語のサジェストをOpenSearch(Elasticsearch)で実装するにあたりいくつか難しい点がありました。 この話の前提として、コネヒトではインデックス作成に使えるデータとして下記を持っています。 検索ログデータ 検索対象のテキストデータ 以後の話はこのデータを使いサジェストを実装する際に、どのような点を意識したかについて話していきます。 ①よみがなの考慮 サジェストの実装を考

ECS Service Connectによるサービスの新しいつなぎ方 / A new way to connect services with ECS Service Connect

Amazon Web Services ブログ Amazon CloudWatch Internet Monitor プレビュー – アプリケーションのインターネットパフォーマンスをエンドツーエンドで可視化 皆さんには、モニタリング用のダッシュボードではアプリが通常の状況であると表示されているものの、顧客からは「遅い」とか、利用できないと報告された体験が、何度くらいあるでしょうか? 顧客からのこういった報告を診断するには、どれくらいの時間を要していますか? インターネットに接続するアプリケーションをモニタリングする際には、地理的に離れており複数のインターネットプロバイダーに接続しているそれぞれの顧客に対する、アプリケーションの動作を具体的に把握する必要があります。このため、AWS の外部でデータを収集することが 1 つの課題になっている、とのお声もあります。自分のインフラストラクチャに到達

Datadog はモニタリング関連の SaaS ではおそらく最も利用されているサービスでしょうが、公式ドキュメントが豊富にある割には何から読み始めれば良いかわかりにくく、慣れるまでの道が険しい印象です。 本エントリーでは、Datadog が既に導入されている組織で、Datadog モニターを使って監視をしたいけど、モニターの設定方法がよくわからないといった方を対象に、メトリクスモニターの作成に焦点を絞って解説していきます。なお、あくまで Datadog の使い方についての解説であり、どのようなモニターを設定すべきかについては触れません。 メトリクスの収集についても触れたかったんですが、力尽きたので、メトリクスの収集については気が向いたら別エントリーを書きます。 アジェンダ メトリクスモニターの作成方法の基本 クエリの定義について クエリの評価期間・評価方法・アラート条件の指定 クエリの結果

さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと

本日10X Culture Deckの組織・人事パートをアップデートしました (以下はその一部です)。 この2022/10をめがけて10Xという企業組織の進化を進めてきた、そのアウトプットの片鱗になります。 本記事ではこの組織のアップデートの背景として私が考えたことをお伝えするために書いています。 最近の私の時間投資

LayerX羅針盤は、LayerXが大切にする行動指針から派生する、具体的な行動をイメージできるようにしたものです。 【参考】企業文化に投資する https://note.com/fukkyy/n/n97cb404f4013

こんにちは。エンジニアの永井(shnagai)です。 今回は、現在進めている検索システム内製化プロジェクトの中で、検索エンジニアとしてはほぼ未経験に近い自分が半年ほど試行錯誤した内容の一部を書き記していこうと思います。 ※筆者の経験としては、Elasticsearch✕kibanaのログ基盤は複数構築経験はありで、Elasticsearch周りの設定への知識は0ではないレベル この記事を見て、検索に詳しい方や自分もやってみたいという方がいたら是非お声がけいただけるとうれしいです。 内容は、ざっくり下記の構成になっています。 作りながら身にしみた検索システムの奥深さ 初回ABテストでは既存エンジンに惜敗。再現率向上を目指すためのチューニング これから 作りながら身にしみた検索システムの奥深さ プロジェクトの開始前に、そもそも検索システムを自社で作り運用していけるのかの当たりをつけるために、マ