並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 923件

新着順 人気順

GCPの検索結果41 - 80 件 / 923件

  • Google Cloud Platform のトレーニングコース、ハンズオンを 1 か月間無料で提供 | Google Cloud 公式ブログ

    COVID-19 感染拡大を受けて多くの人が在宅勤務や家庭学習に切り替えましたが、自宅にいながらスキルアップを図りたい、知識を増やしたいと考えている人もたくさんいます。こうしたご要望にお応えするため、Google Cloud Platform のトレーニング コースや Qwiklabs のハンズオンラボなどの各種学習リソースを 5 月 20 日まで無料で提供しています。 下記オンデマンド トレーニング、ハンズオンラボよりご希望のトレーニングをお選びいただけますので、是非ご活用ください。 Qwiklabs Pluralsight(英語のみ) Coursera お申し込み、詳細はこちらをご覧ください。 また、Google Cloud では、オンデマンド トレーニングやハンズオンラボ以外に、ウェビナーもご提供しております。各トレーニングリソースについては以下をご覧ください。 オンデマンド トレー

      Google Cloud Platform のトレーニングコース、ハンズオンを 1 か月間無料で提供 | Google Cloud 公式ブログ
    • なぜ脱OSSが増えているのか?

      はじめに TerraformやVaultを開発するHashiCorpは自社製品をOSSのMPL(Mozilla Public License v2.0) から、ソースコードは公開するも一部の利用に制限があるBSL(Business Source License) への変更をアナウンスしました。 これは2018年のRedisを皮切りにMongoDBやCockroachDB、ElasticSearchなど多くのプロダクトで進められている脱OSSの流れです。商用のオープンソース[1]と言われてしまうこともある最近のこの動きの理由は何故なのか? という点を以下の動画で解説しました。 動画中では尺の都合で端折った個所も多いので、こちらの記事の方にもまとめておきたいと思います。 OSSとは? OSSの定義 まず、OSS(オープンソース)とはなんでしょうか? これはRMSのフリーソフトウェアを源流とする

        なぜ脱OSSが増えているのか?
      • ChatGPTを業務に組み込むためのハンズオン.pdf

        ChatGPTを業務に組み込むためのハンズオン 2023/06/26 一般公開用 デジタル庁 Fact&Data Unit 大杉直也 ↑マイナンバー交付数のダッシュボードを作っているところです 「Microsoft でテストされたアイデアのうち、改善を示すメトリクスを実際に改善できたのは3分の1にすぎない」 (Microsoft社 元Vice President) 「もしあなたが実験主導のチームにいるなら、70%の仕事が捨てられることに慣れてください。それに応じてプロセスを構築しましょう」(Slack社 Director) A/Bテスト実践ガイド p14より 一方で 「アイデアの価値を見積もることは難しい。このケースでは、年間1億ドルの価値ある単純な変更が何か月も遅れていた。」(同著 p5より) こともあります 午前中のアイデアソンで出たアイデアはちゃんと検証するまで価値があるかは不明です

        • 非常用持ち出し品に転用可能な、災害時に役にたつ山道具まとめ - 温泉ブログ 山と温泉のきろく

          山道具には災害時に使えるものがとても多い すごい台風でしたね……。18歳で上京して以来、いや生まれてこの方、ここまでの台風は初めてでした。 幸い我が家は特に被害なく、自宅で閉じこもってじっとしていることでやり過ごすことができましたが、スマホからは緊急速報が何度も鳴り響き、落ち着かない1日ではありました。 1人暮らしでやや心細いということもあり、また、この地に住んで初めて経験する事態だったので自宅にいて本当に大丈夫なのかが想像つかず「避難勧告が出たら避難できるように」と、あらかじめ用意してあった非常用持ち出し品を見直して、ザックに詰めたりも。 こんな感じで。 停電になるかもしれないから、ライトはすぐ手に取れるようザックの上に。外に出ることになったら貴重品を入れたヒップバッグを斜めがけにし、その上からレインウェア上下を着て、ザックにレインカバーをかけて登山靴履いて出る!みたいに考えていました。

            非常用持ち出し品に転用可能な、災害時に役にたつ山道具まとめ - 温泉ブログ 山と温泉のきろく
          • 機械学習システムの設計パターンを公開します。

            メルカリで写真検索とEdge AIチームに所属している澁井(しぶい)です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください! PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください! GitHub:https://github.com/mercari/ml-system-design-pattern GitHub Pages:https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた

              機械学習システムの設計パターンを公開します。
            • 見ているサイト上に露出している機密情報(APIトークン、IPアドレスなど)を見つけるブラウザ拡張を作りました

              見ているサイト上に露出している機密情報(APIトークン、IPアドレスなど)を見つけるブラウザ拡張を作りました SecretlintというAPIトークンなどの機密情報がファイル内に含まれているかをチェックできるツールを書いています。 Secretlintはコマンドラインツールとして動くので、主にCIやGitのpre-commit hookを利用して、リポジトリに機密情報が入るのを防止できます。 SecretlintでAPIトークンや秘密鍵などのコミットを防止する | Web Scratch 一方で、実際のウェブサービスなどは機密情報がファイルにハードコードされているわけではなく(Secrelint自体がこういうハードコードを防ぐツールです)、環境変数やDatabaseに保存していると思います。 このような場合にも、コードのミスなどによって公開するべきではない情報(秘密鍵、APIトークン、Sl

                見ているサイト上に露出している機密情報(APIトークン、IPアドレスなど)を見つけるブラウザ拡張を作りました
              • 一銭も払わずにクラウド上でWebサービスを公開する(2021/02時点) - Qiita

                これはなに? Webサービスを開発する際に使えるサービスのうち、無料枠があるものをまとめました。 自分でちょっとしたWebサービスを作ろうと思ったときに一銭も払いたくないなという気持ちがあるが、そもそもどの程度までちゃんとした構成が取れるんだっけというのをこれまでに100万回調べている気がするので自分用にまとめたメモです。 前提として、基本的にはAWSとGCPを対象に調べて、一部はそれ以外のサービスも追加で調べている、という感じです 最初に結論 「無料でWebサービスを提供する」というところだけに集中するならAWSよりはGCPのほうが良さそう(ハードルが低そう + できることが多そう) 無料枠だけで完結させるならherokuはSQLも使えるし視野に入れて良さそう ドメイン周りだけはどうにもならないので諦めてお金を払うか各クラウドサービスのドメインのまま使いましょう 無料の範囲内で最低限のW

                  一銭も払わずにクラウド上でWebサービスを公開する(2021/02時点) - Qiita
                • Googleフォトの容量無制限無料バックアップ、2021年5月末で終了

                  米Googleは11月11日(現地時間)、「Googleフォト」で提供している「高画質」画像の無料・無制限バックアップサービスを2021年5月末に終了すると発表した。「今後もより多くの写真を余裕をもって安全に保管していただけるよう、このたびストレージポリシーを変更」したとしている。 同日発表したGoogleアカウントのストレージに関する変更の一環だ。 現在、Googleフォトの高画質画像や動画はGoogleアカウント付属のGoogleドライブ(無料で15GB)の容量としてカウントされていないが、2021年6月1日以降にアップロードする画像や動画はGmailなどの他のサービスのファイル同様にカウントされるようになる。これは有料版の「Google One」でも同じだ。 6月1日以前にアップロードしたコンテンツはこのポリシーの影響を受けない。また、オリジナルスマートフォンPixel1~5からアッ

                    Googleフォトの容量無制限無料バックアップ、2021年5月末で終了
                  • しずかなインターネットの技術構成

                    こんなWebサービスをリリースしたので、技術的な話をまとめておこうと思います。 元々このサービスは、趣味の延長線のような感じで開発を始めました。競合にあたるnoteやはてなブログなどのサービスが確固たる地位を築いているということもあり、「お金にはならないだろうけど、自分の趣味を詰め込んだものにしよう」というゆるい気持ちで開発を続けています(楽しい)。 選定の方針 趣味と言っても文章投稿サービスなので、ユーザーが少数であったとしても長期間運営しなければなりません。そのため、ユーザー数が少なければランニングコストが数千円/月以下、ユーザー数が増えたときは段階的にコストが上がるように選定を行いました。 アプリケーション フルスタックNext.jsアプリケーションをCloud Runにデプロイしています。各APIエンドポイントはNext.jsのAPI Routesで生やしています。 Next.js

                      しずかなインターネットの技術構成
                    • Googleの無料サービス「Dialogflow」ノーコードでLINEチャットボットを作ってみた | Ledge.ai

                      サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

                        Googleの無料サービス「Dialogflow」ノーコードでLINEチャットボットを作ってみた | Ledge.ai
                      • 2020年のフロントエンドエンジニアの技術スタックの一例

                        年の瀬なので、私自身が今年利用した技術をベースに技術スタックをまとめてみようと思います。 とはいえ Web Standard といった広い対象から、フレームワークやライブラリまで、粒度の違うものを全て言及するのは無理があるというもの。特に強く言及できるものは個別で説明しつつ、最後に利用する機会がなかったものも最後に記載する形で。 以下常体。 追記: マイナー企業のようなので一応書いておきますが、筆者は本業ではLINE株式会社という組織でいわゆるエンジニアリングマネージャーと言われるような業務とその採用に関わる仕事をしています。 利用した技術一覧 HTML/CSS/JS みたいなことを書いてるとキリがないので、独断と偏見で区分けして適宜漉いています。特に利用する機会が多かったものは太字でピックアップ。 Frontend Language/Platform TypeScript JavaScr

                          2020年のフロントエンドエンジニアの技術スタックの一例
                        • (年収270万で)プログラマーを引退して、医学部にきた俺が真面目に考えて..

                          (年収270万で)プログラマーを引退して、医学部にきた俺が真面目に考えてやろう。 ① 言葉は正しく使おう真面目に読んでいて、ちょっと気になる箇所がある。たとえば PostgreSQL を postgre とか書くヤツは現場では嫌われるぞ。少なくとも postgres と書いてくれ。お里が知れるぞ。 ② プライドが高い消えていくエンジニアの特徴だけど、叱責されたり馬鹿にされるのが嫌で VCS にコミットしないヤツ、または貪欲にコードレビューをされるのが嫌がるやつは、成長しない。 ③ エリート意識この業界は数年前には『デジタル土方』と揶揄される業界でした。ちなみに、アメリカでも「テック系はハードだから避ける」という雰囲気でした。つまり何をいいたいのかというと、ソフトウェアの開発者っていうのは「泥臭い領域」なんだよ。エリートとは程遠い場所にあるというね。 ④ 「某天市場の先輩には,ここ仕事量少な

                            (年収270万で)プログラマーを引退して、医学部にきた俺が真面目に考えて..
                          • メルカリShops の技術スタックと、その選定理由 | メルカリエンジニアリング

                            こんにちは。ソウゾウの Software Engineer (CTO) の @suguru です。連載:「メルカリShops」プレオープンまでの開発の裏側の1日目を担当させていただきます。 7月末にメルカリShopsという新しいサービスが公開されました。メルカリShops は、2021年1月にメルカリのグループ会社として設立したソウゾウが新たに立ち上げたサービスです。 この記事では、メルカリShops を作るにあたり、どういった技術、アーキテクチャを選定したのか、その背景と意思決定をまとめて共有したいと思います。 monorepo まず最初にプロジェクトをスタートしたときに、サービスのリポジトリを作るのですが、迷わず monorepo による構成を選択しました。monorepo は、システムを構成する複数のコンポーネントの独立性を保ちつつ、全ての構成を1つのリポジトリで管理する手法です。今

                              メルカリShops の技術スタックと、その選定理由 | メルカリエンジニアリング
                            • 大公開!バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG

                              こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab

                                大公開!バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
                              • デジタル化の流行と「上流工程」の終焉 - SaaSベンチャーで働くエンタープライズ部長のブログ

                                DX(デジタルトランスフォーメーション)という言葉が流行し、猫も杓子もデジタル化という言葉を使い始めました。さて、デジタル化とは何なのか、そして流行しはじめたのはなぜなのか。 端を発するのは経産省の「2025年の崖」のレポートだと言われていますが、レポート読んではみたものの本題はSAP ERPの保守期限を意識した基幹システムの刷新化と技術的負債の返済であるにもかかわらず、日本企業のスピード感の話だったり、なぜかマイクロサービスとAI、アジャイルサービスなど流行のワードがたくさん出ており、論点がぼやけている印象を受けてしまいました。 基幹システム刷新化においてマイクロサービスなどは一部で使えるかもしれませんが、銀の弾丸とは思いませんし、現状整理によってはきちんとしたデータベース設計とウォーターフォールを主としたロジック移行が最適解であることも十分にありえるといち技術者としては思います。 僕自

                                  デジタル化の流行と「上流工程」の終焉 - SaaSベンチャーで働くエンタープライズ部長のブログ
                                • 熱量を失ったサーバーレスという世界(個人の所感) - Sweet Escape

                                  はじめに 先日、エンジニア界隈では有名なポッドキャストであるfukabori.fmに出させていただきまして、そのときのトピックがサーバーレスでした。 ポッドキャストはこちらで聞けますのでぜひどうぞ。 fukabori.fm そこでもいろいろお話ししたのですが改めて話せなかったことなども含めて書こうかなと。つまり、ポエムです。散らかった文章な上に少し長めなのでお時間のある方だけどうぞ。 なお、サーバーレスの黎明期の話とかそういう思い出話は以前に書いたこちらの投稿があります。 サーバーレスと僕のこれまでとこれから - Sweet Escape 今回は思い出話ではなく、サーバーレスに個人として魅力を感じ、仕事としてその良さを広めたり、実装のお手伝いをし続けてきた自分がそういった仕事から離れた2022年現在どういう風に向き合ってるかについてのポエムです。 前提 現在の自分は株式会社Singular

                                    熱量を失ったサーバーレスという世界(個人の所感) - Sweet Escape
                                  • とりあえずWebサービス作る時の私の技術選定ポイント@2022/02

                                    はじめに inspired mogaさんのブラウザで動くサービスを作るときの技術選定が素晴らしい記事だったので、自分も書いてみる事にしました。 幸いにも技術選定からのお仕事をする機会が多くて、自分の中でパターンが大体決まってきているので言語化してみます。前提が同じサービスは無いので絶対的な正解は無いですが、なんかしらの参考になれば幸いです。 ※2022/02時点 私/よくあるお仕事について Web系のサービスなんかいい感じにするマンとして、フリーランスとして働いています。 準委任という形でスタートアップ企業をお手伝いする事が多いです。 MVPを作りたい、もしくはMVPは行けたのでちゃんと作り直したい、という要望があって参画して、まるっと作ってそのまま運用をします。作って終わりではなくて、運用や拡張性を考えてやってます(サービスに必要なのはもちろん、運用する自分が楽だから)。 前提 エンジニ

                                      とりあえずWebサービス作る時の私の技術選定ポイント@2022/02
                                    • Webエンジニア1年目の自分に捧げたい本・記事を超まとめ - Qiita

                                      そろそろWebエンジニア3年目の折り返しになるので、Webエンジニアとして働く中でこれまで読んできた情報たちをまとめようと思い立ちました。 エンジニア3年目の今だからこそまとめられる情報として、「エンジニア1年目の1年間で読んでおきたかったな〜。」という本と記事をまとめておきます。 まとめ始めたら楽しくなってしまい、情報量が多くなってしまった...。全部手に取るのは不可能だと思うので、サーっと目を通して見て興味が湧いた本や情報を手にとっていただけると良いかと。 これからWebエンジニアになる人、Webエンジニア1年目の人の参考になれば幸いです。 これは何? Webエンジニア1年目が仕事を進める上で絶対に求められるであろう知識を、技術力・Web知識・仕事の進め方・キャリアの観点からまとめました。 「これだけ読んでおけば絶対大丈夫!!」という安易なものではありませんが、「どんな知識を学べばいい

                                        Webエンジニア1年目の自分に捧げたい本・記事を超まとめ - Qiita
                                      • 君はまだ平成のアーキテクチャを使ってるのか?僕はFirebaseと令和の時代に行くぞ。 - Qiita

                                        Help us understand the problem. What is going on with this article? メリークリスマス! この記事はFirebase Advent Calendar 2019の25日目の記事です。 これはなに? この1年、本を書いたり勉強会で登壇したりいろいろやってみた結果を振り返ってみると、本当に多くの人がFirebaseにふれるようになったなぁと思います。圧倒的な開発者体験の良さをもってバックエンドの関心事を一手に引き受け、アプリケーション開発を劇的に高速化してくれるソリューションとして、Webアプリでもモバイルアプリでもバックエンド第一の選択肢として確固たる地位を確立しつつあるのではないでしょうか。 それ自体はとてもいいことなのですが、Firebaseの強さを活かすためのアーキテクチャに関するアイデアはあまり表に出てきていないのではな

                                          君はまだ平成のアーキテクチャを使ってるのか?僕はFirebaseと令和の時代に行くぞ。 - Qiita
                                        • 【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita

                                          AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください! 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ

                                            【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita
                                          • Elasticsearch運用ノウハウ | メルカリエンジニアリング

                                            こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen

                                              Elasticsearch運用ノウハウ | メルカリエンジニアリング
                                            • スプラトゥーン3をパケットキャプチャーで解析、最新の通信技術を学ぼう

                                              人気の「スプラトゥーン3」を通して、最新の通信技術の基本を学んでしまおうというこの特集。今回は実際にスプラトゥーン3のパケットをWiresharkでキャプチャーして、UDPの通信やNAT越えの仕組みを見ていきます。 なお記載内容については、実際の通信をキャプチャーした結果に基づいた筆者の考察や推測によるものであり、任天堂の公式見解ではないことを記しておきます。 任天堂が開発した汎用ゲームプラットフォーム「NPLN」 スプラトゥーン3では、「NPLN」という、任天堂がスクラッチから開発をした任天堂プラットフォーム向け汎用ゲームサーバーが使われ始めました。従来のプラットフォームである「NEX」はニンテンドー3DS/Wii Uからの世代で使われてきて、NPLNはそこでのノウハウを基に2021年から「Google Cloud Platform(GCP)」で稼働しているようです。オンライン対戦のマッ

                                                スプラトゥーン3をパケットキャプチャーで解析、最新の通信技術を学ぼう
                                              • VSCodeでDraw.ioが使えるようになったらしい! - Qiita

                                                追記 versionによっては設定を変えないとエクスポートができないようです。 エクスポートできない方はこちらの記事をご参考に設定いただくとエクスポートできるかもしれません。 現状バージョン0.4ではこちらの設定が必要となります。 VSCodeでDraw.io Integration使用時にエクスポートできないことがある問題への対処 2020/10/18追記 現在のバージョン0.7ではdrawio拡張子のエクスポートがうまくいかないようです。 その場合はオフラインモードに移行変更していただくか、drawio.pngやdrawio.svg拡張子でファイルを作成してもらうことで直接編集もできた上で、エクスポートとせず末尾の拡張子ファイルとして利用することができます。 はじめに VSCodeで簡単にDraw.ioで描画できるようになったみたいなので、 導入方法と使い方を備忘として残していきます。

                                                  VSCodeでDraw.ioが使えるようになったらしい! - Qiita
                                                • 小林化工・小林社長が会見 申請時の虚偽記載は「特許切れ後すぐ承認が目的」 営利に走った結果 | ニュース | ミクスOnline

                                                  小林化工の小林広幸代表取締役社長は4月16日、福井県あわら市の本社で会見を開き、申請書類の一部に虚偽の記載があったことなどから、12品目の製造販売承認が通り消される見通しであると発表した。これまでは製造部門での不正が報告されてきたが、新たに研究開発部門でも不正が見つかったことになる。小林社長は問題が起きた原因について、「有望なジェネリック製剤については、多くのメーカーが製造販売に向けて開発に凌ぎを削る中で、特許切れ後すぐに承認をとろうとしたことがこうした不適切な行為の背景にあった」と営利に走った結果であることを認めた。ガバナンスの欠如が指摘されるなかで、自らの進退にも改めて触れ、「解決への道筋をつけたうえで、なるべく早い段階で辞任ということを考えている」と述べた。 ◎「売り上げがないと生き残れない」-。出荷優先の意識が全社にあった 小林社長 「製薬企業としてある程度の売上高がないと生き残っ

                                                  • ゴールデンウィークは自宅で学習だ!Google Cloud のトレーニングラボが30日間無料で利用できます! #うちで過ごそう | DevelopersIO

                                                    Pluralsight および Coursera はキャンペーン期間終了後、通常料金が課金されますのでご注意ください。 今回は無料で利用可能な Qwiklabs と Pluralsight を申請しました。招待メールは各サービスごとに届きます。 お得な利用方法 無料期間の開始は、特別オファーの申請時点ではありません。各種サービスでサブスクリプション登録が完了してから 30 日間になります。 どちらもそれなりにボリュームがありますので、最初にいずれか一方を有効化し、5月31日までにもう一方を有効化すると、実質的に 2 ヶ月弱の間、無料で GCP の学習環境が利用可能になります。 もちろんハンズオン中心の Qwiklabs と、講義動画および確認テスト中心の Pluralsight を同時に進めたい場合は同時に利用しても良いでしょう。 Qwiklabs(セルフペースハンズオン) まずは Qwi

                                                      ゴールデンウィークは自宅で学習だ!Google Cloud のトレーニングラボが30日間無料で利用できます! #うちで過ごそう | DevelopersIO
                                                    • DATAFLUCT Tech Blog

                                                      2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…

                                                        DATAFLUCT Tech Blog
                                                      • crontab database ~君がしでかしてくれたもの~ - Qiita

                                                        この記事は本番環境でやらかしちゃった人のアドベントカレンダー2日目の記事です。 内容的にそろそろ時効だと思うので供養のために書きました。 追記。そういえば時期をちゃんと書いてなかったけど事件が起きたのは去年2018年、つまり仕込み(ヲイ)は2017年の話です ぶっちゃけネタ記事ですw (たまたま見つけて参加してみただけなのに昨日の記事の伸びっぷりを見て戦々恐々としてる TL;DR DB移行作業において、テスト期間中は常に最新のデータで処理できるように書いておいたプログラムをcrontabで実行していた。最終的に本番に合わせて日時を調整していたが、そのことを失念し1年後に再実行されてしまい、本番データが1年前に巻き戻る事故発生。 crontab は分、時、日、月、曜日を指定できるが、1年後に帰ってくるから気をつけてね。という話。 惨劇はなぜおこってしまったのか 結論から言えばcrontabの

                                                          crontab database ~君がしでかしてくれたもの~ - Qiita
                                                        • 期限の制約なく無料で使えるクラウド「Free Tier」主要サービスまとめ。2023年版

                                                          いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは試行用の環境や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2023年版としてまとめました(新規ユーザーとして期限の制約なく無料で使えるものを優先しています)。 ただしこれらの無料のサービスは、提供側の都合によって申し込みや利用が制限されたり、もしくは提供自体が終了したりすることがあります(昨年、多くのITエンジニアに人気であったHerokuのFreeプランが終了したことをご記憶の読者も多いでしょう)。 無料のサービスを利用する場合には、そうした提

                                                            期限の制約なく無料で使えるクラウド「Free Tier」主要サービスまとめ。2023年版
                                                          • エンジニアのスキルマップ・テックリードへの途 - 電通総研 テックブログ

                                                            みなさんこんにちは。電通国際情報サービス(ISID) 金融ソリューション事業部の水野です。 これは電通国際情報サービス Advent Calendar 2022の16日目の記事です。 今回は、ISID金融事業部で運用しているスキルマップについてご紹介します。 テックリードとは 実は、ISIDの少なくとも金融事業部にテックリードと言うポジションはありません。 実在するのはチーフアーキテクトと言う職種のみで、各プロジェクトでリードエンジニアやテックリードという仮想的なロールがあるのが実態です。 一時期はフルスタックエンジニアと呼んでいる時期もありましたが、近年このワーディングが好まれない印象なので、大々的に使っていません。 主観ですが、フルスタックエンジニアはインフラ知識/運用系の知識のウェイトが高いエンジニアで、テックリードはソフトウェアアーキテクチャ、Webアプリケーション実装技術寄りのエ

                                                              エンジニアのスキルマップ・テックリードへの途 - 電通総研 テックブログ
                                                            • 初めての技術選定を頼まれた時に大事だったのは俯瞰的・相対的な考え方だった - MonotaRO Tech Blog

                                                              背景 お題 技術の差別化 差別化から分かること 情報資産からToBeを考える 俯瞰的・相対的な技術選定 これまでの話から学んだこと 最後に はじめまして、MonotaROでデータエンジニアをやっています、芝本です。 エンジニアのみなさん、技術を使って何か作ってみるのって楽しいですよね。 私は、公私ともに日々物作りに励んでいます。プライベートだと、最近はマイクロフロントエンドについて学んでいます。 技術を使うためには、技術を学ばなければいけません。 プライベートにおいては、好奇心に従って自由に学びますよね。 とりあえずgit cloneして動かしてみたり、書籍を購入して読んでみたりします。 というようにプライベートでは主に次のような選択肢があると思います。 書籍を読んで好きなものを選ぶ 実際に手を動かしてみて好きなものを選ぶ 人に教えてもらって好きなものを選ぶ 基本的にプライベートの場合は何

                                                                初めての技術選定を頼まれた時に大事だったのは俯瞰的・相対的な考え方だった - MonotaRO Tech Blog
                                                              • エンジニアの幸せを奪いがちな7つのこと

                                                                はじめに 2021年初、優秀なエンジニアはまだまだ引っ張りだこです。コロナ禍で世の中のデジタル化が進む傾向があり、従来のようなIT企業のみならず、その他の業種や官公庁においてもエンジニアの需要は増えていそうです。 そんな中、このコロナ禍だからこそ気を付けたい、エンジニアの幸せを奪いがちな7つのことを、自戒を込めて俯瞰したいと思います。 (注意) 1)自分の社での肩書はデータサイエンティストなので厳密にはエンジニアではないのですが、この記事においては便宜上、エンジニアという言葉を「業務でコード書く人、あるいはそれに関連する業務を担当する人」とざっくり定義して使用します。 2)自分の所感がほとんどです。本気にしないでください。 目の疲れ 概略 現代においてエンジニアに限ったことではないかもしれませんが、1日24時間あるうち、睡眠以外のほとんどの時間をディスプレイの前で過ごしている方が多いと思い

                                                                  エンジニアの幸せを奪いがちな7つのこと
                                                                • エンジニア3年目までに読んで良かった書籍 - Yuki Watanabe's Blog

                                                                  未経験からエンジニアになり3年が経ちました。 この3年間はベテランエンジニアとの差を埋めるべく、プライベートの時間の大半を学習に充ててきました。幸い少しずつ成長を感じられ、業務では難易度の高い仕事を任せてもらえるようになったと感じます。このキャッチアップのために100冊以上の技術関連書籍を読んだことでしょう。 ここ最近、知人やTwitter経由で知り合った方から、私が学習に使った書籍について質問を頂くことが多いです。そこで、今後参照していただきやすいように、これまで私が読んで良かった書籍を1つの記事にまとめようと思います。 前提:エンジニアとして経験した技術 書籍について 全エンジニア向け Web / インターネット イラスト図解式 この一冊で全部わかるWeb技術の基本 (★) HTMLコーダー&ウェブ担当者のための Webページ高速化超入門 (★) Webを支える技術 -HTTP、URI

                                                                    エンジニア3年目までに読んで良かった書籍 - Yuki Watanabe's Blog
                                                                  • Google純正の構成図作成ツールが登場したので早速使ってみた

                                                                    クラウドサービスでは大量の機能が多種多様に提供されており、簡単なアプリでも複数のサービスを組み合わせて利用することも珍しくありません。そうしたバックグラウンドのサービスを設計する際に役立つのがサービス間の構造を図に落とし込んだ「アーキテクチャ図」です。これまでもサードパーティーからさまざまなアーキテクチャ図作成ツールが提供されてきましたが、2022年2月17日にGoogleが自社クラウド向けの公式アーキテクチャ図作成ツールをリリースしたので、早速使い勝手を試してみました。 Google Cloud Developer Cheat Sheet https://googlecloudcheatsheet.withgoogle.com/architecture Introducing a Google Cloud architecture diagramming tool | Google Cl

                                                                      Google純正の構成図作成ツールが登場したので早速使ってみた
                                                                    • 技術に興味がなくて何が悪い? - Qiita

                                                                      TL;DR 技術に興味がなくても、エンジニアとして生きていくことはできる。 対象読者 自分を技術に興味がない側の人間だと思う方 筆者について Webアプリケーションの開発エンジニア。主な仕事はプログラム詳細設計、画面設計、コーディング。 技術にあまり興味がない。 初めに エンジニア界隈では、以下のような主張がしばしば見られる。 休日に勉強するべきである。 最新の技術動向は常にチェックするべきである。 技術イベントには参加するべきである。 毎日コードを書くべきである。 レガシーな技術ではなく、モダンな技術を習得するべきである。 etc... そしてこれらの"べき論"がさらに加速すると、 「技術に興味がない人はエンジニアに向いていない」 という主張すら出現し、それに同調する声も少なくない。 最近、とあるSNSで以下のようなやり取りを見かけた。 駆け出しエンジニアの質問 休日に勉強するべきですか

                                                                        技術に興味がなくて何が悪い? - Qiita
                                                                      • OSS 観光名所を貼るスレ - ぽ靴な缶

                                                                        これは はてなエンジニアアドベントカレンダー2023 2日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita トップバッターは緊張するけど、順番が回ってくるまで長い間ソワソワするのも嫌、という理由で例年2日目を狙うようにしている id:pokutuna です。今年も成功しました。 観光名所とは 目を閉じれば思い出す、あのコード... あの Issue... あなたが Web 系のエンジニアであれ、趣味で開発している方であれ、必要に応じてライブラリやフレームワークのコードを読むのはよくあることでしょう。公開の場で開発されているソフトウェアは、ソースコードだけでなく、開発コミュニティでの議論やバグ報告なども見ることができます。 リポ

                                                                          OSS 観光名所を貼るスレ - ぽ靴な缶
                                                                        • ネットワーク図・システム構成図作成に使えるアイコン集 - Qiita

                                                                          トポロジー図作成などに使ったりするアイコンは、結構サービス側で提供していたりする。 そう、よく目にするであろう、あのアイコンたちである。 リンクとともにまとめてみた。 Cloudサービス AWS AWSの公式アイコン集です。 2019/1/31からリリース2が公開されデザインが一新されました。PPT形式のドキュメントには、GroupsやIcons, Arrowsの使い方指南(すること、やってはいけないこと)が書かれています。このガイドにしたがって使いましょう。 また。この新しいバージョンの他に従来の旧バージョンも公開されています。 新バージョン 旧バージョン Google Cloud Platform 以前リンク切れていたのですがいつの間にか復活していました。アイコンが一新されたようです。 (ページには「図の例」があるよ、と言っているものの、2021/5/11現在まだ準備されていないようで

                                                                            ネットワーク図・システム構成図作成に使えるアイコン集 - Qiita
                                                                          • Google、VSCodeの代替を狙う「Eclipse Theia」コードエディタをクラウド統合開発環境として採用。Google Cloud Shellに統合を発表

                                                                            Google、VSCodeの代替を狙う「Eclipse Theia」コードエディタをクラウド統合開発環境として採用。Google Cloud Shellに統合を発表 Googleは、Google Cloudをコマンドラインで操作できる「Cloud Shell」の機能の新機能として、プログラミングのためのコードエディタ「Cloud Shell Editor」を統合すると発表しました。 Cloud Shell EditorはWebブラウザ上で動作するコードエディタです。Go、Java、.NET、Python、Node.jsなどのプログラミングに対応。 すでにプレビュー版として利用可能。下記は実際に起動した画面です。 見てわかる通り、まるでVisual Studio Codeの画面そっくりです。 これはCloud Shell Editorに採用されたコードエディタ「Eclipse Theia」が

                                                                              Google、VSCodeの代替を狙う「Eclipse Theia」コードエディタをクラウド統合開発環境として採用。Google Cloud Shellに統合を発表
                                                                            • 期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編(2024年版)

                                                                              期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編(2024年版) いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。(有料サービスの追加機能として無料で提供されているものは除外しています)。 ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用いただ

                                                                                期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編(2024年版)
                                                                              • 無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に

                                                                                ウェブサイトやアプリケーションを簡単に構築できるクラウドサービスは便利なものですが、その課金システムは非常に複雑です。通信量や利用した計算リソースに応じて課金する従量課金制のサービスもあれば、条件を満たすことで無料で利用できるサービスもあります。そんなクラウドサービスの無料プランを利用したつもりが、7万2000ドル(約750万円)を請求され倒産寸前に追い込まれたと、ベンチャー企業の創設者が当時の状況をブログに吐露しています。 We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt [Part 1] | Milkie Way https://blog.tomilkieway.com/72k-1/ We Burnt $72K testing Firebase - Cloud Run and almost went

                                                                                  無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に
                                                                                • 政府共通のクラウド基盤、国産サービスの応札は「なかった」 河野大臣がコメント

                                                                                  デジタル庁の河野太郎大臣は10月3日、同日に公募結果を公開した日本政府の共通クラウド基盤「ガバメントクラウド」(政府クラウド)について、国産サービスの応札がなかったと発表した。 今回の公募にはパブリッククラウド「Microsoft Azure」を提供する米Microsoft、「Oracle Cloud Infrastructure」を手掛ける米Oracle、「Amazon Web Services」を手掛ける米AWS、「Google Cloud Platform」を手掛ける米Google Cloudの4社が応札。デジタル庁はこれら全てを採択した。 ガバメントクラウドは政府やデジタル庁が主導するデジタル改革の一つ。同庁は今後、採用したサービスで構成するマルチクラウド基盤を、スマートフォンで本人確認ができる公的個人認証サービス(JPKI)の提供や、同庁による調査研究などに活用する。同庁のWeb

                                                                                    政府共通のクラウド基盤、国産サービスの応札は「なかった」 河野大臣がコメント