Dataflow と Pub/Sub を使用して、ストリーミング パイプラインの重複データを処理する | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 8 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。 目的ストリーミング データを処理して分析情報を抽出し、リアルタイム アプリケーションを強化することはますます重要になっています。Google Cloud Dataflow と Pub/Sub には、ミッション クリティカルなパイプラインを実行するための、スケーラビリティと信頼性に優れた、完成されたストリーミング分析プラットフォームが用意されています。このようなパイプラインの設計に際して、デベロッパーは、重複データの処理をどのように行うかという課題に頻繁に直面します。 このブログでは、ストリーミング パイプラインで重複データがよく発生する場所や、その処理に利用できるいくつかの方法について説明します。また、同じトピックについて説明しているこちらの技術解説もぜひご覧ください。
Azure OpenAI Service のネットワークアクセスを制限する - Taste of Tech Topics
こんにちは、igaです。 ポケモンsleepを継続していますが、行ける場所が増えたことで新しいポケモンに出会えるようになりました。 今回は、Azure OpenAIのセキュリティを向上させるため、ネットワークのアクセス制限について確認してみました。 Azure OpenAIの利用制限 Azure OpenAIを利用するためには、通常、APIキーが必要になります。 APIキー自体、ランダムな数字と文字で生成されるもので、これだけでもある程度セキュリティは確保できるものの、もし、APIキーが外部に知られてしまうと、想定していない人や環境から、自社のAzure OpenAIにアクセスされてしまいます。 APIキーが万が一漏洩してしまった場合に、Azure OpenAIを不正に利用されないようにするため、ネットワークのアクセスを制限します。 Azure OpenAIへのネットワークアクセスを制限す
Cloud Pub/Sub、1 回限りの配信機能の一般提供を発表 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 12 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 本日、Google Cloud Pub/Sub チームは 1 回限りの配信機能の一般提供の開始を発表しました。この機能により、Pub/Sub のお客様は、クラウド リージョン内で 1 回限りの配信を受けることができ、以下の点が保証されます。 メッセージの確認応答が完了すると、再配信は発生しない。 メッセージが未処理の間、再配信は発生しない。メッセージは、確認応答期限が切れるか、確認応答が行われるまで、未処理とみなされます。 確認応答の期限切れまたはクライアントによる否定確認応答により複数の有効な配信が存在する場合は、メッセージの確認応答に最新の確認応答 ID のみを使用できる。以前の確認応答 ID を持つリクエストは失敗します。 このブログでは、1 回限りの配信の基本、
Dataproc オプション コンポーネントが新たに Apache Flink と Docker をサポート | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Dataproc では、ネイティブの Apache Spark や Hadoop クラスタを Google Cloud 上でこれまで以上にシンプルかつ費用効率よく実行できるようになります。このブログでは、Dataproc のコンポーネント交換で利用可能な最新のオプション コンポーネントである Docker と Apache Flink について説明します。 Dataproc での Docker コンテナDocker は、広く使用されているコンテナ テクノロジーです。今回 Dataproc のオプション コンポーネントに追加されたことで、Docker デーモンは Dataproc クラスタのすべてのノードでインストールできるようになりました
Apache Flinkを使いKinesisストリームデータを処理する
※上記はあくまで私の視点での評価です。Akkaの熟練者であれば評価が変わると思います。 Akkaを使いたかってみたったのですが、学習コストが他と比較してかかってしまうため今回はFlinkを使うことにしました。 またAkkaに詳しい方より、「Akkaはフレームワークではなく、ライブラリなので、フレームワークはAkkaをベースに作ってくれ」 という立ち位置であり、フレームワークと比較するとトレーサビリティなどで見劣りするかもしれませんと教えて頂きました。 後で後述しますが、Flinkにも内部でAkkaが使われていて、Akkaベースで作られておりました。 AkkaはSpark、またはFlinkよりも低レベルのライブラリで、より多くのパワーがあるが、考慮すべき考慮事項も多くなるということだということかなと思います。 Flinkの強み データの保証 Exactly once メッセージは欠損も重複も
生成AIと音声認識を組み合わせて会議アシスタントツールを作ったら生産性が大幅に向上した話
株式会社クラウドネイティブは、Azure OpenAIで自組織専用のChatGPTの構築を支援するサービスを展開しています。ChatGPTとAzure AD OpenAI Serviceの取り組みや事例、支援… IDチームの前田です。今日は生成AI(ChatGPT)と音声認識モデル(Whisper)を利用した会議アシスタントツールに関する投稿になります。 (追記) 作ったツールはGitHub上で公開しており、Dockerを利用してすぐに試せるようになってます。 https://github.com/cloudnative-co/mtg-ai-assistant 2023年8月30日現在Azure OpenAIにてWhisperが利用出来ていないため、OpenAI Whisper APIを利用した試験段階のものになります。近日中にAzure OpenAIにてWhisperが利用出来るとアナウ
Googleが機械学習プラットフォーム「Vertex AI」のアップグレードを発表、生成AIを用いたアプリケーション構築がより手軽に
Googleが現地時間2023年8月29日、AI開発・運用を簡単に行える機械学習プラットフォーム「Vertex AI」の対応モデル増加や、企業によるジェネレーティブAIを用いたアプリ構築を支援するための機能追加を発表しました。 Vertex AI Next 2023 announcements | Google Cloud Blog https://cloud.google.com/blog/products/ai-machine-learning/vertex-ai-next-2023-announcements/ Googleは年次開発者向けイベント「Google Cloud Next'23」の中で、基盤モデルと企業データとの連携、カスタマイズなどを行うことが可能なVertex AIの機能拡張を行うことを発表しました。 Vertex AIにおいてジェネレーティブAIモデルのカタログ機能
GitHub Copilotの導入によってペパボの開発生産性はどう変化したか - Pepabo Tech Portal
サービスのデプロイ頻度は、そのときに開発している機能の大きさやチームメンバーの人数などの影響を少なからず受けます。そのため、この変化がGitHub Copilot導入の効果と言いきることは難しいですが、生産性が向上しているチームからのノウハウの共有などを通じて、継続した生産性の向上に取り組んでいきたいと考えています。 GitHub Copilot導入に向けた課題とその対応 ここからは、ペパボでGitHub Copilotを全社導入するにあたり検討した観点と、その結果を紹介します。 ペパボにおける生成AI活用の現状 GMOペパボでは、ChatGPTの登場以降、生成AIを活用した機能の開発や開発プロセスへの活用による生産性向上に取り組んできました。特に、pyama86/slack-gptを利用したSlack Botはエンジニアに限らず全社員が利用しており、さまざまな業務の効率化に貢献しています
DevOpsの負の側面について
トランスクリプト Protsenko氏：私の名前はMykytaです。Netflixで働いています。私の仕事は基本的に、他の開発者が遅くまで職場に残らなくてもいいようにすることです。彼らが午後5時に退社しても生産的であることが私の実現したいことです。私はプラットフォーム組織、つまり生産性エンジニアリング部門で働いており、他のエンジニアのために労力を抽象化しようとしているのです。エンジニアが同じ退屈な技術的問題に何度も対処するのではなく、ビジネス上の問題の解決に集中できるようにします。 いくつか質問させてください。あなたたちのうち何人が、自分で作って自分で動かすという哲学を実践している会社で働いてますか？生産現場との間にゲートキーパーがいないこと、機能や修正をより早く提供できることに満足している人はどれくらいいますか？本番環境で発生したインシデントに対処しているときに、どうすればいいのか分から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Flink のための Google Cloud Dataflow ランナーを発表
OpenAI、「ChatGPT Enterprise」を発表 ～無制限「GPT-4」と法人向けセキュリティを提供／高度なデータ分析機能やカスタマイズオプションも