はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに クラウドサービス選定は、コスト・機能・性能・サポート・エコシステムなど多角的な視点が重要です。 その中で最も気になる、かつ数字で比較できる一つが「コスト」です。 本記事ではAWS、Azure、Google Cloud、Oracle Cloud Infrastructure（OCI）の4大クラウドについて、価格・コストパフォーマンスを中心に主な特徴・メリット・デメリットをフラットに比較します。 各社グローバルに展開する大手クラウドですが、料金体系やコスト感やサービスの特徴には大きな違いがあると感じたため、まとめられる範囲で整理し

必要最小限の権限？ よく求められますよね。 しかし、AWS のドキュメントをひっくり返して全部読むのも苦行です。 そうだ、作ったあとに追いかければええやん AWS には AWS Cloudtrail という API を叩いたらログが残る仕組みがあります。 そして、AWS Cloudtrail は Amazon Athena というログを SQL で追える仕組みがありますよね。 であれば、AdministratorAccess 必要最小限の権限のユーザーやロールで実行したあと、そのエンティティが叩いた API を記録すれば！？ という感じでこんな SQL で回収できました。 select useridentity.sessionContext.sessionIssuer.username, eventsource, eventname, requestparameters from {Clo

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2025/2/4 に出た "Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG"(Agentic RAGの調査) v3 を訳したものです。 原文はこちら 概要 大規模言語モデル(LLM)は、人間のようなテキスト生成と自然言語理解を可能にすることで、人工知能(AI)を革新しました。しかし、静的な訓練データに依存しているため、動的で実時間のクエリに応答する能力が限られ、出力が時代遅れや不正確になる可能性があります。RAG は、この問題の解決策として登場し、LLM に

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DataGemma がリリースされました。外部情報を使ってハルシネーションを抑止する手法として RAG が有名ですが、Datagemma では RAG だけではなく RIG という手法も提案・利用していました。 RIG というのがよくわからなかったので論文を読みました。そしてそのときの翻訳を残します。 RIG が一体なんなのかはそのうち… 論文の原本はこちら 注) RIG の Retrieval Interleaved Generation は勝手に検索交互生成としました。 以下原文を LLM の助けを借りながら翻訳したもの 要旨 大規

OCIクラウド移行ガイドとは オンプレミスやAWSなど、複数のプラットフォームからOracle Cloud Infrastructureへの移行プロジェクトに取り組んでいるクラウドエンジニア（@araidon,@kazunishi,@yama6）による、OCI移行手順をまとめたシリーズ記事です。 各回、サンプルワークロードから対象サービスを取り上げ、移行手順をガイドいたします。 まとめ記事は以下になります。 移行したいサンプルワークロード 日々の業務でよく目にするサービスを中心に、サンプルワークロードとしてまとめてみました。このシリーズでは、主にAWSからの移行を取り上げます。 このワークロードは、ユーザがログインして、Web上で写真を共有するWebサービスをイメージしています。 移行検討するサービス：SNS＋CloudWatch Alarm 近年のパブリッククラウド上のサーバの各種監視サ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まず

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん（@enakai00）がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows ho

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ■１．はじめに 最近コロナの影響で家で過ごす時間が増えましたね。 それでなくとも家は生活の中でも長時間過ごす場所ですし、極力理想的な居心地のいい場所にしたいですよね。 皆さんはいま住んでいる家への満足度は高いでしょうか？ ある調査によると自分の家の満足度を0~100点で評価したとき、「90点以上」と回答した人がわずか約9.8%しかいなかったそうです。 人生の出費の中でも「住宅」への出費は大きいものの一つであり、毎月何万、何十万(あるいは数百万)の支払いをしているにも関わらずです。 (読者の方はどうでしょうか？) どうして胸張って「おれん

TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請（初回のみ。所要時間は約5分） CUDAやcuDNNをインストール（NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒） TensorFlowをインストール（所要時間は約5分） って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請（初回のみ。所要時間は約5分） Cloud Datalabインスタンスを作成（コマンド一発、待ち時間は15分ほど） これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、

これはTensorFlow Advent Calendar 2017の22日目の記事です。 12/12にGoogleからTFGANがリリースされた。TFGANはTensorFlowでGenerative Adversarial Networks (GAN)を手軽に使えるライブラリ。さっそく触ってみたので、お手軽に試す手順を紹介したい。おそらく30〜60分ほどでこんなふうにFashion MNISTの画像が徐々に生成されていく様子が確認できるはず。 TFGANで生成したFashion MNIST画像 GANって何？ GANについては、アイドル顔画像生成やいらすとや画像生成などの事例で目にしたことのある人も多いはず。いわゆる生成モデルに分類される技法で、既存のデータを投入して学習すると、そのデータの特徴を捉えた新しいデータの生成を行える。2014年にIan Goodfellow他が考案したモデ

一昨日は、Google HomeでつぶやくとTwitterでつぶやく連携がうまく動いた。これでかなり楽しくなってしまい、昨日はIFTTTのGoogle Assistant連携で家電をコントロールする方法をいろいろ試してみた。Home三昧の三連休である。 今回紹介するのは以下の2つ。 Belkin WeMoで家電のAC電源をオンオフ IRKitで家電をリモコン制御 WeMoの方は、何も考えずにあっという間に設定できる。IRKitの方は若干のコマンド操作が必要だが、それでも15分くらいで終わる。 ちなみに、IRKitの方で使うIFTTTのWebhooksは、HTTP/HTTPSで任意のURLを呼べるアクションである。家電のコントロールは使い方の一例にすぎず、REST APIを備えるいろんな対象を制御できてしまう。Google Home＋IFTTT、なんて強力なのだ。 IRKit Belkin

昨日、日本語版のGoogle Homeが届いた。 このGoogle HomeとIFTTTのGoogle Assistant連携の組み合わせがとても便利そうなので、さっそく試してみた。15分くらいでTwitter連携できた。 ちなみに、実行するアクションを入れ替えれば、FacebookやSlackにメッセージを送ったり、家電をオンオフしたり、Google Sheetに記録したりと等々、多彩な連携が可能。 以下に連携方法をメモしておく。 Google Homeの設定 これは開封後10分くらいで終わる。 IFTTTのAppletを作る まずはIFTTTにサインアップしておく。IFTTTでは「コレをトリガーにアレを実行」ってルール設定を「Applet」と呼んでいる。今回は、Google AssistantをトリガーにTwitterでツイートするAppletを作る。 IFTTTのMy Applets

おしっこセンサーできました ウチの小学生の息子が家のトイレでたびたびおしっこをこぼしてしまう。俺がくどくど注意してもあんまり効果ない。そこで、代わりにAIに怒ってもらうことにした。こんな感じである。 おしっこセンサーのデモ（[動画](https://www.youtube.com/watch?v=ktSukhHdogM)）。水を数滴床にたらすとブザーが鳴り、床を拭くと止まる。 ディープラーニングの画像認識を使い、床の上に落ちた水滴をカメラで検出してブザーが鳴る仕組みだ。夏休みの自由工作に過ぎないので精度は期待していなかったけど、意外にきちんと動いてくれて、カメラに映る範囲に水滴を数滴たらすとピッピと鳴り、床を拭くとブザーも止まる。「お父さんだってAIくらい作れるぞ」と息子に自慢したいがための工作なのだ。 でも、これ作るのはそんなに難しくなくて、休み中の3日くらいで完成した。かかったお金は、

RasPiでKeras/TensorFlowを動かすまでの試行錯誤をメモしておく。使った環境は以下の通り。 RaspberryPi 3 Model B Raspbian August 2017 16GB SD card（いろいろツールを入れたので8GBでは足りなくなった） まずはTensorFlowを入れる TensorFlow公式RasPiサンプルはビルドおそい 最初にTensorFlow公式のRasPiサンプルを試したのだけど、C++のコードをゼロからビルドするので、非力なRasPiでは何時間待っても終わらない...ってグチをつぶやいたら、TensorFlowチームのPete Wardenが絶妙のタイミングでブログ記事Cross-compiling TensorFlow for the Raspberry Piを書いていて、リンクをシェアしてくれた。この記事では、あらかじめビルド済みの

Cloud DatalabはGCPが提供するサービスのひとつで、Jupyter NotebookのGCP版です。便利なところは、 インストールがすごく簡単。Cloud SDKを入れてあれば、datalab create your-instance-nameって実行するだけであっという間にDatalabインスタンスを作れる AnacondaのようにNumPy/SciPy、scikit-learn、matplotlib等の定番データ分析ツールがひととおり入っていてすぐ使える。もちろんTensorFlowも BigQueryやGoogle Cloud Storage、Cloud Dataflow、Google Charts等のGCPサービスが統合されていて、例えばBigQueryのクエリ結果をNumPyやPandasの配列として扱える 等々の便利さで、最近はなんでもDatalabで済ませるように

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これはTensorFlow Advent Calendar 2016の記事です。 といっても、皆さんみたいにTFで面白いもん作ってみた、みたいなネタがない（TF力が足りない）ので、TensorFlowとMLサービスのエバンジェリストとしての2016年の布教活動をまとめたいと思います。 ちなみに私は2012年〜2014年はGCPのソリューションアーキテクトとしていろんなソリューションを作るのがお仕事でしたが、2015年からはデベロッパー・アドボケイトとして布教活動とコミュニティ支援活動を担当しており、もうすぐ2年（Googleに入って6年

そろそろプログラマーもFPGAを触ってみよう！ これはbuilderscon tokyo 2016の発表スライドです。 自己紹介 @kazunori_279 クラウドのデベロッパー・アドボケイト エバンジェリストみたいなお仕事 コミュニティ支援：GCPUG、bq_sushi、TensorFlow User Group etc 趣味のFPGA 2013年くらいからいじり始め FPGAエクストリーム・コンピューティング主宰：合計8回 これまでに書いたFPGA記事 はてなブックマークでバズった記事たち マイクロソフトはどうやってBingをFPGAで実装したか: 952 users ハード素人が32bit CPUをFPGAで自作して動かすまで読んだ本のまとめ: 576 users 文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方: 517 users JP Morgan

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ドワンゴがニコ動の画像配信向けにFPGAエンジニアを募集したり、マイクロソフトはBingをFPGA実装したり、Baiduもディープラーニングの高速化にFPGAを導入したりと、なんだか世の中急にハードウェアくさくなってきた。IoTとは違う意味で。 金融分野ではすでにCPUでは遅すぎてFPGAによるナノ秒単位の株取引が行われているって記事を書いたのは2年前だけど、ここ数年はIntelのCPUのクロックもあまり上がらなくなってきたし、Fusion-ioやNetezzaといった大手御用達のハイエンド鬼速ストレージも、フタを開ければ中身はすでにF

SSL が必要な簡単なページを稼働させる際に、ELB の無料の SSL 証明書を利用した時にハマったお話 構成 簡単な図です。 ec2 の前段に ELB HTTPS(SSL) は ELB が対応 ec2 へのアクセスは http http -> https へのリダイレクトは nginx 側で対応 ec2 は一台のみ 問題が起きた設定 http://qiita.com/snoguchi/items/f5ccb67592f87942480d はじめに、こちらの記事を参考に以下のように設定しました。 server { listen 80 default_server; listen [::]:80 default_server; server_name example.com; # 利用するドメインを設定 # アクセスが http なら https としてリダイレクト if ($http_x_

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 要約 Googleクラウド上の仮想マシンでAltera Quartus PrimeによるFPGA開発＆ビルドを行い、手元のFPGAボードとVPN経由でUSB接続して動かした話。4コア＋15GBメモリの開発環境を1時間あたり50円以下で使え、使わないときはOFFにしておけて便利。 DE0-Nano-SoCにブレッドボードと7セグ乗せたところ 3/11追記 keiさん情報によると、Xilinx Vivadoだとちょっと工夫するだけで同様のことができるらしい。最初っからX使っとけって話か。。 いきさつ ひさびさにFPGAをさわりたくなってDE

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……（;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます！ 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思いま

Drupal Advent Calendar 2015 13日目です！ このページは以下の資料の参考にして、 実際にDrupal8で手を動かしてみた記録になります。 https://www.acquia.com/resources/ebooks/ultimate-guide-drupal-8 (資料は登録するとダウンロードできました。) Drupal8のエッセンスが詰まっていて素敵な資料です。 既にこちらをお読みの方は・・・ここで終了でございます。 Configretion Manegerとは？ Drupal8の新機能で、DBに保存されている設定情報をエクスポート・インポートできる機能です。 なにが嬉しい？ メリットを享受できるのは実際にコードを書いてカスタマイズしたり、リリース作業を担当するプログラマーです。修正の反映２度手間！な作業が少し減ります。 詳細 以下、個人的な思いがあふれます