Snowflake で1万"列"データを扱う技術 - Qiita
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
Dr.WernerのKeynoteは全てのSREに聞いてほしい話だった - Qiita
この記事は、CyberAgent Group SRE Advent Calendar 2023の7日目の記事です。 4年ぶりに、AWS re:Inventに現地参加していたのですが、今年のWerner先生のKeynote（特に前半）がとてもよく、SREを推進する上でも非常に大事なことをお話しされていたので、それについてまとめてみました AWS re:Invent 2023 - Keynote with Dr. Werner Vogels ざっくりどんな事を話していたか クラウド移行によって、様々な制約からは解放されたが、コストを考えてアーキテクトする必要はある そしてコストを考えるということは、サステナビリティを考えることでもある といった感じで、コストとサステナビリティについての話から、WenerがAmazon CTOとして、過去20年間のアーキテクトする上でのコストと持続可能性の考え方
【閲覧注意】イライラ不可避なUIデザイン10選 - Qiita
弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 はじめに 人は見た目が9割 皆さん一度はこの言葉を耳にしたことがあるのでしょう。内面がどれほど素晴らしくても、外見がそれに見合わないと、なかなか本当の価値を認めてもらえないものです。 この話は人間だけでなく、アプリケーションにも当てはまります。どれだけ内容が素晴らしくても、見た目がイマイチだったり使い勝手が悪かったりすると、ユーザーに敬遠されてしまいます。(私は以前ネ⚪︎フリからア⚪︎プラに切り替えたのですが、使いにくく感じたため、すぐに元のサービスに戻しました) エンジニアの皆さん、優れた技術力を持ちながら、デザインが原因でユーザー離れを招いていませんか？そうならないよう
「//このコメントを消したら動かない」は大体Shift_JISの2バイト目が原因で発生する - Qiita
TL;DR Shift_JISにしただけでコンパイラが通らなくなる恐ろしい事件とその回避法について。 \ (¥)のASCIIコードは0x5c 表、能は良くない UTF-8は神 2023/12/06追記 誤りがあったので訂正します。こんな読まれると思ってなかったので正直ちょっとびっくりしていますが、いろいろコメントありがとうございました。（ツイート等全て拝見しました。） Shift_JISが悪いわけではない（デフォルトのエンコーディング設定の問題）→追記しました UTF-8にはUTF-FSSという仕様でこの問題が回避されている→マジでタメになる知識ありがとうございます OSによってデフォルトのエンコーディング設定が異なるせいで、デフォルト環境での動作がOSにより異なる→なるほど？（調査中） CRLFとLF問題では→なるほど？（調査中） そんな問題何を今更→UTF-8が出てから生まれたからです
本番サーバー60台のホスト名を全部 cat にしてしまった話 - Qiita
この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか？みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います 背景 おそらく今から7年くらい前、インフラエンジニアとして転職してきて1年ほどが経ち、本番環境での作業もこなれてきたなというバッチリのタイミングで事を起こしてしまいました。サーバーは CentOS 6 だったと思います。 職場としてはまだまだベンチャー感にあふれ大きな裁量が与えられスピード感のある環境ながら、サービスの登録ユーザー数は1,000万を超え、本番環境の規模としては既になかなかの大きさがあり、ウェブサーバーだけでも60台くらいあったと思います。ひと山につき
日本語LLMでLLaVAの学習を行ってみた - Qiita
はじめに 本記事はLLM Advent Calendar 2023 2日目の記事になります。 最近、様々なLLMが発表されたことによりローカルLLM界隈では自作データセットを作成して自分好みのLLMを作成するなど日本語LLM界隈は盛り上がりを見せています。 一方、マルチモーダルなLLMとして画像を組み合わせたものに関してはTuring、Stability AI、Rinnaなどの企業ではモデルを公開していますが、個人で行われている方は少ないという印象があります。 そこで今回はLLaVAと同じ方法で日本語LLMを学習させて、個人でマルチモーダルなLLMの学習を行ってみました。個人で学習できる範疇ということで学習はRTX4090 1台で行っています。 学習に使用したコードは以下で公開しています。 モデルは以下で公開しています。 事前学習に使用した日本語翻訳データセットは以下で公開しています。 L
Gmailが2024年2月から(大量)送信者に求めてることが分からない闇への防衛術(前編) - Qiita
メールの世界にGmailさんが新たな闇を投入 (インターネットの)メール受信・送信は闇あふれる世界だと思うのですが(*1)、そこに 2023年10月7日、新たな闇要素をGmailさんが投げ込んでくれました。（正しくは2023/12月頭現在、闇がモリモリ増えてる。補足①②参照） (*2 最下部キャプチャあり) えーと、「1日あたり 5,000 件を超えるメールを送信する送信者」はこの事項を守ってね……とあります。要件と書いてあり、2024/2/1から実施と急なうえに、項目が SPFとDKIMの設定 逆引き 迷惑メール率 メール形式 Gmail の From: ヘッダーのなりすまし ARC DMARC ダイレクトメールの場合(……なんとかかんとか) 登録解除 と9個もある。 何これ……？と様々な人を戸惑わせています。 インターネットにつながっているそこそこの規模の組織は、1日あたり 5,000
コンテナのベストプラクティスに対しておこがましくも言ってみる - Qiita
最近実際に開発現場にコンテナを導入してきた経験から、公式ドキュメントに記載されているベストプラクティスに実際どうなんだということを言ってみようと思います。公式に書いてあることを間違ってると指摘という意図はありません 発言は個人の見解に基づくものであり、所属組織を代表するものではありません。 2023/12/3更新: 燃えかけてるのでタイトルを変えました。 補足: こちらの環境は下記を想定しています。 Java CICD/本番環境イントラネット内に整備 WF開発 マルチステージ・ビルドを使う マルチステージビルドの目的 公式ドキュメントには、下記のように記載があります。 マルチステージ・ビルド は、中間レイヤとイメージの数を減らすのに苦労しなくても、最終イメージの容量を大幅に減少できます。 つまり、最終イメージの容量を減らすことが目的であって、その一つの手段としてマルチステージビルドを進めて
RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く
Shibboleth IdP v3.0を今更導入してみた - Qiita
はじめに 私は現在、主に認証を担当しています。 昨今ではSSO(シングルサインオン)を導入されるお客様も多く、単純なID/パスワード方式を始めとする独自の認証だけでは要件を満たすことは非常に難しくなってきています。 SSOには様々な手法がありますが、このSaaS時代においてはほぼSAMLの独壇場と言っても過言ではないでしょう。（もちろん5～10年後には廃れていてもおかしくないですが） そんな中、最近Shibboleth(学術認証基盤)の案件があり、教育機関のお客様への対応として今後も継続的にShibbolethが必要だと感じたため、社内に導入してみました。 この記事はその際の記録です。 少しでも、似たようなシステム連携業務に携わる方の力になればと思います。 そもそもShibbolethとは Shibbolethとは、IDフェデレーションを実現するための認証・認可基盤アーキテクチャです。 高
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
EC2が複数VPCにENIを足出しできるように！でもみんな戦々恐々としてるのはなぜ…？ - Qiita
AWSのVPCに大きなアップデートが！ 今週10/26、AWSにこんな機能アップデートが発表され大変話題になりました。 簡単に言うと 「EC2インスタンスから複数のVPCに対してENI（NIC）を足出しできるようになった」 という大きなアップデートでした。 みんな戦々恐々？ しかし、Twitterのオンプレミス経験者たちは口を揃えて懸念を漏らしています。 「これ、クラウド初心者がオンプレからの移行で "監視セグメントVPC" みたいなものを作ってしまうんじゃなかろうか…」 今回のアプデを見て「ウッ…😅」と感じた方も、改めて何が問題なの？と聞かれると意外としっかり言語化できないかも知れません。これを機にAWSの代表的なサービスであるマネージド論理ネットワーク「VPC」の基本をおさらいしてみましょう。 オンプレ時代の基本を振り返る パブリッククラウド普及前のオンプレミス時代では、企業のシステ
findコマンドの使い方を簡単に理解するための7つのルール＋実践的な知識 - Qiita
はじめに find コマンドの使い方は、ざっくり調べただけではよくわからんとなりますが、見逃しがちなルールを知れば簡単に理解できます。find コマンドに限りませんが使い方を調べるのが面倒だからと曖昧な理解で使うと逆にもっと分からなくなって時間がかかります。急がば回れ、理解して正しく使ったほうがシンプルで楽で簡単です。この記事では find コマンドの使い方を理解するために必要なルールと使い方の実践的な知識をまとめました。 Q&A（？）: -type や -perm の説明はしないの？ ⇒ それらはドキュメントを読むか検索すればすぐにわかることで難しいポイントではありません。重要なのは基本のルールを理解することです。 関連記事 POSIX 準拠のシェルスクリプトでは find | xargs よりも find -exec {} + を使うべき！ 移植性の話はこちら ⇒ findコマンドのオ
現場で必要になるswaggerの知識 - Qiita
前回は「今日から始めるswagger入門」という最低限書けるようになっておいた方が良い物をこちらの記事で解説させてもらいました 今回は、筆者が4〜5年ほど現場で見てきたswaggerを元に、現場で必要になるswaggerの知識をまとめましたので、ぜひご覧になっていただけると嬉しいです！ タグ付け pathsに書かれている各APIendpointをタグ付けしてグルーピングする目的で使用されます 現場では大量のAPIendpointを設計していくこととなるので、多くなってくると大変見辛くなってきます それをグルーピングすることにより見やすくしようということです openapi: 3.0.3 info: title: test-api version: 0.0.1 # ここから tags: - name: user description: ユーザー情報 # ここまで paths: /users
Amazon Bedrock "Claude 2" と、ChatGPT "GPT-4" を比較してみる - Qiita
Amazon Bedrock "Claude 2" と、ChatGPT "GPT-4" を比較してみるAWSAIChatGPTGenerativeAIAmazonBedrock Amazon Bedrockとは? 2023/9/28にAWSが生成系AIのサービス「Amazon Bedrock」を正式リリース (GA) しました。 「Amazon Bedrock」は、様々な企業の基盤モデル(FM)を1つのAPIで利用できるようにするサービスです。 基盤モデルとは、大量のデータで事前訓練された大規模な機械学習モデルのことで、用途は幅広く、検索からコンテンツ作成、医薬品開発など、様々な分野で活用できます。 Amazon Bedrockは、この基盤モデルの利活用が容易にできるサービスとなっています。 ユーザーは、AIのスタートアップや著名な企業が開発した基盤モデルを簡単に試すことができ、また、自社
GPT-4の知識が2022年1月までに延長されたので検証した - Qiita
TL;DR OpenAIの（Web）アプリであるChatGPTのうち、有料プランのGPT-4の知識が2022年1月までに延長された それまでは2021年9月までだった 検証したところ2022年の1月23日以降の情報は知らないようだ 概要 タイトルにある通りなのですが、GPT-4の知識（カットオフ時点）が2021年9月から2022年1月まで伸びたと話題になっています。公式からのアナウンスはまだないように見受けられます。 検証 試してみます。 確かに今までと応答が変わっていますね。 ちなみにGPT-3.5では以前のまま2021年9月までなので、ChatGPT Plus(有料)に加入していないと試すことができません。また、Azure OpenAI Serviceへの反映はまだです。 1月のいつまでなのか せっかくなので、本当に1月のデータを持っているのか、正確なカットオフ時点は1月の何日なのかを
「日本語プログラミング言語は必要か」という大学教授さんの記事に感銘をうけた話 - Qiita
はじめに 本記事は「日本語プログラミング言語は必要か」という情報処理がご専門の大学教授さんの記事に感銘をうけたお話から、同じテーマについて考察し、「日本語トランスコンパイラ言語 Re:Mind（リマインド）」という自作トランスコンパイラ言語の企画意図をまとめています。 参考リンク 日本語プログラミング言語は必要か fukuchi.org FUKUCHI 2011.11.23 ↑こちらが直接感銘を受けた記事です。記事の発信者は数理学部の大学教授さんで、情報可視化・リアルタイム動画像処理といったマルチメディア情報処理がご専門の方のよう。 BingのCoパイロットに記事を要約していただき、さらに私の方で要約しました。 ・日本語プログラミング言語の必要性に疑問を呈する プログラミング言語は英語の語彙を基調として設計されるが、それはプログラム習得の壁にはならない。 日本語プログラミング言語は自然言
凄すぎると話題の「Open Interpreter」の始め方・使い方まとめ - Qiita
以下の記事を見て、早速「Open interpreter」を試してみたので、使い方や始め方をまとめておきます Open Interpreterとは Open Interpreterは、GPT-3.5、GPT-4、Code Llamaなどの大規模言語モデル（LLMs）を活用して開発されたオープンソースのツールです。 このツールは、OpenAIが提供するChatGPTの「Advanced Data Analysis(旧Code Interpreter)」のオープンソース版とも言える存在で、Python、Javascript、Shellなどのプログラミング言語のコードを自然言語による対話を通じてローカル環境で実行することができます。 このツールの最大の特徴は、ChatGPTの「Advanced Data Analysis」と違いローカル環境で動くため、ファイル容量やネット接続への制約がなく、Ch
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について) - Qiita
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について)AWSAzureGoogleCloud はじめに 今年のはじめに書いた3大クラウドの比較シリーズに関して長いこと続編を書いてませんでした...。 最近、知人/友人のみならず取引先からも「AWSやGCPに関して続編書かないんですか？」と言われることが増えてきたので、今回はAWSを本番運用していて感じたAWS固有の優位性について感想を述べていきます。 AWS 固有の優位性 周知の事実ではありますが、AWSは長年クラウドベンダーとして世界トップシェアを維持し続けています。 AWSをクラウド基盤として利用しているサービスを一切利用せずに1日を過ごすことは不可能なんじゃないかというレベルで日本国内では利用されています。 もはや電気/ガス/水道等の社会インフラに近い状態です。 そして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gmailが2024年2月から(大量)送信者に求めてることが分からない闇への防衛術(後編) - Qiita
