好きなプログラミング言語10選 はてなブログ10周年特別お題「好きな◯◯10選」に答える。 好きなプログラミング言語10選 C# Python Bash JavaScript Markdown TSV Rust Java C C++ MarkdownやTSVはプログラミング言語ではない。マークアップ言語であり構造化テキストだ。 だって10個もないし。 嫌いなプログラミング言語10選 日本語 英語 Python Bash XML HTML CSS SQL Windows系言語（API,VBScript,PowerShell等） Mac系言語（Swift, Objective-C等） Android系言語（Kotlin） プログラミング言語でないのがたくさん混ざっている。日本語や英語は自然言語だし、CSSはスタイルシート言語。 だって10個もないし。あ、11個あった。 好きだけど嫌い 好きだか
aws-cliのインストールが大変なので車輪の再発明をした話 - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2022 DAY 7 の記事です。 リブセンス インフラエンジニアの中野(etsxxx)です。VPoEをまだやってます。最近カメラ本体を新調して、レンズも買い増ししたい欲求に駆られています。Techな話よりそっちを語れる自信があります。 背景 s3getのご紹介 コンセプトと狙い 使い方 最後にちょっとだけ補足 背景 AWSのサービスをちょっとだけ利用したいとき、aws-cliのインストールがだるいって思ったことはないでしょうか？私はあります。 Amazon S3に置いているファイルを、古いOS上あるいはコンテナビルド中にダウンロードしたくて、aws-cliをインストール。 このインストール作業。手作業はもちろん、プロビジョニングコードに実装してもだるいのですが・・・ それ以前に、古いOSではOpenSSLが古すぎてhttpsなU
TPU VS GPU(日本語版)
はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩まされたことがあるかと思います。さらに、深層学習モデルはハードウェアのリソースを多く必要とします。 深層学習モデルの学習では、計算の特性上、CPU（Central Processing Unit）より GPU（Graphics Processing Unit）が高速であるため、GPUが推奨されます。しかし、GPU以外の選択肢として、TPU(Tensor Processing Unit)があります。 そこで、本記事では、自然言語処理のタスクで深層学習モデル
永野: 私は、SalesforceでHerokuを担当している永野智です。このエピソードは、Deeply Technicalがテーマとなります。今回はゲストとして、「Rubyのパパ」、Matzこと まつもとゆきひろ さん、そして「さすらいのパッチモンスター」なかだのぶよし さん。また、Herokuのサポートエンジニア 澤光映さんをゲストにお迎えしてお送りいたします。皆さんよろしくお願いします。 Matz, Nobu, 澤: よろしくお願いします。 永野: まずは、もう皆さん知ってると思うんですが、自己紹介から始めたいと思いますので、じゃまずMatzさんから自己紹介をお願いいたします。 Matz: はい、 まつもとゆきひろ と申します。Rubyを作った人ですね。「Rubyのパパ」って名乗ってますけれども。日本では、平仮名で まつもとゆきひろ で、海外では M, A, T, Zで Matzって
github.com 本体は ERB.new().result を呼ぶだけで、それをmrubyでdarwin/linuxのx86_64/aarch64向けにビルドした。 以下のようにシングルバイナリプログラムを通してテンプレートファイルを処理できる。 <%- to = ENV["MAIL_TO"] priorities = ENV["PRIORITIES"].split(",").map(&:strip) -%> From: James <james@example.com> To: <%= to %> Subject: Addressing Needs <%= to[/\w+/] %>: Just wanted to send a quick note assuring that your needs are being addressed. I want you to know tha
【Claude 2.1】ChatGPTを超えるAIとなるか？Claude 2の最新モデルをGPT4と比較レビューしてみた | WEEL
このようにClaude 2.1は、読み込めるトークン数と回答の品質でChatGPTに圧勝しています。マルチモーダル対応等まだChatGPTに軍配があがる領域もあるのですが、それでもテキスト処理においてはClaude 2.1のほうがハイスペックだといえます。 次の見出しからはより詳細に、Claude2.1の実力をみていきましょう！ なお、API経由でデータベースを参照させる方法について詳しく知りたい方は、下記の記事を合わせてご確認ください。 →Llamaindexを使った開発とは？流れ、費用相場、開発事例を紹介 Claude 2.1の実力 ここからは先代・Claude 2.0と比較して、Claude 2.1が進化している点を紹介していきます。部分的にはChatGPT Plus超えのその実力をみていきましょう！ 入力できるトークン数 先代モデル・Claude 2.0の時点で、10万トークンもの
「Tribuo」は、Oracle Labsの機械学習研究グループが、数年かけて構築してきた機械学習ライブラリで、Tribuoはラテン語の「割り当て」「配分」を意味している。 分類、クラスタリング、異常検出、回帰アルゴリズムなど、機械学習ライブラリに期待される標準的な機能を提供し、データ読み込みパイプライン、テキスト処理パイプライン、およびデータ読み込み時の機能レベル変換といった機能を備える。 「Tribuo」の、他の機械学習システムとは異なる大きな特徴は、すべての入力に範囲とタイプが記述可能なことであり、出力にも強力な型付けが行われているので、それが何を意味するものであるのかがわかりやすくなっている。 さらに、どのようなトレーニングや処理が行われ、最終的にどのような評価となったのかといった来歴情報が、すべてモデルに記録されるので、モデルや評価を再現するためのトレーニングパイプラインを、正確
OpenAIの元エンジニアが設立したAIスタートアップが第2世代チャットAIの「Claude 2」を発表、チャットでコードを記述させるデモ動画も公開中
話題のチャットAI「ChatGPT」を開発したOpenAIの元社員が設立したAIスタートアップのAnthropicは2023年3月、自社開発のチャットAI「Claude」を公開しました。新たに7月11日、AnthropicがClaudeの第2世代である「Claude 2」を発表し、チャットによる指示でコードを記述させるデモ動画も公開しています。 Introducing Claude 2! Our latest model has improved performance in coding, math and reasoning. It can produce longer responses, and is available in a new public-facing beta website at https://t.co/uLbS2JNczH in the US and UK.
前回は BERT についてその概要と使い方を紹介しました。今回は自然言語処理ライブラリである spaCy と spaCy をフロントエンドとする日本語NLPライブラリの GiNZA について紹介します。 1. 始めに 本記事では欧米で有名な自然言語処理ライブラリである spaCy とリクルートと国立国語研究所の共同研究成果である日本語NLPライブラリ GiNZA について紹介します。記事の前半では、spaCy と GiNZA の概要と日本語を処理する際の基本的な機能／操作について説明します。後半では、spaCy で提供される文章分類機能について、前回までに紹介した手法も含めて精度を比較してみます。 2. spaCy と GiNZA の概要 spaCy は Explosion AI 社の開発する Python/Cython で実装されたオープンソースの自然言語処理ライブラリで MIT ライセ
誰でもわかるStable Diffusion Kohya_ssを使ったLoRA学習設定を徹底解説 - 人工知能と親しくなるブログ
前回の記事では、Stable Diffusionモデルを追加学習するためのWebUI環境「kohya_ss」の導入法について解説しました。 今回は、LoRAのしくみを大まかに説明し、その後にkohya_ssを使ったLoRA学習設定について解説していきます。 ※今回の記事は非常に長いです！ この記事では「各設定の意味」のみ解説しています。 「学習画像の用意のしかた」とか「画像にどうキャプションをつけるか」とか「どう学習を実行するか」は解説していません。学習の実行法についてはまた別の記事で解説したいと思います。 LoRAの仕組みを知ろう 「モデル」とは LoRAは小さいニューラルネットを追加する 小さいニューラルネットの構造 LoRA学習対象1：U-Net RoLA学習対象2：テキストエンコーダー kohya_ssを立ち上げてみよう LoRA学習の各設定 LoRA設定のセーブ、ロード Sour
LangChainとは何か LangChainとは、GPT-3 のような大規模言語モデル（Large Language Model: LLM）を用いたサービス開発時に役立つライブラリです。 LangChainを用いると、他のシステムと統合することで、最新情報の取得や複雑な計算処理にも対応したLLMサービスを容易に開発できるようになります。 例えば、OpenAIのAPIを用いて「最新の検索結果の内容も踏まえて AI に返答させるチャットアプリ」を開発するケースなどでLangchainは有効です。 このケースでは、LLMsとSerpApi （検索エンジンでの検索結果を API で返してくれるサービス）を組み合わせるLangchainの機能を使うことで実現できます。 このように、Langchainを使うことで様々なニーズに対応したサービスを柔軟に展開できるようになります。 Langchainが
上記を元に先ほどの整い例 をご説明しますと ステージング環境：s 認証会員基盤（Auth and Member）：am Azure Kubernetes Service：ak 東日本リージョン（Japan East）：je クーポン（coupon）：coupn 最初のリソース：001 となります。 いや…やっぱ分かりにくいし普通にCloud Adoption Frameworkのベストプラクティスに従えばいいんじゃ…とほとんどの方が感じていると思うので次にこの初見殺しの命名規則の二大メリットをお話しますね。 【その一】Azure リソースの名前付け規則と制限事項に抵触しない まず下記を確認してみましょう。 嘔吐しそうになるほど盛り沢山のAzureリソースの名前付けの規則と制限事項が並んでいますね。で、細かく見ていくと下記のようなことがたま～にあるんです。 ハイフン（-）が有効な文字に含まれ
YAPC::Hirosima 2024でコードゴルフコンテストを開催しました 〜解説編〜 #yapcjapan - KAYAC engineers' blog
こんにちは、技術部の谷脇です。 去る2月10日に行われたYAPC::Hiroshima2024ですが、みなさまはいかがだったでしょうか。私は参加して大満足であり、運営の方々に大感謝させていただきます。 さて、カヤックではゴールドスポンサーと椅子スポンサーをしていたというのは開催直前に出した記事で述べさせていただきました。 techblog.kayac.com この記事では伏せられていた、椅子スポンサーのPerlbatrossですが、この記事ではPerlbatrossの内容紹介と問題解説をしようと思います。 Perlbatrossとは YAPC::Hiroshima2024の開催期間中にコードゴルフの問題を出していました。以下は椅子スポンサーで貼らせていただいた問題です。 Q1. Split of Graphemeの問題 さて、これだけではなく、QRコードにアクセスすると実際に問題を解けるサ
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、自律型AIエージェントの機能や動作についての説明とあわせて、AIエージェントをいくつかご紹介します。 こんにちは。アナリティクスサービス部の江本です。 昨年2022年11月末にChatGPTがリリースされてから半年もたたずして、自律型AIエージェントが続々とリリースされ大きな話題を呼びました。 今では様々な自律型AIエージェントが存在しており、その多くはウェブブラウザを通して簡単に試すことができるようになっています。 本記事では、自律型AIエージェントの機能や
RustやElectron、denoに浮気しつつmrubyを使ってMacでクロスコンパイルしwindows用のexeを作るのに苦労した話 - Qiita
RustやElectron、denoに浮気しつつmrubyを使ってMacでクロスコンパイルしwindows用のexeを作るのに苦労した話RubyRustmrubyElectronDeno きっかけ SVGファイルをparseして中のxmlやCSSから色情報などを取り出す、これのローカル版を作りたいということでやりたいことは SVGをパースしてdom上の特定の要素を抽出 dom上だけではなくinlineのCSSや内のCSSから特定の要素を抜いてくる 汎用性を考えてjsonで結果を表示できるようにする たったこれだけ。 なのでxmlパーサー(XPathなら嬉しい)と正規表現は必須、cssパーサーは元々の状態で使ってなかったのであれば良しとする（jsonはいかようにでもなる）。 因みにチャレンジしたフレームワークや言語は Rust Crystal Language Electron deno r
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか：セキュリティログ分析基盤活用入門（2）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。 セキュリティ業務における「ログ」と、その分析基盤の活用について解説する本連載「セキュリティログ分析基盤活用入門」。前回は、ログを活用するセキュリティ業務やログの果たす役割を紹介しました。 リクルートは、インシデントハンドリング、フォレンジックや脆弱（ぜいじゃく）性検査、マルウェア解析といった、多くの企業ではセキュリティ専業ベンダーにアウトソーシングする専門性の高いセキュリティ業務を内製化しています。2015年以降は「Recruit-CSIRT（Computer Security Incident Response
JavaScript チュートリアル: 初級編 JavaScript の基礎 JavaScript の第一歩 JavaScript の構成要素 JavaScript オブジェクト入門 JavaScript ガイド 入門編 文法とデータ型 制御フローとエラー処理 ループとイテレーター 関数 式と演算子 数と日付 テキスト処理 正規表現 インデックス付きコレクション キー付きコレクション オブジェクトを利用する Using classes プロミスの使用 イテレーターとジェネレーター メタプログラミング JavaScript モジュール 中級編 クライアントサイド JavaScript フレームワーク クライアントサイド Web API Language overview JavaScript のデータ構造 等値比較と同一性 プロパティの列挙可能性と所有権 クロージャ 上級編 継承とプロトタイ
3分間Perlテキストクッキングの連載開始 Perlはテキスト処理の記述性とパフォーマンスに優れ、正規表現が言語に組み込まれています Linuxサーバーで、複数行の文字列を処理、ファイル内容の検索・置換などに便利 Perlはgitやopensslなどで採用され、Linuxミドルウェアとしての実績豊富 PerlでWeb開発するエンジニア・Perl入学式サポーター
Perl5でデバッグ・Lint・自動整形ができるVSCode環境を整えたので忘備録。 環境 macOS Catalina 10.15.3 fish 3.0.2 perl 5.30.1 VSCode 1.42.1 （前準備）Perlのインストール VSCodeと関係ないが、バージョン管理ができるplenvでperlをインストールした。 # plenvのインストール $ brew install plenv $ brew install perl-build # シェル起動時にplenvを自動で初期化（fish版） # https://formulae.brew.sh/formula/plenv $ echo 'if plenv > /dev/null 2>&1; plenv init - | source ; end' >> ~/.config/fish/config.fish $ sour
形態素解析は、日本語テキスト処理を支える基本的かつ重要な技術である。 しかし、実応用として製品利用しようとした際，単語単位の不一致や表記揺れなど様々な問題がある。 そこで、我々はこれらの問題を改善するために形態素解析器「Sudachi」および「SudachiPy」を商用利用可能なライセンスのOSSとして公開し、継続的な改善・保守を続けている。 本発表では、中でもSudachiPyを題材に取り上げ，上記の問題を扱うためのSudachiPyの特徴的な機能について紹介する。 また、SudachiPyの現在の開発状況と今後どのような方向を目指して開発を行っているのかについても紹介する。
画像分析機能を持つオープンソースLLM『LLaVA-1.5』登場。手持ちの画像を分析可能。GPT-4Vとの違い | AIDB
関連研究（続きは記事末尾にあります） ■OpenAI、ChatGPTが画像を分析する『GPT-4V（ビジョン）』を発表。安全性、嗜好性、福祉機能を強化 ■Microsoftの画像セグメンテーション新技術「SEEM（Segment Everything Everywhere Model）」の凄さ、Meta AIのSAMとの違い 従来の課題 視覚情報の処理能力不足 従来のLLMは、言語タスクに対する能力は優れていましたが、多モーダル（視覚と言語）のアップデートはあまり行われていませんでした。要するに、視覚的な情報を処理する能力には限界がありました。 高性能な画像分析LLMの需要 多くの開発者や研究者が高性能な画像分析LLMを求めていましたが、これまでのところそのようなモデルは一般に提供されていませんでした。 これらの課題を解決するために、LLaVA-1.5が開発されました。このモデルは、視覚エ
第63回ビッグハンドタウンシェル芸勉強会の問題と解説 - NTT Communications Engineers' Blog
はじめに シェル芸勉強会について 問題と解説 Q1（@butackle66さんから） 解答例1 解答例2 Q2（@butackle66さんから） 解答例1 解答例2 Q3 解答例1 解答例2 Q4 解答例1 解答例2 Q5 解答例 Q6 解答例 LT LT1 curlでTelegram botを操作 (やべえ @yabeenico) LT2 音声合成してみよう (たいちょー @xztaityozx_001) おわりに はじめに こんにちは。デジタル改革推進部データドリブンマネジメント推進部門の江川尋喜 (Hiroki Egawa / @yabeenico) です。 第63回ビッグハンドタウンシェル芸勉強会が2023年02月25日に開催されました。 今回は NTT Com のオフィスビル、大手町プレイスを会場提供させていただきました。 このブログエントリでは、勉強会で出題された問題の解答と解
この記事の目的 ITエンジニアに転職したが上手く行かないという人たちの話を見聞きする中、何か助けてあげられないだろうかと思っていました。ITエンジニアの経歴は様々で、詳しく語られないことも多いように感じます。そこで私の経験が参考になればと考えて書きました。 冒頭のグラフは私の実際の年収の推移です。本文中に年収を記載していますので、一つの事例として読んでもらえたらと思います。 特に以下のような人たちの参考になればと思っています。 他職種からITエンジニアに転職した人 東京が通勤圏外の地方在住者 ITエンジニアの中でもインフラエンジニアやSRE（Site Reliability Engineering）の人 記事の内容は私の過去の経験であり、技術トレンドや転職市場の肌感は参考にならないかもしれません。ですが職種やポジションに対して求められるスキルの程度はあまり変わっていないように思います。 ま
iOS は一見、テキスト入力や表示のような基本的実装はとても簡単に思えますが、実際には一度はその動作に頭を悩ましたことがあるでしょう。 iOSDC 2020 では「iOS のキーボードと文字入力のすべて」と題してこれらの問題について詳細に検討しました。 そして、この3年間で iOS は大きく変化し、SwiftUI が広く使われるようになり、全く新しいAPI、TextKit 2 が登場しました。 TextKit 2 は大きく変化しおり、互換性に関して注意すべき点が多くあります。 このセッションでは、過去の事例と比較して、多くのユーザが使う iOS アプリにおけるリッチテキストの実装などを踏まえて、 キーボードの挙動や SwiftUI、そして TextKit 2 によって変わったテキスト処理について実装例を用いて検討していきます。 対象とする方: iOS アプリ開発の経験がある中・上級者
JavaScript チュートリアル 初級編 JavaScript の基礎 JavaScript の第一歩 JavaScript の構成要素 JavaScript オブジェクト入門 JavaScript ガイド 入門編 文法とデータ型 制御フローとエラー処理 ループとイテレーター 関数 式と演算子 数と日付 テキスト処理 正規表現 インデックス付きコレクション キー付きコレクション オブジェクトを利用する Using classes プロミスの使用 JavaScript 型付き配列 イテレーターとジェネレーター メタプログラミング JavaScript モジュール 中級編 クライアントサイド JavaScript フレームワーク クライアントサイド Web API Language overview JavaScript のデータ構造 等値比較と同一性 プロパティの列挙可能性と所有権 クロ
Vertex AI Embeddings for Text で実現する LLM のグラウンディング | Google Cloud 公式ブログ
Ivan CheungDeveloper Programs Engineer, Google Cloud ※この投稿は米国時間 2023 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 いま多くの人々が、ジェネレーティブ AI や大規模言語モデル（LLM）を実運用サービスにどのように導入すればよいか検討を始めています。しかし、例えば「既存の IT システムやデータベース、ビジネスデータと LLM や AI チャットボットをどのように統合すればいいだろうか」、「数千もの製品を LLM に正確に覚えさせるにはどうすれば良いだろうか」、あるいは「信頼性のあるサービスを構築するためにハルシネーションの問題をどのように扱えば良いか」といった課題と直面することになります。 これらの課題に対するシンプルな解決策となるのが、エンべディング（embeddings）と
プログラミング言語AWK 第2版
「AWK」という名前は開発者の頭文字Aho、Weinberger、Kernighanから来たもので、長い歴史を持つ、テキスト処理用のスクリプト言語です。Unix・Linuxにはデフォルトでインストールされており、多くの人に利用され、愛され続けています。改訂に伴い、計算/集計、データ分析といった話題の追加、CSV入力、Unicode対応など、時代に即したアップデートが行われています。 『プログラミング言語AWK』第2版 日本語版まえがき まえがき 1章 Awkチュートリアル 1.1 さあ始めよう 1.2 簡単な表示 1.3 書式付き表示 1.4 選択 1.5 計算 1.6 制御フロー文 1.7 配列 1.8 便利な一行プログラム 1.9 さて次は？ 2章 Awkの実践例 2.1 個人用ツール 2.2 選択 2.3 変換 2.4 データ要約 2.5 個人用データベース 2.6 個人用ライブラリ
CTOが訊く#4 Perl Mongerが語る これまでとこれから | BLOG - DeNA Engineering
「CTOが訊く」は、DeNA CTO の @nekokak（ねこかく）こと小林 篤が、社内のメンバーに、その人となりや仕事っぷり、そして野望を訊くというコンテンツです。今回はソフトウェアエンジニアの @karupanerura と Perl 対談！▼同内容をBlog記事にも掲載しています。https://〜（ブロ... Perlとの出会い。DeNA入社のきっかけ ▲左から@karupanerura、@nekokak @nekokak CTOが訊く第4回は karupanerura さんに来ていただいております。 僕はいつも「かるぱくん」って呼ばせてもらってるんですが、それではかるぱくんの簡単な自己紹介をお願いします。 @karupanerura 佐藤 健太と申します。 DeNA には2016年に入社して、認証認可基盤の周辺サービスの開発・運用をメインでやってきました。本日はよろしくお願いし
人工知能（AI）技術をベースにしたチャットプログラムとして、ChatGPTは登場以来、各方面から広く注目を集めています。ChatGPTは軍事分野にどんな変化をもたらすのか、AIは人間を追い越すのか。 そんな疑問を抱きながら、本記事ではChatGPTを取り上げ、AIの一般的な軍事利用について整理していきます。 中国ニュースサイト新浪新聞に掲載された記事より。 CnatGPTを使いこなす ChatGPTが注目されているのは、人間のフィードバックによってモデルのアルゴリズムを最適化する「RLHF」という新技術を導入し、AIモデルの出力が人間の常識や認知、価値観に収束するようになったからです。 簡単に言えば、ChatGPTはこれまでのAIモデルに比べて「より人間に近い」のです。この「人間らしさ」は、主に自然言語処理、つまり意味解析とテキスト生成の領域で発揮されます。 意味解析に関しては、これまでの
楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。 インストラクションチューニング（ファインチューニングの一種）済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。 どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、
この記事はRuby Advent Calendar 2023の21日目の記事です。 Rubyでワンライナーでテキストの処理をしたいと思ったことはありませんか？ありますよね！ そういったときに便利に使えるCLIツールのrfを作ったので紹介します。 モチベーション 具体例 インストール方法 rfの仕様 フィルタ レコードとフィールド コマンドと評価結果 特殊変数 定義済みメソッド match / match? メソッド at_exitメソッド 言語拡張 StringとInteger/Floatを直接計算、比較できる Hashのキーをメソッド名として扱える 未定義の変数にInteger/Float/String、Arrayへの要素追加ができる おわりに モチベーション 普段のオペレーションの中で、ファイルの特定の文字列を含む行を出力するにはgrepを使うと思います。 grepより複雑なことをやら
Scrapyを使って自社SNSに特定形式の文字列が含まれていないかチェックする方法 - ZOZO TECH BLOG
こんにちは、ジャポニカ学習帳の表紙に昆虫が戻って来た1ことに喜んでいる、SRE部エンジニアの塩崎です。 先日、有名な投稿型メディアプラットフォームで投稿者のIPアドレスが漏洩するという事象が発生しました。我々ZOZOテクノロジーズが開発・運用しているWEARも、ユーザー投稿型のサービスであるという意味では同様であり、もしかしたら投稿者のIPアドレスを漏洩しているかもしれません。 本記事ではWEARがIPアドレス漏洩をしていないかどうかをクローリングで調査する手法、及びその結果問題がなかったということをお知らせします。 WEARで行われているセキュリティ対策 WEARで行われているセキュリティ対策の一部についても簡単に説明します。WEARでは専門家による定期的なセキュリティ診断を行い、そのレポートに基づいたよりセキュアになるための修正を継続的に行っております。 また、リリースされるコードはチ
OpenAIが「GPT-4o」を発表、人間と同等の速さでテキスト・音声・カメラ入力を処理可能で「周囲を見渡して状況判断」「数学の解き方を教える」「AI同士で会話して作曲」など多様な操作を実行可能
OpenAIが日本時間の2024年5月14日(火)にAIモデル「GPT-4o」を発表しました。GPT-4oは単一のモデルでテキスト、音声、視覚入力を非常に高速に処理可能で、リアルタイムに会話しながら「計算問題を解く」「画像の生成」「周囲の映像から状況を判断」といったタスクを実行可能です。 Hello GPT-4o | OpenAI https://openai.com/index/hello-gpt-4o/ Introducing GPT-4o and more tools to ChatGPT free users | OpenAI https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/ GPT-4oはテキスト、音声、視覚入力を高速処理できるマルチモーダルなAIモデルです。GPT-4oの応答時間は平均320ミリ秒で、
楽天、日本語に最適化したオープンかつ高性能なLLMを公開
楽天、日本語に最適化したオープンかつ高性能なLLMを公開- 「LM Evaluation Harness」の評価基準において、基盤モデルとインストラクションチューニング済モデルがオープンな日本語LLMにてトップを獲得 - 楽天グループ株式会社（以下「楽天」）は、日本語に最適化した高性能の大規模言語モデル（以下「LLM」）の基盤モデル（注1）「Rakuten AI 7B」（以下「本基盤モデル」）と、同モデルを基にしたインストラクションチューニング済モデル（注2）「Rakuten AI 7B Instruct」（以下「本インストラクションチューニング済モデル」）、インストラクションチューニング済モデルを基にファインチューニングを行ったチャットモデル（注3）「Rakuten AI 7B Chat」をオープンなモデルとして、3月21日（木）に公開しました。 「Rakuten AI 7B」は、フラン
こんにちは、4月に入社しました広告技術部のyamaYuです。今回は21卒新卒ブログの第三弾ということで、私が入社して広告技術部に配属されてからどんなことをやってきたかを紹介します。第一弾、第二弾の記事は ↓ から読めますのでこちらも是非見てみてください！ data.gunosy.io data.gunosy.io Gunosyに入る前は何をしていたのか 広告技術部とは これまで触ってきた技術 Go Kubernetes Terraform その他 どんな感じで仕事をしてくのか OJT コードレビュー 1on1 これから Gunosyに入る前は何をしていたのか はじめに私自身のバックグラウンドについて少し書いておきます。 CS系の学科の修士卒で、自然言語処理の研究をしていました。 深層学習を使ってニュースの見出しを自動生成する研究で、Pythonで深層学習のモデルやテキスト処理を実装したり、
![新卒が臨む、広告配信の裏側 [新卒エンジニアブログvol.3] - Gunosy Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/e27e7fa9ccbd09d87d047c127d0b26dcc0447ffa/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fy%2FyamaYu%2F20211002%2F20211002150102.png)
Ubie Discovery で機械学習エンジニアをしている @hagino3000 です。医療用AIの歴史および動向をキャッチアップするために調査した内容をまとめました。特に画像を入力として診断支援を行なうAIと比較して、自然言語で表現された自覚症状などを入力とするものを構築する上での課題に焦点をあてています。 Keywords: コンピューター支援診断システム(Computer Aided Diagnosis: CAD), Medical Diagnostic Systems, 症状チェッカー(Symptom Checker), 機械学習(ML), 自然言語処理(NLP) 背景 現在、医療用AIが最も成功を収めている領域は画像診断です。X線・内視鏡・皮膚腫瘍と様々な画像に適用されており、その診断性能が専門医を越えたとの報告もあります ([1], [2])。2018年にはAIが糖尿病網膜
RAG(Retrieval Augmented Generation)を用いたPostgreSQLアシスタントAIの試作 - Qiita
この記事はNTTコムウェア Advent Calendar 2023の4日目の記事です。 こんにちは、NTTコムウェアの平塚です。今月は2023冬 Chill Seasonで手に馴染むブキを探しているところです。 大規模言語モデルが持っていない最新情報や企業内情報を補うためのRAG(Retrieval Augmented Generation、検索拡張生成)というアーキテクチャーがあります。ごく簡単に説明すると、外部データベースを用意してそこで検索した結果を大規模言語モデルに説明させるというものです。以下はRAGのイメージ図です。 現在多くの企業さまがRAGの検証に取り組んでいるところかと思います。今回RAGを用いてPostgreSQLに詳しいアシスタントAIを試作したので、気づいたところをいくつ か共有いたします。 まとめ PostgreSQLアシスタントAIはある程度使えるものになりそ
【Windows 10／11】えっ、UTF-8じゃなくてShift-JISで？ お手軽文字コード変換方法まとめ
【Windows 10／11】えっ、UTF-8じゃなくてShift-JISで？ お手軽文字コード変換方法まとめ：Tech TIPS Windows OSのコマンドプロンプト上でテキスト処理をする場合、基本的にはShift-JIS（シフトJIS）コードのテキストファイルしか扱えない。その他の文字コードのテキストを扱う場合は、Shift-JISに変換する必要がある。「メモ帳」アプリやnkfコマンドなどで文字コードを変換する方法を解説する。
Cloudflare、エッジアプリにAIをもたらす「Constellation」発表。画像認識、アノマリ検出、テキスト処理、音声認識など可能
Cloudflare、エッジアプリにAIをもたらす「Constellation」発表。画像認識、アノマリ検出、テキスト処理、音声認識など可能 Cloudflareは、同社のCDNプラットフォーム上でAI機能を提供する「Constellation」を発表しました。 Cloudflareは同社のエッジデータセンターで実行されるJavaScriptランタイムであるCloudflare Workersを提供しており、ここでアプリケーションが実行可能です。Constellationは、このアプリケーションに画像認識やテキスト処理などを追加できるようにします。 Today, we're excited to welcome Constellation to the Cloudflare stack. Constellation allows you to run fast, low-latency i
以前podcastなどでも言ったが、最近友人知人を集めてAndroidアプリ開発を教えている。 最初は普段ダベってる友人が、今の仕事低賃金なのでAndroidのアプリ開発を覚えてプログラマになりたい、とか言ってきた。 年齢的には自分と近い年齢なのでそれなりに探す必要はあるだろうが、 まぁ探せばありそうだし、どのみちプログラムには興味あったのでやってみたい、との事。 普段カフェやファミレスでダベってるのをプログラム教えるのに変えるのは別にいいよ、と思ったので、やってみた。 で、共通の友人に「最近あいつにアプリ開発教えててさ〜」と言ったら「何それ、俺も習いたいんだけど？」とか言い出して、 別に二人でも三人でもあんま変わらんしいいぜ、と言って、これだとどこか市の施設とかでやる方がいいか、と探したら無料で使えてホワイトボードもある所があったので、 そこで教え始めた。 で、そんな話を親族にしてて、小
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
好きなプログラミング言語10選 - やってみる
まつもとゆきひろさんと、なかだのぶよしさんと、Rubyについてのお話 - ポッドキャスト | Heroku
シングルバイナリで動くERBのテンプレートプロセッサーを作った - so what
Oracle、Javaによる機械学習ライブラリ「Tribuo」をオープンソースで公開
はじめての自然言語処理 spaCy/GiNZA を用いた自然言語処理 | オブジェクトの広場
LangChainとは？各モジュールの機能と活用事例まとめ | Hakky Handbook
弊社で使っているAzureリソースのスルメ系命名規則を紹介します
自律型AIエージェントのご紹介 - Platinum Data Blog by BrainPad
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか
オプショナルチェーン (?.) - JavaScript | MDN
記事削除 - Qiita
VSCodeのPerl開発環境 - dorapon2000’s diary
日本語形態素解析器 SudachiPy の 現状と今後について
未経験から年収600万円を超えるITエンジニアになった経歴
TextKit 2 時代の iOS のキーボードとテキスト入力と表示のすべて
Null 合体演算子 (??) - JavaScript | MDN
ChatGPTから人工知能の軍事的応用を考える； 中国メディア - 黄大仙の blog
楽天グループが大規模言語モデルを公開 Mistralベースの70億パラメータ 商用利用も可能
rfコマンドの紹介: Rubyでテキスト処理を便利に - ぶていのログでぶログ
新卒が臨む、広告配信の裏側 [新卒エンジニアブログvol.3] - Gunosy Tech Blog
臨床診断支援AIの歴史から症状チェッカーの今後を展望する―エキスパートシステムから大規模言語モデルまで
最近プログラム素人にAndroidアプリ開発を教えている