PHPの時代は終わった？ プログラミング言語のランキングで、2001年以来の最低シェアを記録【やじうまWatch】
LLMの根幹「Transformer」とは？並列処理に最適なワケ
2017年にGoogleの研究者が提唱した深層学習モデルで、チャットAI「Chat GPT」などに使われる。「どこに注目するか」を重視したことで、自然言語処理での精度や処理速度を大幅に高めた。 米OpenAIの「ChatGPT」は2022年に公開されるやいなや、その精度の高さに世界が衝撃を受けた。このChatGPTは、同社の大規模言語モデル（LLM）「GPT（Chat Generative Pre-trained Transformer）」をベースにしている。Transformerこそ、LLMの根幹である。 Transformerはエンコーダー（符号器）とデコーダー（復号器）で構成し、「どこに注目するか」を重視するアテンション機構を中心としている。大規模並列処理に向いたモデルで、GPUでの処理を想定して設計した。 Transformerは米Google Brain（現在の米Google D
LLMベースの新しい言語『SUQL』が示唆する「非構造化データのクエリ」を処理するパラダイム | AIDB
スタンフォード大学の研究者たちは、新しいプログラミング言語『SUQL』（Structured and Unstructured Query Language）を開発しました。 この言語は、SQL（Structured Query Language）の概念を拡張し、非構造化データのクエリ処理を可能にする新しいパラダイムを導入しています。構造化データ（例えばデータベース内のデータ）と非構造化テキストデータ（自由形式のテキストなど）の両方を処理する能力を持つ初めての言語として位置づけられています。 『SUQL』の開発は、データソースをより効果的に活用するための手法を模索する研究の一環です。従来の技術では、構造化データと非構造化データを一元的に処理することには課題がありました。 大規模言語モデル（LLM）に基づくプロンプトコンポーネントで構成される『SUQL』は、今後の開発トレンドを牽引する研究と
生成AI時代に向けたCOBOL資産の展開とは--マイクロフォーカスのマクギルCTO
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます COBOLアプリケーションの開発・実行環境を提供するMicro Focusは、日本で4年ぶりに年次イベントをリアル開催し、最高技術責任者（CTO）のStuart McGill氏がCOBOL資産の展望などを語った。生成AIも台頭する中で企業は、COBOLの資産をどうしていくのか――McGill氏に聞いた。 まずMcGill氏は、前回のリアル開催だったイベント当時の2019年と現在（2023年）の顧客やパートナーの意識の変化をこう説明する。「われわれは、COBOLの資産をクラウドに展開しようと呼び掛けていた。現在は、顧客やパートナーから『クラウドに展開したい』と言われる。われわれにとって、これがコロナ禍の前と後での大きな変化だ」 COBOL
GPT-4、Bard、Claude2などの異なるLLMが円卓を囲み議論した結果の回答は品質が高いとの検証報告。円卓ツールも公開 | AIDB
異種LLM同士の議論 米ノースカロライナ大学の研究者らは、異なる種類の大規模言語モデル（LLM）同士に議論させるというアプローチを採りました。 このアイデアの背後には、異なるモデルがそれぞれの強みと弱みを持っているという認識があります。例えば、GPT-4は一般的なテキスト生成に優れている一方で、Bardは物語生成に特化しています。これらのモデルを組み合わせることで、より高度な推論が可能になると考えられています。 研究者らは、複数の異なるLLM（GPT-4、Bard、Claude2など）を円卓会議のような形で議論させるアイデアを形にしました。各モデルは独自の視点と推論能力を持ち寄り、最終的な回答や結論を出す過程が検証されました。 異種LLMs円卓会議ツール 研究者らはただ実験を行って報告するだけでなく、LLM同士に議論させて答えを提出させるプロセスを自動化するツールも提供しています。このツー
LTS版「Linux」カーネルのサポートが短縮へ--背景にメンテナーの苦悩
現地時間9月19日からスペインのビルバオで開催されていた「Open Source Summit Europe」で、Linuxカーネル開発者であり、LWN.netの編集責任者を務めているJonathan Corbet氏が、Linuxカーネル関連の新しい点や今後の動きについて発表した。 ここではその中から、今後の大きな変更点の1つを紹介したい。それは、Linuxカーネルの長期サポート（LTS）が6年から2年に短縮されるということだ。 LinuxカーネルのLTS版には現在のところ、6.1と5.15、5.10、5.4、4.19、4.14の6つがある。これまでであれば、4.14は2024年1月にサポートが終了し、別のカーネルが追加されていた。しかし今後は、4.14とその次の2つのバージョンのサポートが終了しても、別のカーネルがそれに取って代わることはない。 なぜだろうか。Corbet氏は単純なことだ
PHP: 遅延静的束縛 (Late Static Bindings) - Manual
Getting Started Introduction A simple tutorial Language Reference Basic syntax Types Variables Constants Expressions Operators Control Structures Functions Classes and Objects Namespaces Enumerations Errors Exceptions Fibers Generators Attributes References Explained Predefined Variables Predefined Exceptions Predefined Interfaces and Classes Predefined Attributes Context options and parameters Su
PHP: 可変関数 - Manual
可変関数 PHP は可変関数(variable functions)の概念をサポートします。 これにより、変数名の後に括弧が付いている場合、その値が何であろうと PHPは、同名の関数を探し実行を試みます。 この機能は、コールバック、関数テーブル等を実装するために使用可能です。 可変関数は、echo, print, isset(), empty(), include, require のような言語構造と組み合わせて使用する ことはできません。これらの言語構造を可変変数として使うには 独自のラッパー関数を使う必要があります。 <?php function foo() { echo "In foo()<br />\n"; } function bar($arg = '') { echo "In bar(); argument was '$arg'.<br />\n"; } // これは、echo
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
秘密鍵のファイル周りの話
開発していると、公開鍵暗号の技術を利用する場面は多々ある。 EC2インスタンスへのSSHする時や、Snowflakeの認証時に RSA キーペアの秘密鍵を利用する 公開鍵証明書 ... いろんな用語、トピックがあり混乱するのでまとめてみた。 ここではとりあえず特にRSA暗号を念頭に置き話を進める。 規格群 そもそも公開鍵暗号に関する技術はいろいろな形で規格が定められていたり、標準化されていたりする。 PKCS Public-Key Cryptography Standards の略で、RSAセキュリティというソフトウェア会社が考案した公開鍵暗号の規格群のこと。元々はRSAセキュリティ社が自社の暗号技術に関する特許を利用促進するために発行したのがはじまり。 近年ではその一部は IETF などと標準化が進められており、 RFC として整備されているものも多い。 内容ごとに PKCS #1 など
オープンソースで商用利用可能な大規模言語モデル「Falcon」が登場、オープンソースモデルの中では最高の性能に
アラブ首長国連邦の首都アブダビに拠点を置く研究機関「Technology Innovation Institute」がオープンソースの大規模言語モデル「Falcon」をリリースし、機械学習関連のデータ共有サイト「Hugging Face」にてモデルを公開しました。 Falcon LLM - Home https://falconllm.tii.ae/ The Falcon has landed in the Hugging Face ecosystem https://huggingface.co/blog/falcon tiiuae/falcon-40b · Hugging Face https://huggingface.co/tiiuae/falcon-40b Falconモデルは400億個のパラメーターをもつ「Falcon-40B」モデルと、70億個のパラメーターをもつ「Falco
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
Microsoft、「.NET Upgrade Assistant」の新バージョンをリリース 旧アプリを最新版にアップグレード
Microsoftは2023年5月2日（米国時間）、「.NET Upgrade Assistant」の新バージョンをリリースしたと発表した。.NET Upgrade Assistantは.NET Framework上で実行されているアプリケーションをXamarin FormsやUWP（Universal Windows Platform）などの古いプラットフォームから最新の.NETにアップグレードし、移行をサポートするツールだ。 2023年2月にリリースされたVisual Studioの拡張機能に続き、.NET Upgrade Assistantの新バージョンでは多くの改善と新機能が追加された。 新バージョンの主要な改善点 関連記事 Microsoft、パッケージマネジャー「NuGet 6.5」を公開 大規模プロジェクト向け機能を追加 Microsoftは2023年2月28日（米国時間）、
Oracle、「Java 20」をリリース 最も重要な7つの機能強化と変更点とは
Oracleは2023年3月21日（米国時間）、プログラミング言語と開発プラットフォームである「Java」の最新版「Java 20」と、Java開発キット「Oracle JDK 20」の一般提供を開始した。 Java 20ではパフォーマンスや安定性、セキュリティを強化する数千の改良が実施されている。Oracle JDK 20では開発者の生産性向上に向けて7つの機能強化と変更が行われている。これらの機能強化と変更は「JDK Enhancement Proposal」（JEPs：JDK拡張提案）で定義されている。 関連記事 未経験者に「プログラミング言語」は求めない 調査で分かった企業が期待するスキルとは パーソルキャリアは、「doda ビジネスパーソンと企業の転職意識ギャップ調査」の結果を発表した。それによるとITエンジニア職「未経験歓迎」求人の割合は2年前（2021年1月）に比べて約3.0
VSCodeでReactのソースコードを読むための準備
何が大変か？ VSCodeはMSが作っているだけあってTypeScript統合がほぼ整っており、特に設定を頑張らなくてもそのままIDE機能が効くことが多いです。現代の多くのJavaScriptプロジェクトはこれで事足ります。 しかし、これには例外があります。Reactの実装は現時点ではFlowで書かれています。FlowはTypeScriptと同様のコンセプトを持つAltJS言語です。FlowはReactと同じくMeta(Facebook)製であるため、これまでReactでFlowが使われてきたのは一定の合理性があると言えるでしょう。 Flowの拡張子が *.js であることから、TypeScriptのIDE機能はFlowのソースコードに対しても反応します。文法が似ていることもあり、Go To Definitionなどの機能もある程度までは動作しますが、完全ではありません。また、エラー表示が
オラクル、OpenJDKに静的なネイティブイメージの生成機能を組み込む方針を明らかに。GraalVMのOpenJDKへのコントリビュートで
オラクル、OpenJDKに静的なネイティブイメージの生成機能を組み込む方針を明らかに。GraalVMのOpenJDKへのコントリビュートで オラクルは先月（2022年10月）に米ラスベガスで開催したJavaOne 2022で、GraalVM CEのJava関連コードをOpenJDKコミュニティに寄贈すると発表しました。 Excited about @GraalVM JIT and Native Image becoming part of OpenJDK!#JavaOne pic.twitter.com/al1nHTl2RW — GraalVM (@graalvm) October 18, 2022 参考：［速報］オラクル、OpenJDKコミュニティにGraalVM CEのJava関連コードを寄贈すると発表。JavaOne 2022 このとき、GraalVMのJavaのJITとネイティブイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Chromium」へのRust言語採用はサードパーティライブラリから ～Googleが解説／来年中にも「Chrome」のバイナリにRustコードが含まれるように
英語で「割り算をする」はなんて言う？｜OTONA SALONE[オトナサローネ] | 自分らしく、自由に、自立して生きる女性へ
Twitterの脆弱性で流出したユーザーデータ、ハッカー向けサイトで共有。1700万件以上に上る可能性も？【やじうまWatch】
「PostgreSQL 15」が正式リリース ～「MERGE」コマンドに対応、パフォーマンスも向上／オープンソースのリレーショナルデータベース
