※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ

対象読者 新人プログラマ。 新人プログラマに数学くらいはできてくれと願う方。 数学をどこまで勉強すればよいのか？を知りたい方。 はじめに 何をどこまで勉強すればよいのかについて以下をこれまでに書いた。 エンジニアはどこまで勉強すればよいのか - スキルマップと生存戦略を考えた エンジニアは英語をどこまで勉強すればよいのか - 英語に関する2つのご意見 で、私のような古参にとっては「エンジニアなんて一生勉強だ...」が正直なところだと元も子もないことを書いてしまったのだが、新人さんが配属される季節。何を勉強することが少なくとも必要なのかと考えた。で、こんな本の話です。プログラマの数学。 目次に従って、その内容と関連知識のメモです。この本に書かれているくらいの数学が分かると、どう嬉しいのか。 目次 ゼロの物語 —— 「ない」ものが「ある」ことの意味 10進法 / 2進法 / 位取り記数法 /

QGIS プラグイン「GTFS-GO」 昨年、GTFS データを解析して QGIS 上に可視化するプラグインGTFS-GOを公開しました（紹介記事）。多くの方に使われ、広く反響をいただいたところです。その後、公共交通データの整備や分析を手がける(株)トラフィックブレイン社と意見交換する機会がありました。そのなかで、現在(一財)トヨタ・モビリティ基金のバックアップのもと兵庫県豊岡市で進んでいる豊岡スマートコミュニティ推進機構の取組の一環として、本プラグインをより便利な公共交通分析ツールとする機能拡張のご提案があり、快諾しました。結果、両社からサポートを頂きながら開発を進め、新バージョンの公開まで至っております。オープンソースへの多大なるご理解・ご協力に感謝します。 本記事ではGTFS-GOの新バージョンの機能や技術情報を述べます、「そもそも GTFS とは？」などの疑問は前回記事を確認してく

※本記事はアフィリエイトプログラムによる収益を得ています 東京駅・丸の内駅舎の断面を描いた手描きイラストが、X（旧Twitter）で「見てて楽しい」「素敵だなあ」と、約3万6000件の“いいね”を集めるほど人気です。 東京駅・丸の内駅舎（出典：PIXTA） 豆知識がいっぱい詰まった手描きイラスト 話題になっているのは、訪れた旅館の建物を断面パースで記録してまわっている吉宮晴紀（@rninopon）さんの作品。東京駅・南ドーム（南口）の駅舎を、地下の構造まで含めた断面図として描いたイラストです。 南ドーム（南口）を北側から見た視点で描かれており、“実はドーム上に空洞がある”という建物上部からホテル部分、駅舎に近い中央線ホーム（電車も断面図）、大規模な免震化工事が行われた地下部まで、利用客が普段目にすることのない細かいところまで描かれています。毎日たくさんの人が歩くエントランスの地下にこんな構

グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネット…

今回はdim(オープンデータパッケージマネージャ) v1.0のリリースに伴って開発したツールの紹介をしたいと思います。 オープンデータもパッケージマネージャ(apt、npm、gem、pipなど)と同じようにnpm install xxxxxのような形でオープンデータをインストールして管理すると良いのではないかという話です。 以前のバージョンに関しては以下の記事で紹介 【個人開発】パッケージマネージャーの考えを流用してオープンデータ管理ツールを作ってみた話 以前の記事を読んでいてv1.0からの変更点に関して読みたい方 dim v1.0 変更点 オープンデータを無秩序に管理するのはやめたい ソフトウェアやライブラリの管理は世の中様々な体系化された方法が確立されつつあります。ソフトウェアであればaptやbrewなど、ライブラリであれば言語ごとにnpmやgemなどが存在します。しかし、データに関し

こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます

はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f

はじめに 2023/08/03発売の「データ分析失敗事例集 ―失敗から学び、成功を手にする―」を知り合いのご厚意により頂いたので、読んでみたところ非常に面白かったので、感想をブログにまとめようと思います。 www.kyoritsu-pub.co.jp 全編通していい意味で社会性フィルターが外れていて、これを出版することは非常な苦労があったと察します。著者に敬意を評して、本ブログでも特に配慮などはせずに感想を書いていこうと思います。(何か問題があったらコメント欄で教えてください。コメントは公開前に自分にメールが来るようになってます。) 本書の概要 本書ではデータ分析の失敗談を短編小説のように楽しむことができる。 技術的な話はあまりないが、一部の専門用語については基本的な理解があると読みやすい。 例えば、BERT, 傾向スコア, Redshift, Tydyverseと聞いて、どういうものでど

（今回作っていく広域点群データの完成図です） 3Dデータを有効に可視化したい PLATEAUのデータを利用することで、地図 + 地形データの上に詳細な建物データを配置するなど3Dデータを活用したリッチな表現が比較的簡単に出来るようになりました。 が、3Dモデルはテクスチャ（ビルの外観など）を貼り付けるとWeb地図上ではかなーり動作が重たくなってしまう上、モデルが整備されていない・もしくは整備されているが、詳細な形状がモデリングされておらず四角い箱になっていたり、テクスチャが存在しなかったりする都市だと、こんな感じでちょっと寂しい絵面になってしまいます。 そこに、詳細な色付き点群データを利用して乗っけると一気にリッチな感じになりますね！ 詳細な広域3Dメッシュモデルがテクスチャ付きで整備されていれば、それを利用すれば良い話ではあるのですが、全国分整備するにはお金も時間もかかります。 なので、

JASRAC許諾第9009285055Y45038号 JASRAC許諾第9009285050Y45038号 JASRAC許諾第9009285049Y43128号 許諾番号 ID000002929 ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標(登録番号 第6091713号)です。

1993年5月号～1995年6月号の『月刊アスキー』誌上で「スペシャルインタビュー」（通巻200号をひかえた最高部数更新中キャンペーン）を掲載した。日本のコンピューターを作りあげたパイオニアたちへのインタビューで、1996年10月に単行本『計算機屋かく戦えり』として刊行させてもらった。 今回、2005年に元シャープの佐々木正さんのインタビューを加えて刊行した『新装版　計算機屋かく戦えり』の電子書籍版を刊行するにあたり、26人のインタビューのうち次の4人のお話を掲載する。 「FUJIC／日本最初のコンピュータを一人で創り上げた男……岡崎文次」 「パラメトロン／日本独自のコンピュータ素子を生んだ男……後藤英一」 「FACOM100／国産コンピュータを世界にアピールした池田敏雄……山本卓眞」 「指揮装置／戦時下で開発された機械式アナログ計算機……更田正彦」 なお、電子版『新装版　計算機屋かく戦え