Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に

以下の文章は、電子フロンティア財団の「Human Rights Claims Against Cisco Can Move Forward (Again)」という記事を翻訳したものである。 Electronic Frontier Foundation GoogleとAmazonよ、自社の「幇助リスク」から目を背けるな EFFは長年、政府に強力な監視ツールを売り込む企業に対し、人権侵害への加担を避けるための積極的な対策を講じるよう訴えかけてきた。そして、企業がその責任を果たさない場合、然るべき結果を招くよう尽力してきた。 先週、第9巡回区米国控訴裁判所が、この取り組みを後押しする判断を下した。2023年の画期的な判決を支持し、人権侵害を助長する高度な監視システムを提供するテック企業に対し、米国の裁判所で幇助責任を問えるとしたのだ。 この訴訟の矛先はCisco社だ。同社が中国の「グレート・ファ

オードリー・タン氏と安野貴博氏が登壇！Code for Japan Summit 2024を11月に開催テクノロジーで社会をより良くする、日本最大級のシビックテックカンファレンス 一般社団法人コード・フォー・ジャパン（代表理事：関 治之）は、2024年11月16日（土）に滋賀県草津市の立命館大学びわこ・くさつキャンパスにて「Code for Japan Summit 2024」を開催いたします。本イベントは、テクノロジーを活用した社会課題解決に取り組むシビックテックの日本最大規模のイベントとして、2014年から毎年開催されています。 キーノート登壇者 オードリー・タン氏 台湾初代デジタル担当大臣、デジタル民主主義パイオニア 安野貴博氏 合同会社機械経営 代表 開催概要 日時：2024年11月16日（土）10:00～18:00 場所：立命館大学びわこ・くさつキャンパス（滋賀県草津市） 参加方

一昨日の「バズワード化する「不動産ID」〜日経新聞の記事についての感想」、を書きながらちょっと思ったことがあったので、メモしておきたいと思います。 日本では、不動産IDにしろ、標準化にしろ、みんなで協力して社会を便利にしていこう、という動きに対して、必ずと言って良いほど「デマを広めたりする人達」や、「抵抗勢力」、というのが現れます。 そういう人達は、話せば分かるとかではなく、懇切丁寧に説明しても無駄です。アレやコレや理由を挙げますが、どれも根拠の無い話しです。次から次へとあることないこと理由を挙げて反対したりします。それも、表立って反対すればまだ分かりやすいですが、非協力という形で反対する人達が大多数です。 これは何故なのか。 業界に蔓延する誤解と、それをそのまま煽って逆に誤解を深めてしまうような日経新聞などを含めたメディアの報道なども一因だと思いますが、それだけではないようです。 私はI

Blueskyの開発チームの一員であるダン・アブラモフ氏の話を聞けるオフラインイベント「Bluesky mini meetup in Kyoto 2024」が2024年9月21日(土)に開催されたので、参加してきました。イベントではアブラモフ氏によるBlueskyの基盤技術についての講演を聞けたほか、質疑応答タイムもあったので「どんな経緯でBlueskyに入社したの？」「ユーザーの増加にサーバーは耐えられる？」といった気になることを聞いてきました。 Bluesky https://bsky.app/ ◆会場はこんな感じ Bluesky mini meetup in Kyoto 2024は、京都市中京区の書店兼イベントスペース「泥書房」で開催されました。 烏丸駅から数分歩いて泥書房に到着。 会場内部はこんな感じ。10人以上のBlueskyユーザーたちが集まっていました。 以下の人物が、今回来

セルシスは9月20日、イラスト作成ソフト「CLIP STUDIO PAINT」（クリスタ）の非公式プラグインやソースコードに関する声明を発表し、非公式プラグインの配布などを一切認めない方針を示した。セルシスは「プラグインSDK規約では、当社サービス以外でのプラグインを利用する目的での不特定多数への配布は認めていない」と表明している。 同日午前10時ごろ、X上であるユーザーが「画像生成AIを使ったクリスタ用プラグインを開発している人がいる」という投稿をしており、注目を集めていた。その書き込みによると、このプラグインはすでにGitHubで公開済みであったため、セルシスにこの件をメールで報告したという。 この投稿に対して、クリスタ利用者とみられるユーザーを中心に賛同する声が殺到。「クリスタの方針に反する機能を勝手に導入するから営業妨害になるのでは」「自分もセルシスにメールした」などの声の他、利益

Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 川村インターナショナル 2024-09-20 07:00 ウィーン発--「Linux」の生みの親であるLinus Torvalds氏は、The Linux Foundationの「Open Source Summit Europe」の基調講演で、カーネル開発や「Rust」の統合、オープンソースの未来について、自身の考えを率直に語った。Torvalds氏の友人でVerizonのオープンソースプログラムオフィスの責任者を務めるDirk Hohndel氏が、Linuxエコシステムに関する基調講演の司会を担当した。 Torvalds氏は、先頃公開された「⁠Linux 6.11」カーネルなどのリリースが面白みに欠けるのは意図的だ、と強調した。「約15年間にわたり、非常に規則正しいリリースを行

メタが提供しているAIモデル「Llama 3.1」を活用したアプリ開発ツール「LlamaCoder」が人気を集めている。 LlamaCoderは、AI企業のTogether AIが開発したオープンソースのウェブアプリケーション。「計算機アプリを作って」といった指示を与えるだけで、フルスタックのアプリケーションを生成する。メタのLlama 3.1 405Bモデルを基盤に、Together AIのLLM推論技術を活用している。 メタによれば、LlamaCoderはリリースからわずか1ヵ月余りで、GitHubで2000以上のスターを獲得し、数百人の開発者がリポジトリをクローンした。さらに、20万以上のアプリがLlamaCoderを使用して生成されたという。 Together AIの開発者関係責任者であるHassan El Mghari氏は、「開発者たちはこれを気に入っています。クイズアプリ、ポモ

人間ジェネリック @DividedSelf_94 ゲームデザインは「アイデア」なので「似た感じのゲーム」というのは「著作権」で訴えようがないのだけれど、任天堂法務部は当然それを知っているから、わざわざ特許権で勝負を仕掛けたわけでしょう 正面で勝ちようがないから特許権を持ち出して嫌がらせって、いくら権利でも大企業としてどうかと思う 人間ジェネリック @DividedSelf_94 任天堂のこういうパテント・トロール的な立ち振舞、本当に全インディーゲームにも同じ基準を求めてるなら”フェア”だとは思うけれど、たぶん「パルワールドだから」訴えてるでしょ。 任天堂の胸先三寸で「許されるゲーム」「許されないゲーム」が出てくるのはゲーム業界にとって極めて不健全だと思う。

こんにちは。7月にクリアコードに入社した藤田です。 クリアコードでは「フリーソフトウェアで稼ぐ」という理念をもとに、さまざまな活動がオープンになっており、 OSS開発もその一環です。 私が所属するチームは、Fluentdという拡張性の高いOSSのログ収集ソフトウェアを扱っています。 クリアコードに入社するとともに、新たなOSSに挑戦しております。 そこで、この記事では私なりのOSSに参加する方法についてご紹介したいと思います。 この内容に沿って作業されると、すぐにPull Requestを作成することができるかと思います。 それを足がかりにより大きな課題へ挑戦してみてください。 クリアコードでOSS開発 私が所属しているFluentdチームは、Fluentdの導入支援や運営サポートなどの エンタープライズサポートをベースに、Fluentdをオープンに開発しています。 我々の活動は http

マンドラゴラ島田 @Raco0Afte55 @0500mL マインクラフトに触れた時に「米料理のレパートリーがない！？焼肉とスープで終わり？！昆布は……大型種だから燃料？！」などなどカルチャーショックをしこたま受けました はっぱ @ha_pas3 言ってる意味が全然わからなかったけど、エネルギー補給程度にしか考えてないってらしい。 私も不味くなくておなかいっぱいになればそれでいい派だな、ずっとディストピア飯を求めてる

この本の概要 GitHub CopilotやChatGPTなど生成AIによるコード生成やコードリーデイング支援が流行っています。これらは破壊的なイノベーションで，いずれはすべての開発者や企業が導入するものです。 ただ，現状では生成AI×コードを推進・導入している企業は多くはなく，さらに活用法については手探りの状況です。 本書では生成AI×コードでなにができるか，どうすればよりよく活用できるかを解説します。しっかりと活用していくための知識と，現場で活用できる実践が身に付く必携の一冊です。 本書のサンプル 本書の紙面イメージは次のとおりです。画像をクリックすることで拡大して確認することができます。 1. 生成AIがエンジニアリングの常識を変える 1. 変化は「今」起こっている — さて，どうする？ 2. 生成AIへの過度な期待と現実のギャップ 3. プロンプトエンジニアリングのテクニックはあま

みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ 加筆/修正 指摘のあった誤字を修正 NVEnc について誤った内容があっ

カーネルにDBMSを載せた分散OS「DBOS」の特徴と利点は？ サーバレスでTypeScriptとPythonの実行に対応 マサチューセッツ工科大学（MIT）とスタンフォード大学の研究者によって考案された分散OS「DBOS」が、TypeScriptに加えてPythonの実行に対応したことが発表されました。 DBOSはOS内部にデータベースが組み込まれており、OSやアプリケーションのすべての処理や状態をデータベースが記録します。そのため、アプリケーションやOSが何らかの原因で終了したとしても、処理や状態を失うことなく終了したところから再開できるなどの利点を備えています。 これによりTypeScriptやPythonで耐久性の高いアプリケーションの構築を容易にしています。 DBOS is coming to #Python! Development of the DBOS Transact f

はじめに 前にも別のモデルでやってる ただ o1-preview は、やり取りを重ねるよりも一発で終わらせるほうがいいらしいので、最終的なテスト全体を渡すようにした。 情報の提示方法が異なると当然結果も変わるので、 gpt-4o でも同様なことを試した。 材料 プロンプトは以下。 基本的に最初にやったときと同じ。ペアプロではないのでその部分の調整をしている - 私がテストコードを提示するのでそのテストケースをパスする最小限の実装をしてください - Vue.js のバージョン 3 と Typescript で実装を行ってください - コードのみを示してくださいコードの解説などは必要ありません - スタイリングは必要ありません - テストケースに失敗したらその内容をチャットで送信するので最小限のコードの修正をしてください - テストのコードには vitest を利用しています jest と互換

情報科学若手の会2024

本日は人生の数ある選択肢のなかから、こちらのブログを読むという行動を選んでくださいまして、まことにありがとうございます。 はじめに プログラミングの世界には多くの指針や原則が存在します。Chris Zimmerman氏の「The Rules of Programming」（邦題：ルールズ・オブ・プログラミング ―より良いコードを書くための21のルール）は、不変の知恵を凝縮した一冊です。これらの原則は、多くの開発現場で活用できる有益な内容となっていると思いました。 The Rules of Programming: How to Write Better Code (English Edition) 作者:Zimmerman, ChrisO'Reilly MediaAmazon 本書は、大ヒットゲーム『Ghost of Tsushima』などで知られるゲーム制作スタジオ、Sucker Pun

千葉大学の山田泰裕教授らは大阪大学などと共同で、光を当てると発光して冷たくなる物質を開発した。光を吸収しやすい「ペロブスカイト型」の構造を持つ結晶を使う。新たな冷却素子の開発につながる可能性がある。開発した物質はセシウム、鉛、臭素から構成されるペロブスカイト構造の結晶でできている。ペロブスカイト構造を持つ結晶の一部は光をよく吸収する性質を持ち、その性質を利用した「ペロブスカイト型太陽電池」は変

AIがあたかも本当のように事実と異なることを言ってしまうハルシネーション（幻覚）。どのくらい幻覚を見るかを示すハルシネーションレートは、各社がしのぎを削る大規模言語モデル（LLM）の精度の高さを証明する1つの指標となっている。 さて、各LLMのハルシネーションレートを比較すべくAI企業Vectaraが開発したGitHub上のHallucination Leaderboardを見ると、現在（2024年9月13日付け）は中国版ChatGPTとも言われる「智譜AI（Zhipu AI）」のGLM-4-9B-Chatが1.3％でもっともハルシネーションレートが低い。出たばかりのOpenAI o1 miniの1.4％、GPT-4oの1.5％を抑えての1位は正直すごい（冒頭のグラフ参照のこと）。 そういえば先日、コープさっぽろCIOの長谷川秀樹氏が「ハルシネーションがある限り、企業では生成AIは使えない