エーレンフェストの壺と不可逆性
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
The Apache Foundationは、オープンソースで開発している高速なデータ処理基盤「Apache Arrow 1.0.0」のリリースを発表しました。 We just released @ApacheArrow 1.0.0, the first formally "stable columnar format" release with a move to SemVer for the libraries. We have a much improved website, too. Read more about what's newhttps://t.co/j24VdxqFTL — ApacheArrow (@ApacheArrow) July 27, 2020 Apache Arrowはメモリ上にカラムナフォーマットでデータを保持し、プロセッサのSIMD命令やGPUなどにも対
Apache ArrowのPMC(Project Management Commitee、プロジェクト管理チームみたいな感じ)のメンバーの須藤です。 みなさんはApache Arrowを知っていますか?最近、ついに1.0.0がリリースされたんですよ。私がApache Arrowの最新情報をまとめた2018年9月から毎年「今年中に1.0.0がでるぞ!」と言っていた1.0.0がついにリリースされたんです! 1.0.0を機に安心して使えるようになります。(どう安心なのかは後で説明します。) Apache Arrowはすでにデータ処理界隈で重要なコンポーネントになりつつありますが、数年後にはもっと重要になっているだろうプロジェクトです。データ処理界隈に興味がある人は知っておくと役に立つはずなので毎年Apache Arrowの最新情報をまとめています。1.0.0がリリースされたので2020年7月現在
「Core Ultra 200Sシリーズ」発表&予約販売開始! 最上位のCore Ultra 9は激レア? 2024年10月11日0時(日本時間)、インテルは開発コード“Arrow Lake”として知られてきた新世代のデスクトップPC向けCPUを「Core Ultra 200Sシリーズ」として正式発表した。2009年、インテルが初めて「Core i」の名を冠した製品を投入して以来、最新のCoreプロセッサーまで14もの世代を重ねてきたシリーズはひとまず終了。今後はモバイル向けCPUと同様に“i”のない「Core Ultra 9」や「Core Ultra 7」「Core Ultra 5」というブランドになる。 本稿はインテルが開催したメディア向けブリーフィングの内容・資料の中から、Core Ultra 200Sシリーズの価格/プラットフォーム/パフォーマンスの3つにフォーカスしてまとめたもの
デベロッパーLonerangerixは8月20日、縦スクロールシューティングゲーム『Arrow a Row』をリリースした。対応プラットフォームはPC(Steam)。日本語表示に対応している。どこかで見覚えのある印象を受ける本作はリリース後、Steam上の最大同時接続プレイヤー数が2500人を超え、本稿執筆時点のSteamストアトップページ「話題の新作」リストにてトップに躍り出ている。 『Arrow a Row』は縦スクロールシューティングゲームだ。プレイヤーは弓と剣を携えて、行く手に立ちはだかる“数字付き”モンスター達を倒しながら、ひたすら道を突き進んでいく。攻撃は進行方向に向けて自動発射され、プレイヤーに託された操作は左右移動のみ。プレイヤーは撃破したモンスターが落とす宝箱、もしくは左右で二者択一のパワーアップポイントを通過することで、自身の性能をアップグレードしていく。 本作は、“ス
Intelは落ちるところまで落ちたのだろうか?Intelの最新CPU「Arrow Lake」で深刻な安定性の問題が報告される中、業界関係者からAppleとSamsungによるIntel買収の可能性が浮上した。 Arrow Lake CPUで再び安定性問題が浮上 テック系YouTuber「Moore’s Law is Dead」の報告によると、Intelの新製品Arrow Lake CPUにおいて、前世代のRaptor Lakeで見られたような深刻な安定性の問題が確認されている。この問題は、複数の著名なテクノロジーレビュアーによって独立して報告されており、製品の信頼性に対する重大な懸念を引き起こしている。 特に深刻なのは、この安定性の問題がオペレーティングシステムを問わず発生している点である。Level 1Techsのレビュアーは、Windows環境のみならずLinux環境においても同様の不
先日、Apache Arrow東京ミートアップ2019で「RとApache Arrow」というタイトルで発表してきました。あと、Japan.RでもApache ArrowについてLTしました。 話したこととしては、 arrowパッケージを使うとParquetファイル(後述)の読み書きができる sparklyrパッケージが内部でApache Arrowを使うようになって、R↔Spark間のデータのやり取りが高速になった Arrow Flightがもっと一般的になれば、JDBCやODBCを使わなくてもデータベースからデータを取ってこれるようになる という感じで、個人的にいま強調したいのは1.です。とりあえずParquetファイルの読み書きというのがRユーザーにとって一番わかりやすいメリットなので、そこをきっかけにみんなApache Arrowにズブズブになって、もっと世の中のシステムがApac
Published 24 Jul 2020 By The Apache Arrow PMC (pmc) The Apache Arrow team is pleased to announce the 1.0.0 release. This covers over 3 months of development work and includes 810 resolved issues from 100 distinct contributors. See the Install Page to learn how to get the libraries for your platform. Despite a “1.0.0” version, this is the 18th major release of Apache Arrow and marks a transition to
今日は「憲法記念日」。 1946年11月3日に日本国憲法が公布され、1947年5月3日に施行された日です。 公布された11月3日は「文化の日」で祝日ですね。 実はポーランドも5月3日は「憲法記念日」で祝日。 こちらは1791年に制定。正式には「5月3日憲法」と言うようです。 ということで、今日はポーランドに関わる船を。 "K"LINEの6,400台積み自動車運搬船 AMBER ARROW です。 ポーランドのグディニャという街には「Stocznia Gdynia」というポーランド最大の造船会社があります。 Stocznia Gdyniaで建造された船は名古屋でもよく見かけるので、かなり多くの大型船を建造していることが分かります。 ここの船は特徴があるんですよね。 この角度からは見えづらいですが、船首はすべり台のようにななめにカットされています。 そして、中に入り込んだブリッジ。 この位置か
Intelが次の消費者向けプロセッサ「Arrow Lake」へのIntel 20Aプロセスノード採用を見送り、外部パートナーのプロセスを採用することを明らかにしました。デビッド・ジンズナーCFOによると、リソースを20Aプロセスノードの改良版である18Aプロセスノードに集中させることで経費節減を図るもので、5億ドル(約720億円)の節約になるとのことです。 Continued Momentum for Intel 18A https://www.intel.com/content/www/us/en/newsroom/opinion/continued-momentum-intel-18a.html Intel announces cancellation of 20A process node for Arrow Lake, goes with external nodes instea
Arrow Lakeでハイパースレッディング(Hyper-Threading / HT)が廃止されるという情報が出てまいりました。YouTubeチャンネルのMoore’s Law Is Deadが報じました。 まず始めに、これらのリークは2年以上先のものであり、今後、変更される可能性があることは留意されたい。 ▼第15世代 Arrow Lake (ARL) 2024Q4 (※世代はCore iシリーズ換算) 先日、igor’sLabがリークしたArrow LakeデスクトップCPUの性能予測だが、これはi7のA0シリコンでの結果だ。i7でRaptor Lakeより20%高い性能を示している。 Aシリコンを大幅にアップグレードしたi9となるBシリコンは2023年後半にテストされる予定だ8P+16Eコアモデルは2024年末までに製品化を予定している。一方、8P+32Eコアモデルは2025年のQ
Intelでは2024年下半期にかけて第二世代Core UltraおよびCoreシリーズCPUを投入する計画としています。このArrow LakeについてはMeteor Lakeから導入されたタイルアーキテクチャを採用すると共に、Meteor Lakeではお蔵入りとなったデスクトップ向けモデルも準備される予定となっていますが、今回このArrow Lake CPUに関する情報がMoores Law is Deadから登場しました。 Intel Arrow Lake & Diamond Rapids EVOLVE Hyper-Threading! (+ Lunar, Panther, Nova, Beast Leak) – YouTube IntelのArrow Lakeについては発売時期は2024年Q4という事で10月から12月に予定がされています。ここでは8P+16Eまでの構成のCPUが登
構想は半年ほど前?ここ一ヶ月ほど集中して開発に取り組んでいた、Fluentd向けApache Arrowプラグインがようやく動くようになったので、今回はこちらのモジュールについてご紹介します。 そもそもPG-Stromは、IoT/M2M領域で大量に発生するデータを高速に処理できますというのがセールスポイントで、GPU-Direct SQLはじめ、各種の機能によってそれを実現しているワケですが、実際に運用する際には、発生したデータを『どうやってSQLで処理できるようDBにインポートするか?』という問題があります。 例えば、PostgreSQLに一行ずつINSERTするというのも一つの解です。ただし、単純なI/Oに比べると、DBへの書き込みはどうしても処理ボトルネックになりがちです。 そこで、大量に収集するログデータを、少ない時間ロスで(つまり一時ファイルに保存したデータを再度DBにインポート
RubyKaigi Takeout 2021でRed Arrow - Ruby and Apache ArrowというApache ArrowのオフィシャルRubyライブラリーの話をする須藤です。RubyKaigi Takeout 2021での私の話をより理解できるようになるために内容を紹介します。 なお、クリアコードはゴールドスポンサーとしてRubyKaigi Takeout 2021を応援しています。ゴールドスポンサーになるとチケットをもらえるのですが社内では使い切れないので欲しい人にあげます。2名分あります。応募方法はこの記事の最後を参照してください。 関連リンク: 動画(YouTube) スライド(Rabbit Slide Show) スライド(SlideShare) リポジトリー 背景 私はRubyが好きなのでデータ処理をするときもできるだけRubyを使いたいです。が!残念ながら
“Arrow Lake”こと「Core Ultra 200Sシリーズ」の アーキテクチャーに迫る 2024年10月25日0時(日本時間)、インテルは新デスクトップPC向けCPU「Core Ultra 200Sシリーズ」の販売を解禁する。具体的な予想価格については速報記事(https://ascii.jp/elem/000/004/227/4227230/)をご覧いただきたいが、最上位かつ流通量が少量と推測される「Core Ultra 9 285K」を除けば、前世代の同格モデルの初値とほぼ変わらぬ価格設定になっている。 Core Ultra 200Sシリーズのアーキテクチャーは、系譜で言えばモバイル向けの最新設計である「Lunar Lake」をベースにした「Arrow Lake-S」が採用されている。 Lunar Lakeと完全に同一にしなかった(できなかった)理由は、Arrow Lakeは
株式会社クリアコード > ククログ > RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow #rubykaigi 関連リンク: スライド(Rabbit Slide Show) スライド(SlideShare) リポジトリー 内容 RubyKaigi Takeout 2021のRed ArrowのトークではRed Arrowを中心にできることをたくさん紹介しました。その発展形として今年は実際に使えそうな感じになっていることを紹介したかったので、高速データ処理機能にフォーカスすることにしました。が、採択されて資料を作り始めてみると「実際に使えそう」というには各機能の実装にもう少しブラッシュアップが必要なことがわかりました。なんと。。。 ということで、Apache Arrowを使って高速にデータ処理できる各種方法につい
こんばんは! 先日のホワイトデー、パパと息子から「ARROW TREE(アローツリー)」のいちごフィナンシェをもらいました^^ www.arrow-tree.com 「ARROW TREE(アローツリー)」は、兵庫県西宮市にある青果屋さんで、ケーキや焼き菓子、フルーツパフェなども製造販売されています☆ 兵庫県、大阪府、京都府に9店舗お店があり、カフェを併設している店舗もあります。 パフェはインスタ映えでも有名で、夏なんかは長蛇の列ができていることも!!! 今回もらった、いちごフィナンシェは焼き菓子の中でも大人気商品です(*^_^*) しっかりいちごの味や香りが感じられ、しっとり感ともっちり感もあります♡ 形は一般的なフィナンシェよりも、長細い形状。 1個160円(税抜)と、決して安いわけではありませんが、フルーツ感たっぷりでちょっとした贅沢が味わえます♬ 以前ブログでご紹介させてもらった、
最近、今日は何の日なのかというサイトを見るようになりました。 毎日何かしらの記念日であることはなんとな~く知っていたんですが、当然詳しくは知らないのでそのサイトを見ているといろんな記念日があることに驚きました。 ちなみに今日4月25日は、拾得物の日、ギロチンの日、歩道橋の日、国連記念日。 他にも、世界ペンギンの日というのがありました! 南極にあるアメリカの観測基地「マクマード基地」に、4月25日頃になると毎年のように繁殖を終えて海に向かうアデリーペンギンが現れ近くを通ることから制定されたようです。 今日はそのペンギンが名前になっている船を。 GEARBULKのオープンハッチバルカー PENGUIN ARROW です。 GEARBULKとGrieg Starという2社が出資していまはG2 Oceanという会社を設立してこのような船を運航させています。 このオープンハッチバルカーという船は、船
Intelが Arrow Lake-S は Ryzen 7000X3D よりゲーミング性能が劣ると認める 2024 10/11 Intelが Arrow Lake-S は Ryzen 7000X3D よりゲーミング性能が劣ると認める 2024年10月10日(日本では10月11日 0:00)にIntelの次世代デスクトップ向けCPUであるArrow Lake-S世代のIntel Core Ultra 200Sシリーズが発表され、刷新されたアーキテクチャーなどにより電力効率の向上、そしてそれに伴う性能向上と消費電力の大幅な低減が謳われていますが、コンシューマー向けCPUで比較的重要視されるゲーミング性能について、IntelはAMDの3D V-Cache搭載製品に比べて約5%ほど劣ることを明らかにしました。 IntelはRyzen 9 7950X3Dに関するデータをいくつか示しました。Arrow
Intelでは2023年から2024年にかけて第14世代CPUのMeteor Lake CPUの開発を進めています。このMeteor LakeではCPUなどは自社のIntel 4プロセスで製造する一方で、内蔵されるGPUダイに関してはTSMC 3nmなどで製造が予定されており、それらを1つのパッケージにする『タイル』技術が採用される初のCPUになっています。 このMeteor Lakeで利用されるタイル技術を投入しつつ、さらにCPUアーキテクチャーやGPUアーキテクチャーを進化させた第15世代CPUのArrow LakeをIntelでは2024年頃に投入する事を目指していますが、どうやら開発遅延が起きているのかTSMCへ依頼予定だった3nmの発注を遅らせた事が台湾のDigitimesより明らかになりました。 IntelのArrow LakeについてはCPUは自社Fabで製造し、GPUはTS
Published 13 Oct 2019 By Wes McKinney (wesm) Translations 原文(English) この1.5年、Apache ArrowコミュニティーはFlightの設計と実装を進めてきました。Flightは高速なデータトランスポートを実現するための新しいクライアント・サーバー型のフレームワークです。Flightを使うとネットワーク越しに大きなデータセットを送る処理を簡単に実現できます。Flightは特定用途向けに設計されたものではないため、幅広い用途で利用できます。 Flightの実装は、まず、gRPCを使ったArrow列指向フォーマット(つまり「Arrowレコードバッチ」)のトランスポートの最適化に注力しました。gRPCはGoogleが開発しているHTTP/2ベースのRPCライブラリー・フレームワークで、広く利用されています。gRPCも特定用途
Apache Arrowの開発に参加している代表取締役の須藤です。 2016年からかれこれ6年くらい開発に参加しているApache Arrowプロジェクトなんですが、このたび私がPMC chairになりました!すごくない? アナウンスメール:[ANNOUNCE] New Arrow PMC chair: Kouhei Sutou PMC chair Apache Software Foundation傘下のプロジェクトのことを知らない人からすれば「PMC chairってなに?」だと思うので、まずそのへんを説明します。 Apache Software Foundation傘下の各プロジェクトはそれぞれProject Management Committee(プロジェクト管理委員会)が管理することになっています。PMCがすることはコードを書くこと、ではありません!健全なコミュニティーを維持する
PostgreSQLにはBRINインデックス(Block Range Index)という機能があり、ログデータに付属するタイムスタンプ値など、近しい値を持ったデータが物理的に近接するという特徴を持っているとき、検索範囲を効率的に絞り込むために使用する事ができる。 この機能はPG-Stromでも対応しており、その詳細は以前のエントリでも解説している。 kaigai.hatenablog.com かいつまんで説明すると、時系列のログデータのように大半が追記(Insert-Only)であり、かつタイムスタンプ値のように近しい値同士が近接している場合、1MBのブロック((pages_per_rangeがデフォルトの128の場合、8kB * 128 = 1MB))ごとにその最小値/最大値を記録しておくことで『明らかに検索条件にマッチしない範囲』を読み飛ばす事ができる。 例えば以下の例であれば、WHE
【この本について】 サーバーサイド Kotlin で Web API を作成する本です。Kotlin で HelloWorld、Spring Boot の基礎から、Arrow を用いた実践的な Web API 開発の内容まで取り扱います。 【本書の構成】 本編 - 第 1 章 Kotlin 入門 - 第 2 章 Spring Boot 入門 - 第 3 章 実践 付録 - A Kotlin の基礎 【ロードマップ】 本書の全体構成を図に起こしたロードマップは下記のリンクにあります。読み進める際の参考にしてください。 https://zenn.dev/msksgm/books/implementing-server-side-kotlin-development/viewer/chapter-00-about 【更新情報】 2024/07/09 v2.2.1 「📃2.2 Spring Bo
Finally, better Arrow syntax, completely free of hacks Published on March 12, 2020 under the tag haskell Not to be taken seriously. Haskell is great building at DSLs – which are perhaps the ultimate form of slacking off at work. Rather than actually doing the work your manager tells you to, you can build DSLs to delegate this back to your manager so you can focus on finally writing up that GHC pro
Description 2020年代、ビッグデータをどう扱えばよいか。今は各プロダクト毎に効率的な扱い方を実装していますが、2020年代はそんな時代ではありません!ビッグデータの扱いでも、共通で必要なものはプロダクトを超えて協力して開発して共有する、そんな時代です!ビッグデータのための共通基盤、それがオープンソースのApache Arrowです。AmazonもGoogleもNVIDIAも開発に参加しています。 このセッションではApache Arrow開発チームの主要メンバーがApache Arrowフォーマットがなぜ速いのかを説明します。 Page: 1 Apache Arrowフォーマットは なぜ速いのか 須藤功平 株式会社クリアコード db tech showcase ONLINE 2020 2020-12-08 Apache Arrowフォーマットはなぜ速いのか Powered b
Intel Core Ultra 200SシリーズデスクトップCPU (コードネーム: Arrow Lake)は、現時点では不安定・安定性が高くないという話が出ています。YouTubeチャンネルのMoore’s Law Is Deadが報じました。 大手ハイテクユーチューバーなどを含む、Arrow Lakeをすでに入手している人たちからこのCPUについてさまざまな話を聞いた。内容は非常にデリケートなものになる。Arrow Lakeをテストしていて以下のような症状が見られたという。 テストを実行するごとに平均10%もスコアが変動することがあるある人物はブルースクリーンエラー(ブルースクリーンオブデス / BSoD)が頻繁に発生するとも述べたゲームタイトルによっては起動に問題が発生する複数のレビュアーが言うには、Arrow Lakeにハードウェア的な問題があり、こういった不安定性の問題を引き起
Apache Arrowは、分析アルゴリズムのパフォーマンスと、あるシステムまたはプログラミング言語から別のシステムまたはプログラミング言語へのデータ移動の効率を向上させるよう設計されている。インメモリ列形式を採用しており、計算ルーチンと実行エンジンはデータの大きなチャンクをスキャンして反復する際に、効率を最大化できる。 最新版となる「Apache Arrow 3.0.0」では、Arrow列形式ですでにサポートされていた、Decimal256形式のデータ型が、C++およびJavaで実装されるようになった。 また、FlightについてはC++/Java/Pythonでの認証を見直し、より柔軟な認証方式と標準ヘッダの使用が可能になっており、Cookieのサポートも追加されている。なお、C++/Javaにおける実装は、他のFlight実装との相互運用性を高めるべく、メッセージ解析をより寛容にした
2021年10月13日(水)発売 さとうもか メジャー1st Album「WOOLLY」より 先行配信曲「Cupid's arrow」のMVを公開! 配信リンク:https://lnk.to/CArrow 「 Cupid's arrow 」 Lyric & Music:さとうもか Arrange:ESME MORI 「 Cupid's arrow 」 Music Video Director & Animation:吉岡美樹 ================= 【アルバム「WOOLLY」商品概要】 2021年10月13日(水)発売 さとうもか メジャー1st Album「WOOLLY」 (ヨミ:ウーリー) <通常盤>税込3,300円(税抜3,000円)/UPCH-20596/CD <UNIVERSAL MUSIC STORE盤>税込5,500円(税抜5,000円)/PDCN-
The Blaze accelerator for Apache Spark leverages native vectorized execution to accelerate query processing. It combines the power of the Apache Arrow-DataFusion library and the scale of the Spark distributed computing framework. Blaze takes a fully optimized physical plan from Spark, mapping it into DataFusion's execution plan, and performs native plan computation in Spark executors. Blaze is com
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く