S3 to GPU at 60Gbps: Why Parquet is Bottlenecking Your Data

摘要

Onur Satici 解析 Parquet 如何成為 GPU 分析與機器學習訓練的瓶頸，並介紹開源檔案格式 Vortex 如何將資料從 S3 直接串流至 GPU，達到每秒 60Gbps 的傳輸速度。透過取消 CPU 解壓縮與零複製執行，大幅節省 GPU 運算週期並提升效能。

This video explains how Vortex bypasses Parquet bottlenecks to stream data from S3 to GPUs at 60 Gbps using zero-copy execution.

這筆內容還沒有取得字幕或內文，這段摘要只根據標題與說明欄產生，可能不夠準確；實際內容請以原站為準。

提到的工具與公司

• Vortex
• DataFusion
• DuckDB
• Polars
• Parquet
• RDMA
• kTLS

適合誰看

資料工程師、機器學習工程師與系統架構師。

摘要依據

依據

標題與說明欄（還沒有取得字幕或內文）

為什麼排在這裡

人氣

0.58

新鮮

0.96

在主題頁與搜尋結果裡，名次由相關、人氣、新鮮三個分數決定；這一頁沒有搜尋的關鍵字，所以沒有相關分數。排序怎麼算

相關內容

• SITCON 2026｜Apache Mahout：釋放 QML 的 GPU 潛能｜R3影片 ・ SITCON 學生計算機年會 ・ 40 分鐘
• Run Your Polars Code on Multiple GPUs | Live with cuDF Polars影片 ・ NVIDIA Developer ・ 53 分鐘
• I Decoupled Attention from Weights - Gemma 4 26B影片 ・ Chris Hay
• Kimi K3 Performance Optimizations in vLLM: The Road to 2.8× Throughput文章 ・ vLLM Blog
• How GPUs Accelerate Data & Analytics with AI影片 ・ IBM Technology ・ 5 分鐘
• Efficient Decode Context Parallelism with vLLM for Long Context Workloads文章 ・ vLLM Blog