示例工程数据科学数据分析【免费下载链接】Data-AnalysisData Science Using Python项目地址https://gitcode.com/gh_mirrors/da/Data-Analysis点击查看免费下载Datashader 是一套面向超大数据的图形渲染管线库它先把海量记录聚合rasterize/aggregate成固定大小的网格数组再着色成图像从而在普通笔记本电脑上也能以秒级速度忠实呈现十亿级数据点的分布。本文以当前仓库datashader-work/datashader-examples目录下的官方示例套件为主体完整讲解示例环境的搭建conda 环境、示例数据拉取、Notebook 的运行方式并结合仓库内的 Getting Started、User Guide、Topics 与 Dashboard 代码深入剖析 Datashader 从 Projection 到 Embedding 的完整数据流水线帮助读者在本地复现并扩展这一大数据可视化方案。一、为什么需要 Datashader大数据绘图的六大陷阱在进入示例之前先回答仓库内 FAQ.ipynb 中的核心问题什么时候该用 Datashader应该使用数据量极大你最关心的是忠实还原数据的分布形态或者你已经在被迫抽样子采样才能完成绘图又或者只能按块chunk迭代数据而无法一次性查看全部——这时候 Datashader 几乎必然能帮到你。Datashader 会生成一个与原始记录数无关的固定大小数据结构再传给浏览器显示因此数据再大也不会撑爆前端。不应该使用数据量很小数百到数千个点、数十条曲线时Bokeh 这类传统绘图库更合适——它把全部数据点直接传给浏览器每个点/每条曲线都可以单独交互、查看元数据。Datashader 生成的是图像而非矢量对象交互能力如 hover 单点信息会受限。为什么要如此强调分布而非散点user_guide/1_Plotting_Pitfalls.ipynb 用同一份数据演示了传统绘图在小数据上无伤大雅、在数据量增大后却会系统性误导的六类问题Overplotting过度叠绘后绘制的点遮挡先绘制的点导致两块分布相同的数据因绘制顺序不同而呈现出完全不同的谁更密集的印象Oversaturation过度饱和用透明度alpha缓解叠绘时一旦叠加点数超过阈值就饱和只剩下最后若干点影响颜色Undersampling欠采样数据太多时常见的随机抽 1 万个点再画的做法会丢失窄分布区域的形状Undersaturation欠饱和高低密度相差悬殊时低密度区域几乎不可见Underutilized range动态范围利用不足最大 bin 数值把线性色标撑满其余像素只落到色标前 24 个颜色上Nonuniform colormapping非均匀着色不适合的色带把高密度区域映射成难以分辨的亮黄/白。该 Notebook 的结论一针见血For big data, you dont know when the viz is lying面对大数据你无法判断图表什么时候在说谎。而 Datashader 之所以能规避这些问题是因为它不做任何魔法参数调整——它把数据原原本本地聚合到网格中再用howlog、howeq_hist直方图均衡等有明确数学含义的变换映射到颜色保证每个像素都反映真实的密度。HoloViews 的datashade(hv.Points(dist))一行即可复现上述全部纠偏效果且对 5000 万点数据集同样有效。二、环境准备用 Conda 一键创建 ds 环境示例运行环境由仓库内的 environment.yml 定义。该文件声明了环境名ds并从bokeh、conda-forge、ioam三个 channel 拉取依赖name: ds channels: - bokeh - conda-forge - ioam dependencies: - attrs - beautifulsoup4 - bokeh - cartopy - colorcet - conda-forge::graphviz - conda-forge::pytest - conda-forge::pytest-benchmark - conda-forge::python-graphviz - dask0.15.4 - datashader - dill - distributed - fastparquet - flake8 - geoviews - ioam::holoviews1.8.3 - ipython - iris - jupyter - jupyter_dashboards - krb5 - matplotlib - nbconvert - nbformat - networkx2.0 - numba - numpy - pandas - param1.5.1 - paramnb - pyproj - pytables - python-snappy - python3.6 - rasterio - requests - scikit-image - scipy - shapely - snappy - statsmodels - tblib - xarray - yaml - pip: - cachey - streamz0.2.0 - webargs从依赖清单可以看到 Datashader 示例的完整技术栈datashader 本体以及支撑其高性能实现的numba把 Python 热路径透明编译为机器码与dask/distributed跨核、跨进程并行与分布式调度可视化与集成层holoviews、geoviews、bokeh、param/paramnb、matplotlib数据读写层pandas、xarray、fastparquet、pytables、bcolz由filetimes.py基准脚本使用、python-snappyParquet Snappy 压缩地理与栅格cartopy、pyproj、shapely、rasterio、scikit-imageeq_hist直方图均衡依赖、iris附带的 pip 依赖cacheyDask 内存缓存、streamz0.2.0流式聚合示例使用与webargs。1. 创建环境的完整命令按官方 README即本文主题文档 datashader-examples/README.md的指引先下载环境文件也可直接从本仓库复制 environment.yml 到本地然后在存放该文件的目录下依次执行# 1. 根据 environment.yml 创建名为 ds 的 Conda 环境 conda env create --file environment.yml # 2. 激活 ds 环境后续所有命令都在该环境中执行 conda activate ds # 3. 拷贝官方示例并下载示例数据 datashader examples # 4. 进入示例目录 cd datashader-examples几点重要说明均出自原 READMEPython 版本environment.yml默认指定python3.6。可以手动编辑该文件改用其他 Python 版本但某些依赖在部分版本组合下可能需要相应调整环境激活conda activate ds只对当前终端会话生效关闭终端或重启机器后需重新执行。旧版 conda 在 mac/Linux 上可能需要source activate dsWindows 上则为activate ds命令语义第 3 步的datashader examples是以下两条命令的简写datashader copy-examples --path datashader-examples \ datashader fetch-data --path datashader-examples前者把 Datashader 包内附带的示例拷贝到当前目录的datashader-examples子目录后者按清单下载示例所需的数据集不使用 Conda 时README 明确说明上述流程基于 conda但可相应改用 pip 与 virtualenv 完成同样安装依赖清单以environment.yml为准。2. 示例数据清单datasets.yml 与下载规模示例数据由 datasets.yml 逐项列出。README 强调当前总下载量约 4GB解压后占用约 10GB 磁盘空间实际耗时取决于网络速度。清单中的典型数据集包括数据用途nyc_taxi.csv纽约出租车轨迹Getting Started 与 NYC Taxi 主题示例nyc_crime.csv纽约犯罪数据austin_dem.tif奥斯汀数字高程栅格census.snappy.parq美国人口普查合成人口数据opensky.parqOpenSky 航班轨迹2016-09-05 ~ 09-13calvert_uk_research2017_nodes/edges英国科研合作网络边捆绑图示例maccdc2012_*.parq网络安全攻防竞赛流量图网络包示例cb_2015_us_cd114_5m.shp2015 年美国国会选区边界Chesapeake_and_Delaware_Bays.3dm切萨皮克湾水深不规则三角网MERCATOR_LC80210392016114LGN00_B*.TIFMobile 地区 Landsat8 多波段影像所有数据都需要放在示例目录的data/子目录下示例代码才能找到它们。datasets.yml本身是纯文本清单你可以编辑它或按其中 URL 手动下载单个文件放入data/效果等同。仓库内还提供了一个辅助脚本 get_raster_data.sh演示了手动wget unzip栅格数据的完整流程mkdir -p data cd data wget http://s3.amazonaws.com/bokeh_data/geotiff_example.zip unzip geotiff_example.zip cd ..三、运行示例 Notebook在线与离线两种模式下载完成后即可启动 Jupytercd datashader-examples jupyter notebook大部分示例都是可运行的 Jupyter Notebook。示例目录的组织非常清晰getting_started/index.ipynb入门指南共三篇总计约 1 小时阅读量user_guide/index.ipynb用户手册Plotting Pitfalls、Points、Timeseries、Trajectories、Rasters、Trimesh、Networks、Geography、Extending、Performance 共 10 章topics/index.ipynb主题实战示例NYC Taxi、OSM 十亿点、Landsat、Gerrymandering、Strange Attractors、UK Researchers、网络数据包等。离线/弱网环境运行Bokeh 后端绘图依赖从 CDN 加载 BokehJS 资源。如果你的网络不稳定会在浏览器中一直看到Loading BokehJS ...而始终不出现BokehJS sucessfully loaded。此时需要让 Notebook 内联inline加载 BokehJS并提高 Jupyter 的 IOPub 数据速率上限Datashader 交互绘图会推送较大的图像数据BOKEH_RESOURCESinline jupyter notebook --NotebookApp.iopub_data_rate_limit100000000交互式绘图的前提必须保留活的 Python 进程需要特别注意的是Datashader 的交互缩放、平移依赖正在运行的 Python 进程。Bokeh 的工作方式是Python 端给出绘图规格 → 浏览器端生成对应的 JavaScript 可视化。Datashader 每次只把一张图像交给浏览器因此在带实时 Python 内核的 Notebook 中缩放/平移时回调会把新的视口范围传回 PythonDatashader 重新聚合、重新着色再更新图像——看起来就像全部数据都在浏览器中交互可用在静态导出的 HTML如网站上的示例页中缩放只会把原有像素放大看不到更细粒度的重渲染。这也是加载 BokehJS 但始终卡住之外运行示例时需要理解的最关键概念之一。四、Datashader 核心管线五个阶段把数据变成图像Getting Started 的第 2 篇 getting_started/2_Pipeline.ipynb 用一个 5 万行的合成高斯分布数据集把 Datashader 从数据到图像的完整流程拆解为五个阶段。其架构与 3D 图形渲染中的着色管线graphics pipeline同构这种分阶段设计正是 Datashader 能处理任意规模数据的根本原因五步中只有 Aggregation 需要接触全部数据其余各阶段都只操作固定大小的中间结构因此无论数据集多大后续阶段的计算成本都不变。1. Projection投影把数据映射到二维矩形网格上。这一阶段主要是概念性的由使用者决定两件事变量选择哪一列做 x 轴、哪一列做 y 轴若需坐标变换如经纬度转 Web Mercator应先在 DataFrame 中准备好对应列范围选择x_range/y_range。强烈建议显式指定范围理由有三① 省略时 Datashader 需要完整扫一遍数据才能算出范围耗时接近聚合本身显式指定可让绘图快约一倍② 真实数据常含异常离群值指定有效范围能避免离群点把画面压缩得无法观看③ 固定范围便于跨数据集对比。canvas ds.Canvas(plot_width300, plot_height300, x_range(-8, 8), y_range(-8, 8), x_axis_typelinear, y_axis_typelinear)此时尚未发生任何计算——Canvas对象是纯声明式的只记录后续阶段要用的偏好。2. Aggregation聚合Canvas指定好后即可把数据聚合进固定大小的网格。首先要决定数据点以何种图元映射到网格目前支持三种Canvas.points每个数据点落入离它最近的那个网格单元Canvas.lines每个数据点映射到从该点到下一点之间穿过的所有网格单元时间序列、轨迹Canvas.raster每个数据点映射为一个轴对齐矩形形成与相邻点连续的规则网格。其他图元网络图、时间序列等都由这三种基础图元组合而来。接着选择**归约算子reduction**决定多个数据点落入同一像素时如何合并canvas.points(df, x, y, aggds.count()) # 每个 bin 的计数 canvas.points(df, x, y, aggds.any()) # 有数据就点亮 canvas.points(df, x, y, aggds.mean(y)) # 对 y 列求平均 canvas.points(df, x, y, aggds.mean(val)) # 对 val 列求平均所有归约算子都是增量式的因此可以在单次遍历中高效处理任意大的数据集实际为批量处理但数学结果等价于逐点应用。聚合结果是一个 xarrayDataArray包含每个 bin 的值、轴范围与轴类型信息。3. Transformation变换聚合完成后、着色之前数据仍是 bin 值而非像素因此可以任意变换。典型用法包括agg canvas.points(df, x, y) # 只显示计数前 99 百分位的 bin tf.shade(agg.where(agg np.percentile(agg, 99)), name99th Percentile) # 对 bin 值应用任意 NumPy ufunc tf.shade(np.power(agg, 2), nameNumpy square ufunc) tf.shade(np.sin(agg), nameNumpy sin ufunc)分类数据则产生每个 bin 对每个类别各有一个值aggc canvas.points(df, x, y, ds.count_cat(cat)) aggc.sel(catd3) # 单独选一个类别 aggc.sel(cat[d3, d5]).sum(dimcat) # 折叠多个类别多个聚合只要基于同一个Canvas保证网格尺寸一致、轴范围一致还可以互相组合与掩膜mask aggc.sel(catd3) aggc.sel(catd5) # d3 与 d5 计数相等的 bin agg_d3_d5.where(mask)由于聚合数组是固定大小的网格此阶段几乎无需担心优化问题。4. Colormapping着色tf.shade()把标量 bin 值映射为 RGB alpha。默认行为默认色带为[lightblue, darkblue]#ADD8E6→#00008BRGB 三通道各自线性插值空 bin 的 alpha 为 0露出页面背景非空 bin 的 alpha 为 1色带可替换为 Bokeh 调色板、Matplotlib 色图或任意颜色列表颜色名、RGB 整数三元组、十六进制字符串皆可from bokeh.palettes import RdBu9 tf.shade(agg, cmap[darkred, yellow], namedarkred, yellow) tf.shade(agg, cmap[(230,230,0), orangered, #300030], nameyellow, orange red, dark purple) tf.shade(agg, cmapRdBu9, nameBokeh RdBu9)分类数据着色可以直接把aggc交给tf.shade它会为每个类别分配颜色并按各 bin 中类别的值混合颜色也可显式提供color_keycolor_key dict(d1blue, d2green, d3red, d4orange, d5purple) tf.shade(aggc, color_keycolor_key)how变换参数是tf.shade的内置魔法所在对 2D 非分类聚合其流程为Mask掩掉 NaN浮点数组或 0 值整数数组的 bin使其不参与后续计算Transform对每个 bin 值 − 最小非掩值应用标量函数howMap把变换后的数值范围映射进色带掩掉的部分 alpha 全透明。默认howlinear会把最大 bin 映射到色带顶端其余 bin 全部挤在前 24 个颜色里几乎看不出结构。因此实际中几乎总要改用tf.shade(agg, howlog) # 对数变换适合数值跨度大的计数数据 tf.shade(agg, howeq_hist) # 直方图均衡保证每个颜色都被均匀使用 # 也支持任意可调用对象如 23 次方根 tf.shade(agg, howlambda d, m: np.where(m, np.nan, d)**(1/23.))how只服务于最终可视化步骤让聚合数组保持原始量纲同时它决定了 Embedding 阶段可用的图例类型linear→线性、log→对数、eq_hist→百分位。**Spreading扩散**是着色后的常用后处理把每个非透明像素替换成指定形状默认圆形可改方形解决放大后单点难以辨认的问题img tf.shade(aggc) tf.spread(img) # 默认扩散 1px tf.spread(img, px2) # 扩散 2px tf.spread(img, px3, shapesquare) tf.spread(img, maskmask) # 自定义掩膜须为奇数边长方形交互缩放下密度会变化则用dynspread动态计算扩散尺寸通过统计有非掩邻居的非掩 bin 比例决定。其他常用图像函数还有tf.set_background(img, black)设背景色、tf.stack(img1, img2, howover|source|add|saturate)图像合成。5. Embedding嵌入最后一步是把图像嵌入外部绘图库以获得坐标轴、图例、交互缩放等能力。这一步有多种实现路径详见下一节。五、交互式可视化Bokeh 直连与 HoloViews 高层 APIGetting Started 的第 3 篇 getting_started/3_Interactivity.ipynb 指出裸图像没有坐标轴与标签难以解读而且只是静态图要把图像嵌入 Matplotlib 或 Bokeh 获得坐标轴与交互能力最便捷的途径是HoloViews。下图展示了 Datashader 与 HoloViews、Bokeh 三者的分层关系1. 原生 BokehInteractiveImage首先演示 Datashader 自带的原生 Bokeh 支持。核心是编写一个回调函数给定视口范围与像素尺寸返回一张 Datashader 图像def image_callback(x_range, y_range, w, h, nameNone): cvs ds.Canvas(plot_widthw, plot_heighth, x_rangex_range, y_rangey_range) agg cvs.points(df, x, y, ds.count_cat(cat)) img tf.shade(agg) return tf.dynspread(img, threshold0.50, namename)传入不同范围即可得到不同缩放级别的图像原图 / 缩放到 (0,4) / 缩放到 (1.9,2.1)可以看到原图中一个红点其实是 10 万个重叠点。但用手动猜数值范围的方式探索数据很笨拙于是引入InteractiveImagefrom datashader.bokeh_ext import InteractiveImage import bokeh.plotting as bp bp.output_notebook() p bp.figure(toolspan,wheel_zoom,reset, x_range(-5,5), y_range(-5,5), plot_width500, plot_height500) InteractiveImage(p, image_callback)每次缩放/平移回调都会拿到新的可见视口Datashader 重新渲染以更新显示——浏览器中始终只存一张图像却表现成像全部数据都在本地交互。但InteractiveImage有两个明显限制只能在 Jupyter Notebook 中使用无法部署到 Bokeh Server且难以与其他 Bokeh 图组合因此示例文档明确建议新项目改用 HoloViews 方案。2. HoloViews Bokeh声明式操作符链HoloViews 采取数据为中心的声明式方法先用hv.Points包装数据再用datashade等操作operation动态调用 Datashaderimport holoviews as hv import holoviews.operation.datashader as hd points hv.Points(df.sample(10000)) hd.datashade(points) # 最简单的 datashader 绘图hd.datashade不是一次性函数调用而是每次 Bokeh 需要新图时动态重新执行 Datashader 的操作无需手写回调。更强大的是操作符可以链式组合datashaded hd.datashade(points, aggregatords.count_cat(cat)).redim.range(x(-5,5), y(-5,5)) hd.dynspread(datashaded, threshold0.50, howover).opts(plotdict(height500, width500))图例由于底层绘图库只看到图像图例需要额外构造——用一组带标签的哑点拼出分类色键from datashader.colors import Sets1to3 datashaded hd.datashade(points, aggregatords.count_cat(cat), color_keySets1to3) gaussspread hd.dynspread(datashaded, threshold0.50, howover).opts(plotdict(height400, width400)) color_key [(name, color) for name, color in zip([d1,d2,d3,d4,d5], Sets1to3)] color_points hv.NdOverlay({n: hv.Points([0,0], labelstr(n)).opts(styledict(colorc)) for n, c in color_key}) color_points * gaussspreadHover 信息数据一旦变成图像浏览器层面就没有原始点可以 hover 了。替代方案是对空间区域提供统计信息——用hd.aggregate在网格上计算 count 等统计量再叠上hv.QuadMesh%%opts QuadMesh [tools[hover]] (alpha0 hover_alpha0.2) from holoviews.streams import RangeXY pts hd.datashade(points, width400, height400) (pts * hv.QuadMesh(hd.aggregate(points, width10, height10, dynamicFalse))).relabel(Fixed hover) \ (pts * hv.util.Dynamic(hd.aggregate(points, width10, height10, streams[RangeXY]), operationhv.QuadMesh)).relabel(Dynamic hover)左图为固定空间尺度的 hover右图 hover 区域随缩放级别动态缩放可检查任意小区域实用性更强。示例还演示了HoloViews Matplotlib的静态渲染三种等价路径Ahd.datashade(points)直接聚合着色Bhd.shade(hv.Image(agg))接收预计算聚合Chv.RGB(np.array(tf.shade(agg).to_pil()))接收预计算 PIL 图像。3. 完整示例NYC Taxi 十分钟级数据入门第 1 篇 getting_started/1_Introduction.ipynb 用标准大数据例子——纽约 1000 万次出租车行程——展示全程。先用 Pandas 读取数据仅取dropoff_x/dropoff_y两列Web Mercator 坐标import datashader as ds import pandas as pd from colorcet import fire from datashader import transfer_functions as tf df pd.read_csv(../data/nyc_taxi.csv, usecols[dropoff_x, dropoff_y]) agg ds.Canvas().points(df, dropoff_x, dropoff_y) tf.set_background(tf.shade(agg, cmapfire), black)两行代码即可看到数据严格对齐街道网格、部分区域流量远高于其他区域、某些街区出现模糊斑块GPS 误差可能由高楼遮挡导致——无需任何参数调优、魔法数字、子采样或近似分辨率可达显示器极限。在此基础上叠加 Web 墨卡托地图瓦片并接入 HoloViews/GeoViews即可得到可缩放交互地图import holoviews as hv import geoviews as gv from holoviews.operation.datashader import datashade hv.extension(bokeh) url https://server.arcgisonline.com/ArcGIS/rest/services/World_Imagery/MapServer/tile/{Z}/{Y}/{X}.jpg map_tiles gv.WMTS(url).opts(styledict(alpha0.5)) points hv.Points(df, [dropoff_x, dropoff_y]) taxi_trips datashade(points, x_sampling1, y_sampling1, cmapfire, width1000, height600) map_tiles * taxi_trips六、进阶性能优化与数据准备1. 存储格式与压缩建议user_guide/10_Performance.ipynb 给出了基于基准测试的明确建议大型列式数据集尽量使用 Apache Parquet 格式配合 fastparquet 与 Snappy 压缩import dask.dataframe as dd dd.to_parquet(filename, df, compressionSNAPPY)分类列取值有限固定如 Male/Female在 Parquet 中使用更省内存的表示并对排序、去重等常见操作做了优化保存前把这类列转为categorydtype 即可受益。2. 读写与聚合基准filetimes.py仓库内的 filetimes.py 是一个完整的 I/O 与聚合性能基准工具用法为python filetimes.py filepath [pandas|dask [hdf5base [xcolumn [ycolumn [categories...]]]]]它支持parq、snappy.parq、gz.parq、bcolz、feather、h5、csv七种格式的 pandas/dask 读写计时并测量 Datashader 聚合耗时、输入/输出文件大小与峰值内存。其命令行参数进一步揭示了 Datashader 性能调优的关键开关--recalc-ranges每次聚合时重算范围默认会缓存范围从而省掉一次全量扫描——与 README/Getting Started 中显式指定范围可快约一倍的建议呼应--cachepersist强制把 Dask 数据帧加载进内存--cachecachey使用 Dask 的 cachey 缓存默认缓存上限 9GB见脚本中cachesize9e9--distributed启用 Dask 分布式调度器LocalCluster(n_workerscpu_count, threads_per_worker1)替代默认的线程调度器。脚本中的聚合函数还演示了范围缓存的实现细节首次聚合后把Canvas算出的x_range/y_range缓存起来后续聚合直接复用。3. 网络包数据预处理pcap_to_parquet.pytopics/network_packets.ipynb 对应的数据预处理脚本是 pcap_to_parquet.py。它把 PCAP 抓包文本输出转成无向图并保存为 Parquet逐行解析过滤掉unreachable行与非IP记录识别tcp/udp/eigrp/icmp协议用struct.unpack(!I, socket.inet_aton(s))把 IPv4 地址转成整数并归并源/目标地址src, dst sorted(addresses)保证无向性按(protocol, src, dst)键聚合字节数weight输出*_nodes.parq节点 id 表与*_edges.parqsource、target、protocol、weight列protocol转为 category直接作为 Datashader 网络图示例的输入。这个脚本是理解如何把自己的原始数据整理成 Datashader 可用的列式格式的绝佳范本。七、Dashboard零前端代码的交互式数据浏览仓库内 dashboard.ipynb 提供了一个面向地理数据的交互式 Dashboard 参考实现其技术栈组合本身就是一个完整的现代可视化应用范式Intake通过 dashboard.yml 以文本文件声明各数据集的字段与绘图信息屏蔽文件格式、路径、列名等细节Param声明可调参数及其与代码的依赖关系构建响应式界面HoloViews GeoViews Datashader Bokeh声明式生成基于 Bokeh 的交互图Panel把参数控件与图布局成 Dashboard。在 Notebook 中运行dataset os.getenv(DS_DATASET, nyc_taxi) catalog intake.open_catalog(dashboard.yml) source getattr(catalog, dataset) source.to_dask().persist();在 Notebook 中直接运行explorer.viewable()即可获得可交互的图调整任一控件如explorer.spreading4会只重跑受影响的代码而不必重跑整个 Datashader 管线。内存不足 16GB 的机器建议去掉.persist()让 Dask 走 out-of-core 路径。独立部署DS_DATASETnyc_taxi panel serve --show dashboard.ipynbnyc_taxi可替换为dashboard.yml中声明的任一数据集nyc_taxi完整版、nyc_taxi_50k小样本、census、opensky、osm-1b十亿点 OpenStreetMap GPS 数据。同时启动多个实例时需用-p 5001等参数指定不同端口。dashboard.yml 的声明式数据目录dashboard.yml 展示了数据即配置的思想。以osm-1b为例osm-1b: description: 1-billion-point OpenStreetMap GPS dataset driver: parquet args: urlpath: {{ CATALOG_DIR }}/data/osm-1billion.snappy.parq columns: [x,y] metadata: plot: xlim: !!python/tuple [-8240227, -8231284] ylim: !!python/tuple [ 4974203, 4979238] kind: points plots: counts: label: 1 billion OpenStreetMap GPS locations x: x y: y每个数据集声明了 driverparquet/netcdf、文件路径、坐标列、视野范围xlim/ylim、绘图类型与多个可选视图。nyc_taxi条目还演示了多视图dropoff/pickup、hover_cols与分类着色census 的race字段用cmap映射各人种颜色opensky 的ascending布尔字段用cat_colors区分爬升/下降。流式场景下streaming-aggregation.ipynb 与配套的 streaming.py 演示了基于streamz的增量聚合。八、性能自查一个可直接上手的最小示例综合以上各节一个跑得又快又准的 Datashader 工作流通常包含Parquet Snappy 存储、category 分类列、显式Canvas范围、howeq_hist着色以及 HoloViews 声明式交互。入门篇的完整骨架如下import datashader as ds import datashader.transfer_functions as tf import pandas as pd df pd.read_csv(user_data.csv) # 或 dd.read_parquet(...) cvs ds.Canvas(plot_width400, plot_height400) # 声明画布可加 x_range/y_range agg cvs.points(df, x_col, y_col, ds.mean(z_col)) img tf.shade(agg, cmap[lightblue, darkblue], howlog)示例套件中topics/osm-1billion.ipynb 以 10 亿点 OpenStreetMap GPS 数据展示了 Datashader 在单机16GB 内存笔记本上的极限能力topics/nyc_taxi.ipynb、topics/strange_attractors.ipynb 与 topics/landsat.ipynb 则分别覆盖点、线、栅格三种图元在实际场景中的运用均可作为上手后的进阶练习。结语从本文可以梳理出一条完整的学习与落地路径先用conda env create --file environment.yml与datashader examples一键获得环境 示例 数据的完整运行栈再按 Getting Started 三篇依次理解为什么需要 Datashader → 五阶段管线 → 如何嵌入交互可视化随后借助 User Guide 深入具体图元点、时间序列、轨迹、栅格、网格、网络、地理与性能优化最后用 Topics 与 Dashboard 作为实战模板。需要再次强调所有交互式重渲染都依赖实时 Python 进程离线浏览只能看到固定图像而数据规模一旦真正达到百万、十亿级Datashader 先聚合、后着色、再嵌入的管线设计将是传统绘图库难以替代的高效答案。赞分享示例工程数据科学数据分析【免费下载链接】Data-AnalysisData Science Using Python项目地址https://gitcode.com/gh_mirrors/da/Data-Analysis点击查看免费下载相关推荐Datashader技术解析大数据可视化的利器Datashader技术解析大数据可视化的利器 什么是Datashader Datashader是一个专门为大数据可视化设计的Python库它能够高效处理SOLOv2为何能实现31.3 FPS动态实例分割的速度与精度平衡之道SOLOv2为何能实现31.3 FPS动态实例分割的速度与精度平衡之道 SOLOv2作为SOLO系列的升级版是一款专为实时实例分割设计的深度学习模型它在保人工智能深度学习计算机视觉Plotly.py 高性能可视化实践指南DataFrame、NumPy、WebGL 与 Datashader 全解析Plotly.py 高性能可视化实践指南DataFrame、NumPy、WebGL 与 Datashader 全解析 Plotly.py 是 Python 生数据可视化数据分析上一篇HunterPie终极指南如何用数据可视化提升《怪物猎人世界》游戏体验下一篇如何通过代码驱动可视化技术提升算法学习效率深入解析Algorithm Visualizer架构设计创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考