简介一份基于深度学习的溶解氧时间序列预测模型项目源自个人期末大作业适合计算机相关专业正在完成课程设计或期末项目的学生以及需要实践练习的初学者。项目包含完整源码与全部数据集经过严格调试下载后即可直接运行。压缩包共16个文件包含11个Python脚本和5个CSV数据文件Python脚本覆盖数据预处理、EMD/EEMD分解、LSTM、EEMD-LSTM等多种预测模型并包含基于DBSCAN、孤立森林等的异常检测模块CSV数据包括水质记录、Siwan/Wuwan等实测序列整体包体约931KB结构精简、便于上手。目前已有227人学习浏览。读者可从中获得一套完成度较高的端到端建模流程包含数据清洗、分解去噪、模型训练与对比实现适合在研究溶解氧预测、时间序列分析或深度学习应用时快速复用与扩展。1. 溶解氧预测不是玄学先看清这个项目的骨架你手上这套 Python 实现核心就三件事一份带时间戳的溶解氧历史数据、一个深度学习时间序列预测模型、以及能直接跑出曲线的源码。溶解氧DO是水质监测和水产养殖最硬的指标但现场传感器只能告诉你“现在多少”不能告诉你“两小时后会不会缺氧”。于是就有了这类项目把历史序列喂进 LSTM让模型记住昼夜变化和天气影响再预测未来 6 到 24 小时的 DO 走势。适合人群很明确做毕设的、搞养殖的、或者想用 Python 练手深度学习时间序列预测的工程师。下面我会按“数据→模型→训练→踩坑→落地”的顺序把这类项目应该怎么复现、参数怎么定、坑在哪写清楚。2. 数据与预处理把溶解氧序列喂给深度学习之前2.1 溶解氧数据长什么样采样频率、缺失值与异常值我拿到这种“全部数据”的包第一件事不是打开模型源码而是先看 CSV。溶解氧数据通常是按小时或半小时采样的表格至少有三列时间、温度、溶解氧值。质量好的还会带上 pH、浊度、气压和光照强度。这些特征和 DO 有物理相关性温度升高饱和溶解氧下降光照影响藻类产氧所以 DO 有明显的日周期。先读数据把时间列转成索引按固定频率重采样import pandas as pd df pd.read_csv(do_data.csv, parse_dates[time]) df df.set_index(time) # 统一成 30 分钟采样缺失时段自动变成 NaN df df.resample(30min).mean() print(df.head(10)) print(缺失值统计) print(df.isnull().sum())resample(30min)会把原始杂乱时间戳对齐到整点与半点这一步非常关键。因为后续滑动窗口假设序列是等间隔的如果原始数据有时 10 分钟一条、有时 80 分钟一条模型会把时间间隔当恒定学习到的“节奏”就是错的。mean()用于聚合但若某段完全没数据聚合后是 NaN需要单独处理。2.2 时间对齐与缺失值填充先做对这两步再谈模型传感器掉线、传输中断都会造成缺失。常见做法是线性插值因为 DO 变化在短时间窗口内是缓慢连续的。df[do] df[do].interpolate(methodlinear, limit_directionboth) df[temp] df[temp].interpolate(methodlinear, limit_directionboth)interpolate默认按索引序号插值对于等间隔时间序列等价于线性时间插值。limit_directionboth是因为序列开头、结尾也可能缺值用最近邻方向填充补上。这里有个细节如果连续缺失超过 2 小时线性插值已经是“编数据”不如把这部分截断成一个独立片段否则模型会学到一段假曲线。我一般会加一个判断nan_count df[do].isnull().astype(int).groupby(df[do].notnull().astype(int).cumsum()).sum() print(连续缺失长度, nan_count[nan_count 0])2.3 滑动窗口与特征构造批量制作训练样本深度学习时间序列预测不是把整个序列一次性丢进模型而是用“过去 N 步”预测“未来 M 步”。这个 N 叫做seq_lenM 叫做horizon。溶解氧预测常用过去 24 小时预测未来 6 小时即采样 30 分钟时seq_len48, horizon12。import numpy as np def create_dataset(data, seq_len48, horizon12, target_idx2): X, y [], [] for i in range(len(data) - seq_len - horizon 1): X.append(data[i:iseq_len]) y.append(data[iseq_len:iseq_lenhorizon, target_idx]) return np.array(X), np.array(y) # 假设 scaled_data 是归一化后的二维数组 X, y create_dataset(scaled_data, seq_len48, horizon12) print(X.shape, y.shape) # 例如 (17500, 48, 特征数) (17500, 12)X的三维结构是样本数, 时间步, 特征数这是 LSTM 的标准输入。y是对应每个样本未来 12 个时刻的 DO 值。注意target_idx必须指向归一化后 DO 所在的列比如第 2 列。如果想把预测目标从“未来 12 个点”改成“未来 1 个点”把horizon改成 1y就变成 (样本数, 1)。2.4 归一化训练集与测试集必须分开 fit溶解氧数值范围在 0 到 15 mg/L 之间温度可能是 0 到 35 摄氏度pH 是 6 到 9量纲差异巨大。LSTM 内部用的 tanh 和 sigmoid 激活函数对输入范围敏感所以必须做标准化。最容易翻车的操作是对整份数据先fit_transform再切分这会引入未来信息。正确做法是只用训练集计算均值和标准差。from sklearn.preprocessing import StandardScaler feature_cols [temp, ph, do] train_len int(len(df) * 0.7) scaler StandardScaler() scaler.fit(df.iloc[:train_len][feature_cols]) train_scaled scaler.transform(df.iloc[:train_len][feature_cols]) val_scaled scaler.transform(df.iloc[train_len:][feature_cols])scaler.fit只能看到训练集一段。验证集和测试集必须调用transform也就是沿用训练集的均值方差。很多公开源码会图省事在整份数据上fit看训练曲线很漂亮一到现场就崩原因就在这里。后续所有窗口样本都基于这些scaled数组生成不要混着用。3. 模型选型与网络搭建从 LSTM 到可落地的基线3.1 为什么选 LSTM记住“昨天”的溶解氧才有意义溶解氧时间序列不是白噪声。它有昼夜周期白天藻类光合作用产氧DO 升高夜晚呼吸耗氧DO 下降。也有天气影响气压低、闷热天容易缺氧。这些模式都需要模型“记住”一段时间内的上下文。普通全连接网络把每个时刻当独立特征抓不到先后关系RNN 能按时间步传递隐藏状态但梯度容易消失学不了长周期。LSTM 通过输入门、遗忘门、输出门控制信息保留在中等长度序列几十到几百步上表现稳定所以成了这类源码项目最常见的基线模型。GRU 是 LSTM 的简化版本参数少、训练快数据量不够时可以优先试 GRU。Transformer 也能做时间序列预测但溶解氧数据通常只有几万行例子也不够多用 Transformer 容易过拟合。我的建议是先从单层 LSTM 开始跑通流程后再堆层数。3.2 构建 PyTorch 最小模型单步预测网络下面这个网络是标准 LSTM 全连接输出层。为了让新手能抄作业我写成最直接的 PyTorch 版本import torch import torch.nn as nn class DoForecaster(nn.Module): def __init__(self, n_features, hidden_size64, num_layers2, dropout0.2, horizon12): super().__init__() self.lstm nn.LSTM( input_sizen_features, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0, ) self.fc nn.Linear(hidden_size, horizon) def forward(self, x): # x shape: (batch, seq_len, n_features) out, _ self.lstm(x) # 取最后一个时间步输出未来 horizon 个值 last_step out[:, -1, :] return self.fc(last_step)batch_firstTrue让输入形状直观第一维是 batch第二维是时间步第三维是特征。out[:, -1, :]取的是最后一个 LSTM 隐藏状态它概括了整个窗口的信息。fc直接输出horizon个数值对应未来每个时间步的 DO。这里没有做逐点循环输出避免误差累加。如果只预测单步把horizon改成 1 即可。3.3 损失函数与评估指标RMSE 之外还要看 R2 和 MAE回归任务最常用的损失是均方误差MSE但只用 MSE 你会看不清模型好坏。比如 DO 真实值范围是 0 到 11MSE 算出来可能是 0.5你不知道这是好是坏。所以评估时要同时计算 MAE、RMSE 和 R2。import numpy as np from sklearn.metrics import mean_absolute_error, r2_score y_true np.array([9.2, 8.9, 8.1, 7.4]) y_pred np.array([9.0, 8.8, 8.3, 7.0]) mae mean_absolute_error(y_true, y_pred) rmse np.sqrt(np.mean((y_true - y_pred) ** 2)) r2 r2_score(y_true, y_pred) print(fMAE{mae:.3f}, RMSE{rmse:.3f}, R2{r2:.3f})MAE 告诉你平均偏差多少 mg/L养殖上通常要求误差小于 0.5 mg/L。RMSE 放大了大误差适合捕捉“突然缺氧”这种极端偏差。R2 越接近 1 越好低于 0 说明模型比“直接用平均值预测”还差。还有一个容易被忽略的点预测未来 12 步时近端误差通常小于远端误差。把每个 horizon 位置的误差单独算一条曲线能看出模型是不是在“近处拟合、远处瞎猜”。4. 训练流程与超参数让模型稳定收敛4.1 按时间顺序切分训练集回归模型也会“漏题”很多人在表格数据上习惯随机打乱再切训练集和测试集。时间序列绝对不能这么干因为相邻时间点的值高度相关随机切分会把“昨天”混进测试集模型等于提前看到了答案。正确做法是按时间轴切train_len int(len(scaled) * 0.7) val_len int(len(scaled) * 0.15) test_len len(scaled) - train_len - val_len train_data scaled[:train_len] val_data scaled[train_len:train_lenval_len] test_data scaled[train_lenval_len:] X_train, y_train create_dataset(train_data, seq_len48, horizon12) X_val, y_val create_dataset(val_data, seq_len48, horizon12) X_test, y_test create_dataset(test_data, seq_len48, horizon12)注意此处create_dataset必须分别调用不能在整个scaled上切一次后再拆。原因和归一化一样窗口会跨越时间断点造成样本泄漏。另外验证集和测试集第一个样本的起始时间离训练集末尾至少要有seq_lenhorizon的间隔否则窗口重叠了一部分评估结果会偏乐观。4.2 训练循环与早停让验证集决定何时收手LSTM 训练很容易过拟合训练 loss 一直降验证 loss 先降后升。解决办法是早停。下面给一个完整的训练单轮函数和早停类from torch.utils.data import TensorDataset, DataLoader batch_size 64 train_dataset TensorDataset(torch.tensor(X_train, dtypetorch.float32), torch.tensor(y_train, dtypetorch.float32)) train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) def train_one_epoch(model, loader, optimizer, criterion): model.train() total_loss 0.0 for xb, yb in loader: optimizer.zero_grad() pred model(xb) loss criterion(pred, yb) loss.backward() optimizer.step() total_loss loss.item() * len(xb) return total_loss / len(loader.dataset) class EarlyStopping: def __init__(self, patience10, min_delta0.001): self.patience patience self.min_delta min_delta self.best_loss None self.counter 0 self.stop False def __call__(self, val_loss): if self.best_loss is None or val_loss self.best_loss - self.min_delta: self.best_loss val_loss self.counter 0 else: self.counter 1 if self.counter self.patience: self.stop TrueDataLoader(shuffleTrue)仅用于训练验证和测试时要设shuffleFalse。早停的patience设 10 到 15 比较稳妥太小会在 loss 波动时提前收手太大又容易过拟合。min_delta是容差验证 loss 下降小于它就算没进步。训练时还要把梯度裁剪加上一行torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)这一步能防止梯度爆炸尤其当序列长度大、学习率偏高时。我见过不少项目少了这行训练到第 20 轮 loss 突然变成 NaN十有八九是梯度逃逸。4.3 超参数速查表从一组“不会翻车”的参数开始参数推荐范围说明seq_len24~72对应 12~36 小时30 分钟采样过短抓不到日周期horizon6~24预测未来 3~12 小时越长越难hidden_size32~128太小欠拟合太大过拟合且训练慢num_layers1~3数据量几万行时建议 1~2 层dropout0~0.3层间 dropout单层时设 0batch_size32~128与数据量挂钩小数据用小 batchlearning_rate1e-3~1e-4Adam 优化器下常用 1e-3 起步patience10~15验证集连续不改善多少轮后停止这些值的逻辑很简单溶解氧有日周期所以窗口至少要覆盖一个完整 24 小时循环hidden_size和num_layers决定了模型记忆容量数据不够时容量别太大dropout只在层数多时有效单层 LSTM 加 dropout 没意义。5. 避坑指南溶解氧预测常见的 5 个翻车点5.1 全序列归一化最隐蔽的数据泄漏现象训练集 R2 很高测试集一测 R2 变成负的。原因源码里写了scaler.fit_transform(df[feature_cols])用整段数据算均值方差测试集的分布信息已经被编码进训练样本。模型在训练时“见过”未来数据的统计量表现自然虚高。解决严格按时间分割后只对训练部分fit验证和测试部分用同一套缩放参数transform。检查方式很简单在训练脚本里搜fit_transform凡是作用在整份 DataFrame 上的都要拆开。5.2 预测曲线整体向右偏移时间标签错位现象把预测值和真实值画在一张图上预测曲线形状和真实曲线很像但整体滞后了几个点。原因create_dataset循环里标签取错了位置。常见错误是从i1开始取目标或者没有减去horizon导致模型学到的是“把上一个时刻的值复制过来”。解决验证标签对齐。正确做法是X[i]对应时间步i到iseq_len-1y[i]从iseq_len开始取。画出前 100 步测试图时把预测结果往后平移horizon个点再对比两条曲线应当重合而不是错位。5.3 传感器停摆后的全零填充模型学出一堆“假洼地”现象原始 DO 序列里有大段连续 0训练后预测结果在对应时段也出现剧烈下降。原因现场传感器断电或电极损坏时数据采集系统可能把缺失值记成 0。如果你用fillna(0)或插值前先被 0 覆盖模型会把“0”当成正常低氧状态学进去。解决先做异常值清洗。DO 值低于 0.2 mg/L 且连续超过 1 小时直接标记为缺失再做线性插值。如果缺失段太长超过 6 小时就放弃这一段不要强行补。检查方法df[do].min()若出现大量 0 值就要警惕。5.4 多层 LSTM 训练时 loss 变 NaN现象前几轮 loss 正常第 10 轮左右突然变成 NaN之后无法恢复。原因学习率太高、梯度爆炸或者 LSTM 输入里有极端值。DO 数据经过归一化后一般不会爆问题多半出在lr和层数上。解决把学习率降到 1e-3 以下加入梯度裁剪clip_grad_norm_(max_norm1.0)。如果仍出现 NaN检查归一化后数据有没有inf或者把batch_size调小。还有一个玄学原因是num_layers3在数据量不足时梯度路径太长先降回一层。5.5 多步预测退化成“重复最后一步”现象预测未来 12 小时模型输出的前 1 小时还准后面几乎是一条水平线数值等于最后一个已知 DO。原因这是单步递归预测的通病。训练时如果每次只用上一步的真实值做输入推理时却用上一步的预测值当输入误差会不断累积。即使你用fc一次输出horizon个值也可能因为horizon太长、模型学不动而偏向“复制粘贴”。解决不要用单步模型做递归。用本文 3.2 节的直接多步输出结构fc输出维度等于horizon。或者把预测步数缩短到 6 小时以内。评估时分别看每个 horizon 的 MAE如果第 6 步误差远大于第 1 步说明模型缺乏长期记忆能力需要增加seq_len或改用注意力机制。6. 落地进阶用残差区间和定时重训把预测变成可用服务6.1 预测区间给缺氧报警留出安全余量养殖现场不会只看一个预测均值。如果预测值刚好在 3.0 mg/L而报警阈值是 2.5你会纠结要不要开增氧机。更好的做法是给预测加一个置信区间基于验证集残差计算val_pred predict(model, X_val, scaler) error y_val - val_pred # 取 90% 残差区间 lower_bound val_pred np.percentile(error, 5) upper_bound val_pred np.percentile(error, 95)这个区间的含义是如果历史误差分布稳定未来真实值有 90% 概率落在[lower_bound, upper_bound]内。报警逻辑可以改成“预测下限低于阈值”才触发而不是“预测均值低于阈值”能显著减少误报。6.2 模型导出与定时重训别让模型一年不更新溶解氧数据有季节性夏天藻类旺盛、冬天低温低氧规律会变化。模型需要定期用新数据重训。我习惯把训练好的模型保存两份一份权重、一份 TorchScripttorch.save(model.state_dict(), do_lstm_weights.pt) example_input torch.randn(1, 48, n_features) traced torch.jit.trace(model.eval(), example_input) traced.save(do_lstm.torch)TorchScript 模型可以直接在 Python 服务里加载jit.load之后不需要依赖原始类定义。重训策略可以设成每天凌晨跑一次只使用过去 90 天的数据。源码包里如果再带上train.py和predict.py两个入口接手这个项目的人就能在半小时内完成从数据到上线的流程。我自己的习惯是第一版只求跑通数据预处理和评估脚本写好之后模型结构先别贪新。LSTM 在几万条溶解氧数据上往往已经能到 MAE 0.4 左右。真正提升精度靠的是特征工程——把天气、气压、潮汐这些外部变量加进来比换 Transformer 模型便宜得多。希望帮到你。本文还有配套的精品资源点击获取