简介本资源是一份面向大模型推理工程师与高性能AI系统开发者的深度技术指南聚焦DeepSeek模型在生产环境中的低延迟、高吞吐推理优化实践。全书279页覆盖KV缓存全栈优化含内存结构改造、多卡分片、预取机制、有损/无损压缩、失效处理与推理加速引擎核心设计算子融合、FP16/INT8/INT4量化适配、张量/流水线并行、内存池管理、计算图裁剪、JITAOT混合编译、动态/静态批处理等共60个章节支持目录跳转与左侧书签大纲导航内容完整、图表规范、排版专业。资源为单文件PDF大小12.91MB结构清晰便于按模块精读或工程查证。目前已有127人学习下载适合中高级开发者系统掌握DeepSeek推理性能瓶颈定位与端到端优化落地方法尤其适用于GPU集群部署、长文本服务及边缘低时延场景的工程调优。1. 这不是调参手册是DeepSeek推理落地的“手术刀级”操作指南279页PDF里藏着低延迟高吞吐的全部实操路径你有没有遇到过这种场景刚把DeepSeek-7B模型跑通一上真实请求就卡在300msbatch_size设大点直接OOM换用DeepSeek-R1支持长文本KV缓存显存占用飙到48GB单卡根本扛不住想上多卡推理结果张量并行切分后通信开销反超计算时间——不是模型不行是推理链路里有太多“看不见的损耗”。这份279页的《DeepSeek模型推理性能优化全流程》PDF不是泛泛而谈的架构图或理论推导而是某实验室在真实业务中压测百万级token生成、调度24卡集群、支撑日均50万QPS服务后把所有踩过的坑、调过的参数、改过的源码逻辑全拆解成可复现、可抄作业的技术细节。它覆盖从KV缓存内存结构改造第3章、多卡分片一致性维护第4章到FlashAttention与GPU张量核心协同第37章、NPU算子迁移适配第38章、蒸馏后INT4量化补偿第56章等60个硬核模块。适合三类人刚部署完DeepSeek但卡在P99延迟的SRE工程师需要把7B模型塞进边缘设备的嵌入式AI开发者以及正在设计推理服务化框架、被动态批处理和优先级队列调度折磨得睡不着觉的平台架构师。它不教你怎么下载模型只告诉你当torch.cuda.memory_allocated()返回值突然跳变时该去哪一行代码里加断点当nvtop显示GPU Util稳定在35%但延迟飙升问题大概率出在KV缓存预取时机第5章而非算力不足当nvidia-smi里显存碎片率40%必须立刻触发第23章的显存整理策略——这才是真正能让你少熬两个通宵的文档。2. KV缓存不是黑匣子从存储结构、更新机制到DeepSeek-R1的分片实战2.1 DeepSeek的KV缓存为什么不能照搬HuggingFace默认实现很多开发者直接用transformers库加载DeepSeek模型发现长序列下显存暴涨、延迟抖动严重根源在于HuggingFace的past_key_values默认采用连续张量存储而DeepSeek-R1的百万token支持依赖的是分块链表索引映射的混合结构。我们来看一个真实对比# HuggingFace默认KV缓存简化示意 # 形状: [batch_size, num_heads, max_seq_len, head_dim] # 问题max_seq_len32768时单层KV缓存显存占用 1 * 32 * 32768 * 128 * 2(bytes) ≈ 268MB # 即使实际只用了5000 tokens仍要为32768预留空间 → 内存浪费率超85% # DeepSeek-R1优化后KV缓存第2.4.1节 # 结构ChunkedLinkedCache # 每块大小(chunk_size)8192 tokens每块形状[1, 32, 8192, 128] # 实际使用5000 tokens → 只分配1块 部分第二块 → 显存占用≈134MB # 节省50%且避免大张量导致的GPU内存分配延迟这个差异不是“优化一下就行”而是DeepSeek-R1在modeling_deepseek.py中重写了DeepseekAttention类的_init_cache和_update_cache方法。关键改动点有三处索引表管理新增self.cache_index_table字典键为layer_id值为[chunk_id, offset_in_chunk]元组用于O(1)定位任意token的KV位置动态块分配_allocate_chunk()方法中调用torch.cuda.memory_reserved()实时检测剩余显存当剩余2GB时自动启用CPU内存作为后备存储第2.4.2节跨块注意力计算_compute_attention()函数内嵌torch.cat()逻辑但会先判断是否跨块——若query_pos与key_pos在同一chunk内直接切片访问否则分两次读取再拼接避免无谓的内存拷贝。提示如果你用vLLM或Triton部署DeepSeek务必检查其attention_backend是否启用了deepseek_chunked模式。默认flash_attn后端不识别DeepSeek的分块结构会导致缓存失效——这是第7章“KV缓存失效处理”的高频问题。2.2 Decode阶段KV缓存更新的流水线陷阱三个必须校验的边界条件Decode阶段每生成一个token都要更新KV缓存看似简单但在高并发场景下极易因竞态条件崩溃。根据第2.3.2节的工程实践以下三个边界条件必须在代码中显式校验序列长度溢出校验DeepSeek-R1的max_position_embeddings200000但实际缓存分配受--max_cache_len参数控制。若用户请求序列长度超过该值_update_cache()会尝试写入越界地址。正确做法是# 在_update_cache()开头添加 if self.current_seq_len self.max_cache_len: raise RuntimeError(fKV cache overflow: current{self.current_seq_len}, max{self.max_cache_len}) # 注意不是抛异常而是触发第7章的失效恢复策略见2.3节跨批次维度对齐校验动态批处理时不同请求的seq_len差异巨大。当batch_size4各请求已生成长度为[120, 8, 3500, 17]时torch.stack()操作会因维度不匹配失败。DeepSeek的解决方案是使用torch.nested_tensor包装不同长度的KV缓存PyTorch 2.0或降级为list[torch.Tensor]在注意力计算前用pad_sequence()对齐兼容旧版本。硬件内存对齐校验第2.5节强调GPU对非256字节对齐的内存访问会触发额外周期。DeepSeek在_allocate_chunk()中强制对齐# 计算所需显存字节数 needed_bytes batch_size * num_heads * chunk_size * head_dim * dtype_size # 向上对齐到256字节边界 aligned_bytes ((needed_bytes 255) // 256) * 256 # 分配对齐内存 cache_tensor torch.empty(aligned_bytes, dtypetorch.uint8, devicecuda) # 通过view()重塑为逻辑张量 cache_view cache_tensor.view(batch_size, num_heads, chunk_size, head_dim)2.3 DeepSeek-R1的分片缓存如何让百万token推理不OOM第20章“长文本推理的分片处理技术”和第2.4.1节共同构成DeepSeek-R1的百万token能力基石。其核心不是“把大缓存切成小块”而是分片预取压缩三位一体。我们以处理128K token的PDF解析任务为例还原完整流程步骤操作关键参数来自PDF第4.5/5.4/6.4节效果1. 分片初始化将128K token按chunk_size8192切分为16个块--kv_cache_chunk_size8192,--num_cache_chunks16单块显存占用从128K×128→8192×128降低94%2. 预取调度解析到第10块时后台线程预取第11-12块到GPU--prefetch_distance2,--prefetch_threads4规避Decode阶段等待I/OP99延迟下降37%3. 块级压缩对第1-8块历史上下文启用INT8量化第9-16块活跃上下文保持FP16--compress_old_chunksTrue,--quantize_bits8显存总占用从48GB→26GB且精度损失0.3%注意分片数不是越多越好。PDF第4.6节明确指出当num_cache_chunks 32时索引表查找开销会抵消内存节省收益。生产环境推荐chunk_size4096~16384具体值需通过第4.8节的cache_benchmark.py工具实测。3. 算子融合与量化让DeepSeek-7B在单卡3090上跑出120 tokens/s3.1 算子融合不是“打开开关”而是DeepSeek模型结构的深度适配很多工程师以为在推理引擎里开启--fuse_qkv就能提升性能结果发现DeepSeek-7B的QKV融合反而慢了5%。原因在于DeepSeek的GQAGrouped-Query Attention结构中Q、K、V的头数不相等Q32头K/V8头而通用融合方案假设三者头数一致。第9章“算子融合技术在DeepSeek推理中的落地实践”给出的解法是分层定制融合策略。# DeepSeek-7B的GQA结构来自PDF第9.2节 # layer.self_attn.q_proj: Linear(in4096, out4096) # 32 heads × 128 dim # layer.self_attn.k_proj: Linear(in4096, out1024) # 8 heads × 128 dim # layer.self_attn.v_proj: Linear(in4096, out1024) # 8 heads × 128 dim # 正确融合方式只融合K/VQ单独计算 def fused_kv_forward(self, hidden_states): # 1. 同时计算K和V输入相同权重矩阵垂直拼接 kv self.kv_proj(hidden_states) # out2048 K(1024)V(1024) k, v torch.split(kv, [1024, 1024], dim-1) # 2. Q单独计算保持原始精度 q self.q_proj(hidden_states) # 3. 注意力计算q,k,v维度已对齐 return self._scaled_dot_product_attention(q, k, v)这个改动带来三个收益减少显存带宽K/V权重合并后一次访存替代两次带宽占用降32%提升计算密度kv_proj的GEMM操作更接近GPU Tensor Core的最优shapem×k×n中k4096规避精度损失Q保持FP16计算避免GQA中Q头数多导致的梯度弥散。血泪经验在vLLM中启用--enable-chunked-prefill时必须同步关闭--enable-prefix-caching否则GQA的K/V融合会与前缀缓存机制冲突——这是第9.5节标注的“部署场景适配”陷阱。3.2 INT4量化不是“一刀切”DeepSeek的权重敏感度分析才是关键第10章“算子精度优化”和第52章“微调后的模型剪枝”共同指向一个事实DeepSeek模型不同层对量化误差的容忍度差异极大。直接套用LLM.int4会导致生成质量断崖式下跌。PDF第10.4节给出的工程化方案是基于Hessian矩阵的层敏感度分析。# 计算各层权重的量化敏感度简化版实际需Hessian近似 def compute_sensitivity(model, dataloader): sensitivity {} for name, param in model.named_parameters(): if weight in name and lm_head not in name: # 用100个样本估算Hessian迹PDF第10.4.2节公式 hess_trace estimate_hessian_trace(param, dataloader) # 敏感度 Hessian迹 / 参数标准差 std param.data.std().item() sensitivity[name] hess_trace / (std 1e-8) return sensitivity # DeepSeek-7B典型敏感度分布PDF第10.4.3节表 # layer.0.self_attn.q_proj.weight: 0.82 → 必须FP16 # layer.15.mlp.gate_proj.weight: 0.15 → 可INT4 # lm_head.weight: 1.20 → 必须FP16输出层基于此PDF第56章提出混合精度量化策略绝对禁止INT4的层所有q_proj、o_proj、lm_head权重强制FP16安全INT4的层mlp.gate_proj、mlp.up_proj、k_proj/v_projGQA中K/V头数少误差影响小动态位宽对mlp.down_proj采用INT5PDF第56.3节在精度和速度间取得平衡。验证数据PDF第56.7节DeepSeek-7B在Alpaca评估集上混合INT4方案相比全INT4推理速度18%单卡3090batch1准确率-0.7% vs -4.2%显存占用2.1GB vs 1.9GB差距不大但质量更稳3.3 避坑算子融合与量化的五个致命错误现象1开启QKV融合后生成文本出现大量重复token原因DeepSeek的RoPE位置编码在融合后未重新归一化导致位置信息错乱。GQA结构中Q/K的RoPE应用顺序与标准Transformer不同。解决在fused_kv_forward()中对Q应用RoPE后需对K/V做rope_k rope_k * scaling_factor校正scaling_factor0.95PDF第9.4节。现象2INT4量化后长文本生成在5000token后突然崩溃原因lm_head层未保护INT4权重在softmax前溢出产生NaN。解决在forward()末尾添加torch.nan_to_num(logits, nan0.0)并确保lm_head权重始终为FP16PDF第10.4.1节。现象3vLLM部署时--quantization awq参数导致OOM原因AWQ算法需在GPU上运行校准过程消耗额外显存。DeepSeek-7B校准需约3GB显存而3090仅24GB。解决改用--quantization gptq其校准在CPU完成或用PDF第10.3节的轻量校准法仅用16个样本2轮迭代。现象4TensorRT-LLM编译后推理速度比PyTorch还慢原因未启用DeepSeek专用插件。TRT-LLM默认用通用Attention插件未适配GQA的K/V头数不等特性。解决编译时添加--use_custom_all_reduce和--gqa_enabledPDF第36.2节。现象5多卡推理时张量并行切分后精度暴跌原因k_proj/v_proj权重切分时未按头维度head_dim对齐导致部分头数据被截断。解决切分必须满足hidden_size % num_gpus 0且num_kv_heads % num_gpus 0。DeepSeek-7B的num_kv_heads8故仅支持2/4/8卡——这是第11.2节的硬性约束。4. 多卡KV缓存分片24卡集群下DeepSeek-R1的零拷贝一致性方案4.1 为什么传统AllReduce在KV缓存同步上是灾难第4章“KV缓存分片技术”开篇就指出当DeepSeek-R1在24卡上运行百万token推理时若用NCCL AllReduce同步KV缓存通信开销会吃掉70%以上的GPU时间。原因有三数据量爆炸单层KV缓存达1.2GB24卡×50MBAllReduce需O(n)次通信拓扑不匹配NVLink带宽300GB/s远高于PCIe32GB/s但AllReduce无法感知硬件拓扑同步阻塞每个token生成都需等待AllReduce完成无法流水线。DeepSeek-R1的解法是分片异步预取拓扑感知路由PDF第4.3-4.7节。我们以24卡集群4机×6卡为例还原其KV缓存管理架构graph LR A[Host0-GPU0] --|NVLink| B[Host0-GPU1] A --|NVLink| C[Host0-GPU2] A --|PCIe| D[Host1-GPU0] B --|NVLink| E[Host0-GPU3] C --|NVLink| F[Host0-GPU4] C --|PCIe| G[Host2-GPU0]4.2 基于头维度的分片让通信量降低83%第4.3节“基于头维度的KV缓存分片实现”是DeepSeek-R1多卡优化的核心。其思想是将K/V头按物理拓扑分组同组内用NVLink高速同步跨组用PCIe异步预取。DeepSeek-R1配置num_heads64,num_kv_heads824卡分组每4卡为1组共6组每组负责64/6≈10.6个Q头但K/V头严格按8/6≈1.33分配 → 实际采用K/V头绑定分片8个K/V头平均分给6组每组负责1-2个K/V头。# 分片逻辑PDF第4.3.2节伪代码 def shard_kv_by_head(k_cache, v_cache, group_id, num_groups6): # k_cache.shape [batch, 8, seq_len, 128] # 8个KV头 heads_per_group [1,1,1,2,2,1] # 手动分配确保NVLink组内均衡 start_head sum(heads_per_group[:group_id]) end_head start_head heads_per_group[group_id] return k_cache[:, start_head:end_head], v_cache[:, start_head:end_head] # 通信优化同组内用NVLink AllGather快跨组用PCIe Send/Recv异步 if group_id target_group_id: nccl.all_gather(k_local, k_gathered) # NVLink1ms else: # 异步预取提前2个token发起Send asyncio.create_task(pci_send(k_local, target_rank))效果PDF第4.8节实测通信时间AllReduce方案128ms → 分片方案21ms↓83%P99延迟1420ms → 380ms↓73%GPU Util从42%提升至89%消除空等4.3 混合维度分片序列头维度的联合优化第4.5节“混合维度分片策略设计”解决更极端场景当单卡显存不足以容纳一个KV头的完整序列时如处理256K token。此时需同时在序列维度和头维度分片维度分片方式目的DeepSeek-R1参数头维度将8个KV头分给6组GPU降低单卡KV缓存压力--kv_head_sharding6序列维度将256K token按8192分块每块由不同GPU管理避免单块过大OOM--kv_seq_chunk_size8192混合策略每GPU负责1个KV头 4个序列块共32768 tokens显存占用从128GB→24GB--hybrid_shardingTrue关键实现是两级索引表PDF第4.5.3节一级索引head_to_gpu_map {0: [0,1,2], 1: [3,4,5], ...}记录每个KV头由哪些GPU负责二级索引chunk_to_gpu_map {(0,0): 0, (0,1): 1, ...}记录第0个KV头的第0块在GPU0第1块在GPU1...当计算token_i的注意力时系统通过i // 8192定位块ID再查表找到负责该块的GPU最后用nccl.send()拉取数据——整个过程在Decode阶段流水线中异步完成不阻塞计算。4.4 避坑多卡KV缓存分片的四个一致性陷阱现象1生成文本出现随机乱码且只在跨卡请求时发生原因分片后不同GPU的KV缓存更新未同步时间戳导致Decode阶段读取到陈旧的KV数据。解决在每GPU的_update_cache()末尾添加torch.cuda.Event().record()并在主控GPU用event.wait()同步PDF第4.7.2节。现象224卡集群中第12卡的GPU Util始终为0%原因num_kv_heads8无法被24整除导致部分GPU未分配到任何KV头成为“幽灵卡”。解决强制num_kv_heads为24的倍数如24或改用--kv_head_sharding88组×3卡PDF第4.6节强调这是必须满足的数学约束。现象3长文本推理到100K token时显存泄漏持续增长原因分片预取的块未及时释放chunk_to_gpu_map中存在悬空引用。解决实现ChunkManager类继承torch.autograd.Function在backward()中自动清理已过期块PDF第4.5.4节。现象4跨机通信时PCIe带宽打满但GPU Util仅30%原因预取线程数过多--prefetch_threads16导致PCIe队列拥塞反而拖慢整体。解决按PCIe通道数设置线程数——单机双路CPU通常有32条PCIe通道故--prefetch_threads8为最优PDF第4.8.3节。5. 推理引擎内存池与显存碎片整理让DeepSeek-7B在3090上稳定运行72小时5.1 为什么标准PyTorch内存分配会让DeepSeek推理越来越慢第13章“推理引擎内存池管理”和第23章“显存碎片整理技术”直指一个被忽视的真相PyTorch的torch.cuda.caching_allocator在高频、变长的DeepSeek推理中会产生严重碎片。我们用nvidia-smi dmon -s u监控一个真实案例时间GPU UtilMemory-UsageFragmentation启动后1分钟85%18.2GB/24GB12%运行1小时后62%19.1GB/24GB38%运行6小时后41%20.3GB/24GB67%Fragmentation 67%意味着虽然还有3.7GB空闲显存但最大连续块仅1.2GB而DeepSeek-7B的KV缓存单块需1.8GB → OOM这不是显存不足而是内存管理失效。DeepSeek的解法是三级内存池PDF第13.3节L1池GPU显存预分配8GB连续显存按256KB对齐切分为固定大小块适配GPU内存访问粒度L2池CPU内存预分配4GB pinned memory用于存放溢出的KV缓存块L3池磁盘SSD用torch.save()序列化冷数据通过mmap快速加载。# DeepSeek内存池核心类PDF第13.3.2节 class DeepSeekMemoryPool: def __init__(self, gpu_pool_gb8, cpu_pool_gb4): # L1GPU连续内存池 self.gpu_pool torch.empty(gpu_pool_gb * 1024**3, dtypetorch.uint8, devicecuda) # 切分为256KB块 self.block_size 256 * 1024 self.num_gpu_blocks self.gpu_pool.numel() // self.block_size self.gpu_free_list list(range(self.num_gpu_blocks)) # L2CPU pinned memory池零拷贝基础 self.cpu_pool torch.empty(cpu_pool_gb * 1024**3, dtypetorch.uint8, pin_memoryTrue) def allocate(self, size_bytes): # 优先从L1分配 blocks_needed (size_bytes self.block_size - 1) // self.block_size if len(self.gpu_free_list) blocks_needed: # 返回连续块的起始索引 start_idx self.gpu_free_list[:blocks_needed][0] self.gpu_free_list self.gpu_free_list[blocks_needed:] return self.gpu_pool[start_idx * self.block_size:].narrow(0, 0, size_bytes) # L1不足从L2分配 return self.cpu_pool.narrow(0, 0, size_bytes).pin_memory()5.2 显存碎片整理不是重启而是在线整理第23章“显存碎片整理技术”提供了一种激进但有效的方案在推理间隙执行碎片合并。其前提是DeepSeek的KV缓存具有可迁移性——即同一块KV数据可从GPU内存迁移到CPU内存再迁回只要保证迁移前后逻辑地址不变。# PDF第23.3节的在线整理算法 def defrag_gpu_memory(pool, fragmentation_threshold0.4): if get_fragmentation_rate() fragmentation_threshold: return # 1. 扫描所有活跃KV缓存块标记为可迁移 movable_blocks [] for block in pool.active_blocks: if not block.is_locked(): # 未被当前推理占用 movable_blocks.append(block) # 2. 将可迁移块按地址排序合并到低地址区域 movable_blocks.sort(keylambda x: x.addr) new_addr 0 for block in movable_blocks: # 异步拷贝到新地址 torch.cuda.memcpy_async( pool.gpu_pool[new_addr:new_addrblock.size], block.data ) block.addr new_addr new_addr block.size # 3. 更新所有引用该块的索引表如cache_index_table update_index_table()这个操作在DeepSeek-R1的生产环境中被设定为当get_fragmentation_rate()0.4且连续3个batch的P99延迟上升15%时自动触发。实测效果PDF第23.4节整理耗时平均210ms在batch间隙执行不影响SLA碎片率从67%→11%后续6小时运行GPU Util稳定在85%±3%无OOM。提示该功能需配合第39章“线程调度优化”——整理线程必须设为最高优先级且与推理线程绑定到不同CPU核心避免争抢资源。5.3 内存池与KV缓存的协同零拷贝数据流设计第32章“输入数据格式转换优化”和第13章共同构成DeepSeek的零拷贝数据流。其核心是让KV缓存、输入token、输出logits全部从同一内存池分配消除中间拷贝。# 完整零拷贝链路PDF第32.2/13.4节 # 1. 输入token从L1池分配 input_tokens pool.allocate(1024 * 4) # 1024 tokens × int32 # 2. KV缓存从同一L1池分配地址连续 kv_cache pool.allocate(2 * 1024 * 128 * 2) # KV × seq_len × head_dim × 2bytes # 3. 输出logits从L1池分配 logits pool.allocate(1024 * 32000 * 2) # vocab_size32000 × FP16 # 4. 数据流转token - embedding - attn - logits # 全程指针传递无memcpy embedding_layer(input_tokens, outputpool.embed_buffer) attn_layer(embed_buffer, kv_cache, outputlogits)这要求DeepSeek的Embedding层和Linear层必须支持output参数类似PyTorch的outPDF第32.2节提供了所有自定义算子的patch文件。实测单次推理减少内存拷贝12.7MBP99延迟下降9%。6. 动态批处理与优先级队列DeepSeek服务化中的QoS保障实战6.1 动态批处理不是“自动调batch_size”而是请求特征驱动的决策树第17章“动态批处理技术”彻底颠覆了我对动态批处理的认知。它不是简单地按时间窗口聚合请求而是构建了一个四维请求特征向量并用轻量级决策树实时选择最优batch_size特征维度计算方式权重PDF第17.2节示例值序列长度len(prompt) max_new_tokens0.35512优先级标签用户SLA等级0-30.252VIP历史延迟该用户过去10次P95延迟均值0.20180ms模型版本7B/16B/R1影响显存需求0.207B决策树PDF第17.4节图17-3if 序列长度 256 and 优先级标签 3: batch_size 8 # VIP短请求高吞吐 elif 序列长度 4096: batch_size 1 # 长请求保延迟 elif 历史延迟 200ms: batch_size max(1, min(4, 200//历史延迟)) # 自适应降级 else: batch_size 4 # 默认这个策略在某公司生产环境24卡集群的实测效果PDF第17.5节P99延迟VIP用户从320ms→110ms↓66%整体吞吐从8400 req/min→12600 req/min↑50%OOM率从0.8%/天→0.02%/天。6.2 优先级队列如何让VIP请求的延迟不受长文本请求影响第40章“推理任务优先级队列设计”解决了服务化中最痛的场景当一个用户提交百万token的PDF解析请求预计耗时2分钟其他用户的短请求却被卡在队列尾部。DeepSeek的方案是三级隔离队列动态抢占# PDF第40.3节的队列设计 class PriorityQueue: def __init__(self): # 三级队列VIP / Premium / Standard self.vip_queue PriorityQueueImpl(maxsize100) self.premium_queue PriorityQueueImpl(maxsize500) self.standard_queue PriorityQueueImpl(maxsize2000) # 抢占阈值VIP请求等待50ms可抢占Premium队列头部 self.preempt_threshold p a hrefhttps://download.csdn.net/download/ashyyyy/90403107 stylecolor:#ec7500;font-size:14px; 本文还有配套的精品资源点击获取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p