在B站搜索“Python教程”结果往往不是太少而是太多。各种“XX天速成”“从入门到放弃”“全套教程500集”等标题让人眼花缭乱。真正想学Python的朋友反而容易卡在第一步到底该看哪一套是跟着学语法还是直接做项目学完语法之后爬虫和数据分析又该怎么衔接这篇文章不只帮你梳理一条清晰的Python零基础学习路径还会贴出可以直接运行的爬虫示例、数据分析清洗代码以及每个阶段容易踩的坑。无论你是准备转行、应付毕业设计还是想提升工作效率这套学习路线都能直接用上。1. 为什么要从Python开始学编程Python是目前最适合零基础入门的编程语言没有之一。它的语法接近自然语言不需要像C或Java那样先理解“指针”“面向对象设计模式”等复杂概念就能写出有实际功能的脚本。举个例子在Java里打印一行文字需要写完整的类结构而Python只需要一行代码print(Hello, Python)这种“低门槛、高反馈”的特性让初学者能够快速获得成就感不容易在半途放弃。更重要的是Python的生态非常完整特别是在爬虫、数据分析、人工智能、自动化办公这些热门方向都有成熟的开源库可以直接调用。以B站上非常火的Python全套教程为例很多课程把“爬虫 数据分析”打包在一起形成一个完整的学习闭环。这种做法很科学爬虫负责获取数据数据分析负责处理数据两者天然衔接。学完这一套你不仅能写脚本还能真正完成“从网上抓数据 → 清洗整理 → 可视化展示”的完整项目。1.1 Python的应用场景有多广网络爬虫使用requests、Scrapy等库采集网页、App接口、电商平台商品信息等公开数据。数据分析使用pandas、NumPy对表格数据进行清洗、聚合、统计分析。数据可视化使用Matplotlib、PyEcharts、Plotly绘制折线图、柱状图、地图等图表。自动化办公批量处理Excel、Word、PDF文件自动发送邮件。Web开发使用Flask、Django搭建网站和API接口。人工智能使用PyTorch、TensorFlow、scikit-learn做机器学习与深度学习。这些场景中爬虫和数据分析是Python岗位需求量大、入门相对友好的两个方向也是一条完整的学习主线。1.2 谁适合学习这套Python教程在校大学生想掌握一门实用技能辅助专业课学习或准备实习。职场办公人员想用Python处理重复性工作提升效率。转行开发者准备往后端开发、数据方向或自动化测试方向发展。对编程感兴趣但零基础的爱好者希望低成本试错。需要注意的是零基础学员不必追求“一周学完即就业”。学习编程不是看视频数量而是动手写代码。一天能消化多少知识点取决于你的练习时间和理解能力。B站课程标题里的“一周学完”更多是强调课程内容紧凑而不是真的让你7天就变成就业级程序员。2. Python环境准备与工具安装在开始写代码之前先把开发环境搭好。很多初学者倒在第一步就是因为在环境安装上遇到各种报错又不知道怎么解决。2.1 Python解释器安装访问Python官方网站下载对应操作系统的安装包。Windows用户在安装时一定要勾选“Add Python to PATH”否则后续在命令行执行python命令会提示找不到。安装完成后打开命令行工具输入下面命令验证python --version正常情况下会输出类似如下内容Python 3.12.0版本需要根据你的项目实际情况调整本文示例以Python 3.10以上版本为例重点演示配置思路。建议初学者直接安装Python 3.10或更高版本避免老版本在新库支持上的限制。2.2 编辑器选择初学者推荐两个组合PyCharm Community版功能完整的IDE适合写爬虫和稍大型的Python项目。VSCode Python插件轻量灵活配置好之后同样有代码补全和调试功能。如果电脑配置一般VSCode更合适如果想省心直接选PyCharm。两个都可以关键是选一个用到底不要频繁切换。VSCode安装Python扩展后还需要在设置里选择正确的解释器路径。按下Ctrl Shift P输入Python: Select Interpreter选择刚才安装的Python版本即可。2.3 使用Anaconda管理环境如果学习重心包含数据分析推荐安装Anaconda或Miniconda。Anaconda自带pandas、NumPy、Matplotlib、Jupyter Notebook等常用数据分析工具省去单独安装库的麻烦。# 使用conda创建独立环境 conda create -n python_learn python3.10 # 激活环境 conda activate python_learn # 安装常用库 pip install requests pandas beautifulsoup4 matplotlib openpyxl这里解释一下为什么建议用虚拟环境不同项目可能依赖不同版本的库例如项目A需要pandas 1.5项目B需要pandas 2.0。如果不做隔离升级一个库很可能影响另一个项目。虚拟环境可以让你每个项目都有独立的依赖空间避免这种“改一处崩全盘”的问题。2.4 验证环境是否可用在命令行执行python -c import requests; import pandas; print(环境OK)如果没有报错说明核心库已经安装成功可以进入下一阶段。3. Python核心语法以爬虫和数据分析为导向零基础学习Python语法最容易犯的错误是“把教材从头啃到尾”什么知识点都想学唯独不写实际代码。更合理的方法是先掌握爬虫和数据分析中最高频的语法再用项目反推补充基础。3.1 变量、数据类型与容器Python中的变量不需要声明类型直接赋值即可# 数字 num 2025 # 浮点数 price 19.9 # 字符串 name Python爬虫 # 布尔值 is_ok True # 列表 cities [北京, 上海, 广州, 深圳] # 字典 person {name: 张三, age: 25, city: 杭州} # 元组 point (10, 20)列表和字典在爬虫与数据分析中非常重要。爬虫解析到的数据通常是一组字典组成的列表每条数据对应一条记录。后续用pandas处理时这种结构可以一键转换为DataFrame。3.2 循环与条件判断爬虫经常需要遍历多个URL、翻页抓取因此for循环是高频操作。数据清洗中也经常要对每一行数据做条件判断和过滤。# 遍历列表 for city in cities: print(f城市{city}) # 条件判断 for city in cities: if city.startswith(北): print(f{city} 以北开头) else: print(f{city} 不以北开头) # 配合range生成数字序列 for i in range(5): print(i)3.3 函数与模块把一段重复使用的逻辑封装成函数是代码从“脚本”走向“工程”的关键一步。def fetch_data(url, timeout10): 模拟数据获取函数 print(f正在请求{url}) print(f超时设置为{timeout}秒) # 这里可以写具体的请求逻辑 return {status: 200, data: []} result fetch_data(https://example.com/api, timeout5) print(result)函数的优势在于一个人写完爬虫逻辑后其他人不需要看全部细节只需要知道输入URL、输出什么结果就可以直接复用。这也是团队协作的基础。3.4 文件操作爬虫拿到数据后通常要保存到本地文件常见格式有CSV、JSON、Excel。import json data_list [ {title: Python教程, price: 99}, {title: 数据分析入门, price: 129} ] # 写入JSON文件 with open(data.json, w, encodingutf-8) as f: json.dump(data_list, f, ensure_asciiFalse, indent2) # 读取JSON文件 with open(data.json, r, encodingutf-8) as f: loaded_data json.load(f) print(loaded_data)encodingutf-8非常重要尤其是保存中文数据时如果漏掉Windows系统默认编码可能会导致文件打开乱码。3.5 异常处理爬虫在真实网络环境中会遇到各种问题请求超时、IP被封、目标页面结构变动、返回非200状态码。如果没有异常处理程序跑到一半就会崩溃。import requests try: response requests.get(https://example.com, timeout5) response.raise_for_status() print(请求成功) except requests.exceptions.Timeout: print(请求超时请检查网络或调整超时参数) except requests.exceptions.HTTPError as e: print(fHTTP错误{e}状态码可能不是200) except requests.exceptions.RequestException as e: print(f请求异常{e})先尝试、再捕获这样可以精确知道失败原因而不是让程序直接终端报错。等学完基础语法后你会发现在真实项目中异常处理往往比正常流程代码还要多。4. Python爬虫实战抓取公开网页数据爬虫是学习Python时最容易产生成就感的部分。它能把浏览器里看到的商品、新闻、榜单、评分等数据下载到本地再进行整理和分析。4.1 爬虫的基本流程用最简单的话总结爬虫要做的事情是构造HTTP请求向目标服务器发送请求。获取服务器的HTML响应。解析HTML提取自己需要的数据。保存数据到文件或数据库。若需要多页数据则循环翻页并重复以上步骤。整个过程并不复杂关键在“如何分析目标页面结构”和“如何编写解析规则”。4.2 环境准备在继续之前先安装所需库pip install requests beautifulsoup4 lxmlrequests发送HTTP请求。beautifulsoup4解析HTML提取节点。lxmlBeautifulSoup的解析引擎速度更快。4.3 使用requests获取网页内容下面是一个最小可运行的示例抓取一个公开的新闻列表页面import requests url https://news.example.com headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Accept-Language: zh-CN,zh;q0.9, } response requests.get(url, headersheaders, timeout10) response.encoding utf-8 print(状态码, response.status_code) print(网页内容长度, len(response.text))这里有一个新手经常会问的问题为什么需要设置User-Agent因为部分服务器会识别请求来自浏览器还是脚本。如果请求头缺少浏览器标识服务器可能认为这是自动化访问从而拒绝响应。设置合理的请求头是爬虫的基本修养。4.4 使用BeautifulSoup解析数据假设页面中每条新闻的标题在h3标签内链接在a标签里可以通过如下代码提取from bs4 import BeautifulSoup soup BeautifulSoup(response.text, lxml) news_items soup.select(.news-list .item) for item in news_items[:10]: title_tag item.find(h3) link_tag item.find(a) if title_tag and link_tag: title title_tag.get_text(stripTrue) link link_tag.get(href) print(title, link)这里用到了两个常用方法select()传入CSS选择器定位一类节点。find()/find_all()按标签名、属性、class定位节点。对于静态网页这套组合已经足够。如果目标网站是JavaScript渲染的页面单纯用requests无法获取动态加载的数据就需要后续学习Selenium或分析XHR接口这里先不做展开。4.5 一个完整的爬虫示例下面是一个更完整的示例抓取“豆瓣电影Top250”的公开页面。这是一个经典练手项目也是很多教程的标准案例。import requests from bs4 import BeautifulSoup import time def crawl_douban_top250(): base_url https://movie.douban.com/top250 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36 } all_movies [] for page in range(10): params {start: page * 25, filter: } try: response requests.get(base_url, headersheaders, paramsparams, timeout10) response.raise_for_status() response.encoding utf-8 except requests.exceptions.RequestException as e: print(f第{page 1}页请求失败{e}) continue soup BeautifulSoup(response.text, lxml) movie_list soup.select(.grid_view .item) for movie in movie_list: title movie.select_one(.title).get_text(stripTrue) rating movie.select_one(.rating_num).get_text(stripTrue) quote_tag movie.select_one(.inq) quote quote_tag.get_text(stripTrue) if quote_tag else all_movies.append({title: title, rating: float(rating), quote: quote}) print(f已完成第{page 1}页累计{len(all_movies)}条数据) time.sleep(1) # 避免请求过快对服务器造成压力 return all_movies if __name__ __main__: movies crawl_douban_top250() print(f共抓取 {len(movies)} 部电影) for movie in movies[:5]: print(movie)这个示例覆盖了爬虫的多个核心知识点循环翻页、请求参数、异常处理、CSS选择器、页面解析、数据存储。建议自行运行一遍并尝试把结果保存为CSV文件import pandas as pd df pd.DataFrame(movies) df.to_csv(douban_top250.csv, indexFalse, encodingutf-8-sig)utf-8-sig编码是为了让Excel直接打开CSV文件时中文不乱码这是一个很实用的小技巧。为了帮助理解各类爬虫的适用场景这里做一个简单分类爬虫类型特点应用场景批量型爬虫一次性抓取大量URL适合全量数据采集商品信息库初建、历史数据回填增量型爬虫定期抓取新增数据只处理变化部分新闻监控、价格跟踪、评论增量更新垂直型爬虫针对某一特定领域定制解析规则房产、招聘、图书、电影等垂直站点实际应用中这三类爬虫经常混合使用先用批量型爬虫做全量初始化再用增量型爬虫定时更新最后针对核心站点编写垂直型爬虫做深度采集。4.6 爬虫的法律边界与工程规范学习爬虫技术时必须理解一个底线爬取公开数据不等于可以任意爬取。以下几点是开发者必须遵守的规则遵守目标网站的robots.txt协议尊重网站声明的不抓取区域。设置合理的请求间隔不要高并发冲击目标服务器。不爬取涉及个人隐私、账号信息、付费内容等受保护数据。抓取的数据仅用于学习研究不用于商业变现或恶意竞争。对公开接口的调用频率不要超过正常用户行为范围。涉及登录后才能访问的数据必须确认自己是否有合法授权。定期检查数据源协议条款及时停止不合规的采集行为。5. Python数据分析实战从清洗到可视化数据爬下来之后通常不能直接使用因为真实数据中往往有缺失值、重复值、格式不一致等问题。数据分析的第一步就是把“脏数据”变成“干净数据”这个过程叫数据清洗。5.1 pandas核心操作pandas是Python数据分析最重要的第三方库它的核心数据结构是DataFrame可以理解成一张Excel表格。import pandas as pd # 创建DataFrame data { 城市: [北京, 上海, 广州, 深圳, None], 温度: [23.5, 24.1, 27.3, 28.0, 20.5], 湿度: [45, 60, 78, None, 50], } df pd.DataFrame(data) print(df)输出结果如下城市 温度 湿度 0 北京 23.5 45.0 1 上海 24.1 60.0 2 广州 27.3 78.0 3 深圳 28.0 NaN 4 NaN 20.5 50.05.2 数据清洗常用操作查看缺失值# 统计每列缺失值数量 print(df.isnull().sum())填充缺失值# 用城市列的众数填充温度用均值填充 df[城市] df[城市].fillna(未知) df[温度] df[温度].fillna(df[温度].mean()) print(df)删除重复值df df.drop_duplicates()筛选数据# 筛选温度大于25度的城市 hot_cities df[df[温度] 25] print(hot_cities)新增列df[温度等级] df[温度].apply(lambda x: 炎热 if x 28 else 舒适) print(df)以上操作覆盖了数据分析中最常用的清洗手段。对于从爬虫获取的数据我们通常可以这样处理流程将HTML或JSON数据转换为DataFrame。删除空行和无意义的列。统一字段的数据类型。处理缺失值与重复值。根据业务需要新增派生字段。5.3 数据可视化数据清洗完成后最终要通过图表把结论展示出来。Matplotlib和PyEcharts是Python中最常用的两个可视化库。import matplotlib.pyplot as plt # 设置中文字体避免图表中文乱码 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False cities [北京, 上海, 广州, 深圳] temps [23.5, 24.1, 27.3, 28.0] plt.figure(figsize(8, 5)) plt.bar(cities, temps, colorskyblue) plt.title(城市温度对比) plt.xlabel(城市) plt.ylabel(温度℃) plt.show()如果使用Jupyter Notebook环境图表会直接嵌入在单元格下方交互体验很好。这也是数据分析课程中常见的操作方法。5.4 读取CSV并做简单分析把第4节爬到的豆瓣电影数据读取进来做一个简单分析import pandas as pd # 读取CSV df pd.read_csv(douban_top250.csv) # 查看数据基本信息 print(df.info()) # 查看评分分布 print(df[rating].describe()) # 按评分降序排序 top_rated df.sort_values(rating, ascendingFalse) print(top_rated.head(10))这样我们就把“爬虫获取数据”和“数据分析处理数据”两个环节串成一个完整项目了。这也是很多Python教程选择的经典组合。6. 常见问题与排查思路零基础学习Python时几乎每个人都会遇到下面这些问题。这里整理了一份高频排查表。问题现象常见原因解决思路pip不是内部或外部命令Python没有添加到PATH重装Python时勾选Add to PATH或手动配置环境变量安装库时网络超时网络问题或默认源不稳定使用镜像源pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simpleModuleNotFoundError: No module named requests库未安装执行pip install requests确认安装到了当前使用的Python环境爬虫返回HTTP 403请求头缺少User-Agent被服务器拦截添加完整的User-Agent和Accept-Language等请求头爬到的中文乱码网页编码与实际解码不一致使用response.encoding utf-8或根据页面charset调整DataFrame显示中文乱码编码使用utf-8而非utf-8-sig保存CSV时使用encodingutf-8-sig图表中文显示为方块matplotlib中文字体未设置设置plt.rcParams[font.sans-serif]为中文字体请求超时网络不稳定或目标服务器响应慢设置timeout参数加入重试机制conda activate无效conda环境未正确初始化检查Anaconda安装路径和终端shell配置如果遇到报错信息建议按照“报错文本 → 搜关键词 → 对照官方文档 → 尝试最小复现”的顺序排查。很多问题并非自己写错代码而是环境配置不一致所致。7. 从入门到就业的学习建议与工程实践学完语法、爬虫、数据分析基础之后接下来该怎么走这是很多初学者关心的问题。7.1 不要只“看”教程要“写”代码B站上的Python全套教程单是视频时长就有几十个小时。如果你只是从第一个视频看到最后一个视频不打开编辑器动手写那么看完之后基本什么都不会。正确做法是每一个知识点看完后都手动敲一遍示例代码。每学完一个章节做一个10分钟左右的小练习。把练习代码保存到本地形成自己的代码库。7.2 用项目串联知识点直接推荐三个可以循序渐进完成的项目项目一豆瓣Top250爬虫 Excel存储把第4节的示例运行一遍再添加翻页、延时、数据保存功能。运行完成并生成Excel文件你会理解爬虫的完整流程。项目二天气数据采集与可视化通过城市列表循环请求天气API把JSON数据解析后转成DataFrame绘制气温变化折线图。这个项目锻炼接口请求、JSON解析、DataFrame转换、Matplotlib绘图四项能力。项目三电商商品评论情感分析对公开电商评论做分词处理和简单的情感打分输出正负向评论占比。这个项目可以作为学习文本分析和机器学习方向的起点。7.3 如何准备Python岗位面试如果目标是Python就业岗位比如爬虫工程师、数据分析师、后端开发除了代码能力还需要准备以下内容网络基础知识HTTP协议、请求与响应、状态码。数据结构与算法列表、字典、栈、队列、排序和查找。数据库基础MySQL常用SQL语句、表设计。爬虫实战能力如何处理反爬、如何解析动态网页。数据分析能力pandas数据清洗、SQL取数、可视化报告输出。计算机基础操作系统、进程与线程、常用Linux命令。7.4 养成良好的开发习惯从第一天学Python就应该建立工程化思维不要觉得自己是新手就不需要规范。以下几点越早养成越好命名清晰# 不推荐 a 1 b x # 推荐 page_number 1 current_city 北京代码加注释# 根据URL读取页面返回BeautifulSoup对象 def get_soup(url): ...使用虚拟环境虽然初学者会觉得麻烦但虚拟环境是真实项目中最基础的隔离手段。养成每个项目独立环境的好习惯可以避免非常多的依赖冲突问题。保存原始数据爬虫抓取的数据尽量保存一份原始JSON或HTML文件方便后续重新分析和排查问题。日志与监控正式运行的爬虫必须记录日志。最简单的方式是输出时间戳、请求URL和状态码import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s) logging.info(开始请求https://example.com)7.5 常见进阶方向完成入门阶段后可以根据兴趣和职业方向选择下一步爬虫进阶学习Scrapy框架、Selenium自动化、JS逆向基础、IP代理池。数据分析进阶学习SQL语句、Tableau/Power BI、概率统计、业务分析方法。Web开发学习Flask或Django把爬虫项目包装成Web应用。自动化办公学习openpyxl处理Excel、python-docx处理Word、批量文件操作。Python的学习没有终点掌握这套“爬虫 数据分析”的核心链路后你会发现后续所有方向的扩展都变得更轻松因为底层的编程思维、调试能力和自学能力已经建立起来了。接下来要做的就是找一个你感兴趣的真实项目把它做完、做好、写进你的简历作品集里。