学习目标熟悉网络爬虫的概念及分类能够归纳通用网络爬虫和聚焦网络爬虫的区别了解网络爬虫的应用场景能够列举至少 3 个网络爬虫的应用场景熟悉网络爬虫的 Robots 协议能够说明 robots.txt 文件中每个选项的含义熟悉防网络爬虫的应对策略能够列举至少 3 个应对防网络爬虫的策略掌握网络爬虫的工作原理能够描述通用网络爬虫和聚焦网络爬虫的工作原理熟悉网络爬虫的工作流程能够归纳网络爬虫抓取网页的完整流程了解网络爬虫的实现技术能够说出使用 Python 实现网络爬虫有哪些优势熟悉网络爬虫的实现流程能够归纳使用 Python 实现网络爬虫的流程熟悉 AIGC 工具的基本使用能够使用 AIGC 编写网络爬虫程序章节概述随着互联网的快速发展互联网成为大量信息的载体如何有效提取并利用这些大量信息成为一个巨大的挑战。网络爬虫作为一种自动化数据采集技术凭借其高效、灵活的网页数据抓取能力已经成为当下互联网数据收集的核心解决方案之一。本章主要对网络爬虫的基础知识进行详细讲解。内容分为 6 节什么是网络爬虫网络爬虫的应用场景网络爬虫合法性探究网络爬虫的工作原理和流程网络爬虫实现技术探究AI 赋能网络爬虫1.1 什么是网络爬虫学习目标熟悉网络爬虫的概念及分类能够归纳通用网络爬虫和聚焦网络爬虫的区别。1.1.1 网络爬虫的概念网络爬虫Web Crawler又称网络蜘蛛、网络机器人它是一种按照预设规则自动请求网站并提取数据的程序。通俗地讲网络爬虫就是一个模拟真人浏览网站行为的程序。这个程序可以代替真人自动请求网站并接收从网站返回的数据。与真人浏览网站相比网络爬虫能够获取的数据规模更大效率也更高。1.1.2 网络爬虫的分类历经几十年的发展网络爬虫的相关技术已经呈现多样化趋势并结合不同的需求衍生出类型众多的网络爬虫。网络爬虫按照系统结构和实现技术大致可以分为 4 种类型通用网络爬虫聚焦网络爬虫增量式网络爬虫深层网络爬虫1通用网络爬虫通用网络爬虫General Purpose Web Crawler又称全网爬虫Scalable Web Crawler是一种面向整个互联网进行数据采集的爬虫系统。作为互联网早期发展的传统爬虫系统它是搜索引擎如百度、谷歌等数据采集系统的核心组件主要用于将互联网中的网页下载到本地形成一个互联网网页的镜像备份。通用网络爬虫具有较强的覆盖能力和规模处理能力它以整个互联网公开访问的网页为抓取目标。由于数量巨大且范围广泛这类网络爬虫对网络带宽、计算性能和存储容量有着极高的要求但是对网页抓取顺序的敏感性较低通常采用重要性优先的策略在保证覆盖广度的同时优先采集高价值网页数据主要应用于搜索引擎索引构建、互联网存档和大规模数据分析等需要全网数据支持的场景。2聚焦网络爬虫聚焦网络爬虫Focused Web Crawler又称主题网络爬虫Topical Web Crawler是一种专门针对特定领域或主题进行定向数据采集的智能爬虫系统。聚焦爬虫并不追求整个互联网的覆盖而会根据预先设定的与特定主题相关的目标精准筛选和采集那些与主题高度相关的网页。与通用网络爬虫相比聚焦网络爬虫会选择性地采集主题相关的网页大幅减少了不必要网页的采集这样不仅节省了网络带宽资源而且提高了网页的更新效率。因此聚焦网络爬虫成为垂直搜索、行业监测等专业领域数据获取的理想解决方案在保证数据质量的同时显著提升了采集效率。3增量式网络爬虫增量式网络爬虫Incremental Web Crawler是一种智能化的爬虫系统它通过版本比对技术仅对已下载网页中新增或者变更的内容进行增量采集避免重复下载完整网页。增量式网络爬虫只会在需要的时候采集网页中更新的部分并不会重新采集没有发生变化的内容这在显著降低网络带宽和存储资源消耗的同时确保了数据的实时性和完整性特别适用于需要持续跟踪网页更新的应用场景如新闻资讯聚合、电商价格监控系统、企业竞争情报分析等。不过这种选择性采集机制也带来了更高的技术复杂度需要开发精密的变更检测算法和版本管理系统来准确识别内容更新相比传统爬虫更具挑战性。4深层网络爬虫深层网络爬虫Deep Web Crawler是专门采集深层网页的专业爬虫系统主要针对那些无法通过传统搜索引擎直接索引的内容这类网页主要包括以下三类需要登录验证才能访问的内容通过表单交互动态生成的页面结果未被其他网页链接引用的孤立页面。由于目标内容的特殊性深层网络爬虫需要通过一定的附加策略才能够自动采集比如表单自动填充、验证码智能识别、维护会话状态等在技术实现上具有较高的复杂度。多学一招表层网页与深层网页网页按存在方式可以分为表层网页Surface Web和深层网页Deep Web。表层网页是指传统搜索引擎可以索引的页面主要由超链接可以到达的静态网页构成。深层网页是指大部分内容无法通过静态链接获取只能通过用户提交一些关键词才能获取的网页如用户注册后内容才可见的网页。1.2 网络爬虫的应用场景学习目标了解网络爬虫的应用场景能够列举至少 3 个网络爬虫的应用场景。随着互联网信息呈现爆炸式增长网络爬虫渐渐为人们所熟知并被应用到社会生活的众多领域。作为互联网数据自动化采集的核心技术网络爬虫的应用范围远比普通用户认知的更为广泛。事实上任何需要从互联网获取数据的应用场景都依赖于网络爬虫技术的支持包括搜索引擎、电商价格监控、金融舆情分析、政务数据整合、内容聚合平台等。1.2.1 搜索引擎通用网络爬虫作为搜索引擎的核心技术组件通过智能化地识别网页内容并分析超链接拓扑关系构建起复杂的网页权重评估体系。以谷歌、百度为代表的搜索引擎依托这一技术体系持续抓取并更新全球范围内的公开网页数据它们通过这种海量数据采集和索引构建为用户提供毫秒级响应的精准信息检索服务成为互联网信息生态的基础设施。1.2.2 电商价格监控在电商行业激烈的价格战中网络爬虫已成为商家必备的智能监控工具。这类爬虫通过模拟用户行为绕过反爬机制实时采集竞品的价格、促销信息如历史最低价、直降 XX 元等和用户评价等关键数据为商家提供智能化的价格决策支持。例如在京东购物车加入商品后平台能显示该商品一段时间的价格波动包括历史最低价、降价幅度等信息这些背后其实就依托网络爬虫对商品价格的持续追踪既帮助消费者把握最佳购买时机也让商家基于实时市场数据动态优化定价策略。1.2.3 舆情监测管理在舆情监测领域网络爬虫围绕数据采集、定向追踪、动态监测三大核心功能展开应用。该技术通过智能采集新闻网站、社交媒体平台如微博、抖音、专业论坛等公开渠道的文本、图片及视频内容并结合自然语言处理技术进行深度分析。以常见的百度热搜、微博热搜为例当事件讨论量和传播速度达到算法阈值时系统会自动将其推上热搜实现热点智能识别。1.2.4 政务数据整合在政府数字化转型进程中网络爬虫正发挥着日益重要的作用。它会通过智能采集各级政府门户网站和政务服务平台发布的政策文件、办事指南等公开信息并对其进行标准化处理然后存入统一数据库。以个人所得税专项附加扣除政策为例税务部门通过爬虫实时监控省级税务局的政策解读页面自动识别政策变动确保个人所得税 App 与各地最新政策保持同步帮助纳税人准确享受扣除优惠。1.2.5 内容聚合平台网络爬虫已成为内容聚合平台的核心基础设施尤其在个性化推荐中发挥着关键作用。该技术通过智能采集新闻网站、博客和视频平台等多源内容为推荐系统提供数据支持。平台运用内容理解技术对采集内容进行去重、分类和语义标注最终与用户兴趣画像精准匹配实现千人千面的个性化推荐体验。例如抖音或今日头条会智能分析用户浏览的内容之后推送越来越符合个人兴趣偏好的信息这正是网络爬虫与推荐算法协同工作的典型体现。1.3 网络爬虫合法性探究1.3.1 Robots 协议学习目标熟悉网络爬虫的 Robots 协议能够说明 robots.txt 文件中每个选项的含义。网络爬虫在访问网站时需要遵循有礼貌的原则这样才能与更多的网站建立友好关系。即便如此网络爬虫的抓取行为仍会给网站增加不小的压力严重时甚至可能影响网站的正常访问。为了约束网络爬虫的恶意抓取行为网站内部加入了一些防爬虫措施来阻止网络爬虫。与此同时网络爬虫也研究了防爬虫措施的应对策略。为了维护良好的互联网环境保证网站与网络爬虫之间的利益平衡1994 年 6 月 30 日爬虫软件设计者及爱好者经过共同讨论后正式发布了一份行业规范——Robots 协议。Robots 协议又称爬虫协议它是国际互联网界通行的道德规范用于保护网站数据和敏感信息确保网站用户的个人信息和隐私不受侵犯。为了让网络爬虫了解网站的访问范围网站管理员通常会在网站的根目录下放置一个符合 Robots 协议的robots.txt文件通过这个文件告知网络爬虫在抓取该网站数据时存在哪些限制哪些网页是允许被抓取的哪些网页是禁止被抓取的。当网络爬虫访问网站时应先检查该网站的根目录下是否存在 robots.txt 文件若 robots.txt 文件不存在则网络爬虫可以访问该网站上所有公开可访问的页面若 robots.txt 文件存在则网络爬虫会按照该文件的内容确定访问网站的范围。robots.txt 文件的语法规则下面以豆瓣网站根目录下的 robots.txt 文件为例进行分析User-agent: * Disallow: /subject_search ... Disallow: /share/ Allow: /ads.txt Sitemap: https://www.douban.com/sitemap_index.xml Sitemap: https://www.douban.com/sitemap_updated_index.xml # Crawl-delay: 5 User-agent: Wandoujia Spider Disallow: / User-agent: Mediapartners-Google ...robots.txt 文件中包含多行以User-agent、Disallow、Allow、Sitemap等指令开头的语句若干行语句之间以一个空行进行分隔。以空行分隔的多行语句组成一条记录每条记录必须以User-agent指令开头后面可以跟上一行或多行包含Disallow、Allow指令的语句有时也可以跟上一行或多行包含Crawl-delay、Sitemap指令的语句。各指令的含义如下指令含义User-agent指定此条记录适用的网络爬虫。值为*表示规则对所有网络爬虫均有效且该指令只能出现一次例如User-agent: *。Disallow指定网络爬虫禁止访问的目录。必须以/开头表示根目录相对路径支持通配符*匹配任意长度字符。Disallow: /subject_search表示禁止访问/subject_search目录值为空表示允许访问任何内容值为/表示禁止访问任何内容。Allow指定网络爬虫允许访问的目录。例如Allow: /ads.txt表示允许访问/ads.txt通常用于在禁止的父目录下开放个别页面。Sitemap告知网络爬虫网站地图的路径网站地图中说明了网站的更新时间、更新频率、网址重要程度等信息。Crawl-delay设定网络爬虫发起连续请求的最小时间间隔单位为秒。例如Crawl-delay: 5表示两次请求之间至少保持 5 秒间隔。需要强调的是Robots 协议只是网站与网络爬虫之间达成的君子协议它并不是计算机中的防火墙没有实际的约束力。如果把网站比作私人花园那么 robots.txt 文件便是私人花园门口的告示牌告示牌上写有是否可以进入花园以及进入花园后应该遵守的规则但告示牌并不是高高的围栏它只对遵守协议的君子有用对于违背协议的人而言并没有太大的作用。尽管 Robots 协议没有强制约束力但网络爬虫仍然要遵守协议违背协议可能存在一定的法律风险。1.3.2 防爬虫应对策略学习目标熟悉防网络爬虫的应对策略能够列举至少 3 个应对防网络爬虫的策略。随着网络爬虫技术的广泛应用互联网中出现了越来越多的网络爬虫既有为搜索引擎服务的官方网络爬虫也有很多开发者自行编写的网络爬虫。对于内容驱动的网站而言被网络爬虫访问已成为不可避免的常态现象。虽然大多数网络爬虫履行着 Robots 协议但是在实际运行中仍然存在大量不规范的抓取行为比如高频率向网站发送请求、重复抓取网站相同内容等。这些抓取行为会给网站的服务器增加巨大的处理开销轻则降低网站的响应速度重则导致网站无法被访问。为了应对这一问题网站管理员会根据网络爬虫的行为特点从来访的用户中甄选出网络爬虫并采取相应的防爬虫措施。与此同时网络爬虫会采取一些应对策略继续访问网站。常见的应对策略包括请求伪装、请求频率控制、代理服务器设置、动态页面处理、验证码识别。1请求伪装用户通过浏览器访问网站时发起的请求会自动携带完整的请求头信息包括 User-Agent用户代理、Referer来源页面、Accept-Language语言偏好等关键字段。网站服务器会严格校验这些请求头的完整性和合理性一旦发现缺失或异常就会拦截可疑请求。为了应对这种检测网络爬虫采用请求伪装策略不仅动态轮换用户代理 User-Agent还完整复制 Referer、Accept-Language 等在内的字段使网络爬虫与真实浏览器的请求完全一致有效规避因网站检测不通过而被直接拒绝访问的情况。2请求频率控制当用户访问频率增高时如同 IP 在 1 分钟内发起数十次请求网站防护系统会判定为疑似爬虫行为触发安全防御机制可能要求进行验证码验证、强制登录认证。为规避此类检测可以为网络爬虫设置访问间隔并叠加随机时间偏移同时动态监测服务器响应状态实时调整请求节奏。这种拟人化的频率调控机制既能维持有效的数据采集速率又能将请求特征隐藏在正常用户访问行为中确保长期稳定的数据获取而不触发防护机制。3代理服务器设置若网络爬虫持续使用同一 IP 地址访问网站则极易被网站识别身份后导致 IP 封禁。代理服务器设置是规避 IP 封禁的关键技术它的核心工作原理是网络爬虫将请求首先发送至代理服务器由代理服务器作为中间节点转发至目标网站的服务器这使得目标服务器只能记录代理 IP而无法追踪网络爬虫的真实 IP。实际操作中网络爬虫需要维护一个高质量的代理 IP 资源池这些 IP 可从专业服务商获取。需要注意的是代理 IP 的有效期往往较短且质量参差不齐需要通过一套完整的机制校验已有代理 IP 的有效性只有通过严格校验的代理 IP 才能被纳入可用资源池确保持续稳定的数据采集工作不受 IP 封禁的影响。4动态页面处理在浏览网站时用户常常需要滚动或单击交互按钮来逐步加载完整内容比如滚动到页面底部自动加载更多内容或单击加载更多按钮显示剩余内容。为了有效获取动态呈现的内容网络爬虫主要有三种应对策略模拟用户的交互行为来触发动态内容的完整加载分析浏览器与服务器的通信过程找到动态内容的接口直接从接口请求动态内容构建真实浏览器的运行环境自动执行 JavaScript 代码以获取完整渲染后的动态内容。以上方法各有优势。在实际应用中网络爬虫会根据目标网站的具体特点智能选择单一方法或组合运用多种方法在保证动态内容完整获取的同时也能有效规避各种防爬虫机制的检测和拦截。5验证码识别当网站检测到某个 IP 地址在短时间内访问次数过于频繁时通常会触发安全机制要求用户进行登录验证并完成验证码识别。为了应对这种突发情况网络爬虫除了要输入正确的账户密码之外还要像人类一样通过滑动或点击行为识别验证码如此才能继续访问网站。由于验证码的种类较多不同的验证码需要采用不同的技术进行识别具有一定的技术难度。1.4 网络爬虫的工作原理和流程1.4.1 网络爬虫的工作原理学习目标掌握网络爬虫的工作原理能够描述通用爬虫和聚焦爬虫的工作原理。通用网络爬虫和聚焦网络爬虫是如何工作的下面分别介绍。1. 通用网络爬虫的工作原理通用网络爬虫是对互联网中的公开网页进行系统性采集它会先从一个或多个初始 URL 开始获取初始 URL 对应的网页数据并不断从该网页数据中提取新的 URL 放到队列中直至满足一定的条件后停止。具体工作过程如下爬虫启动后会从待抓取 URL 队列中获取初始 URL。初始 URL 又称种子 URL是爬虫启动前确定的一个或多个起始网址通常是一些热门网站的首页或者与爬虫抓取目标相关的网页。这些初始 URL 会被预先放入待抓取 URL 队列作为爬虫抓取网页的起点。根据初始 URL 抓取对应的网页内容之后将该网页内容存储到原始网页数据库中在抓取网页的同时对网页内容进行解析从中提取出新 URL也就是其他网页的超链接。对新 URL 进行检查和去重然后将其放入待抓取 URL 队列确保每个网页只被采集一次。从待抓取 URL 队列中读取新 URL准备根据新 URL 抓取下一个网页内容。若满足设置的停止条件比如待抓取 URL 队列中的 URL 全部被处理完或者达到了预先设定的抓取网页数量上限等则停止采集若不满足停止条件则继续抓取下一个网页并重复步骤25。需要注意的是如果没有设置停止条件网络爬虫将持续采集下去直到没有可以采集的 URL 为止。2. 聚焦网络爬虫的工作原理聚焦网络爬虫面向特定领域的人群它会根据预先设定的主题只在某个垂直领域定向抓取而不是漫无目的地泛化抓取。相较于通用网络爬虫的全网遍历模式聚焦网络爬虫会根据一定的网页分析算法对抓取的网页进行实时筛选只保留与预设主题有关的 URL过滤与主题无关的 URL显著提升网页抓取的精准度。具体工作过程如下根据用户的具体需求确定聚焦网络爬虫的采集目标详细描述目标领域和主题范围同时明确排除规则避免采集无关内容。此外手动筛选与目标主题相关的初始 URL对这些 URL 进行主题相关性验证确保其符合预设领域之后将验证通过的初始 URL 放入待抓取 URL 队列。从待抓取 URL 队列中按顺序取出初始 URL。根据初始 URL 抓取对应的网页内容并对网页内容进行解析从这些内容中提取出新 URL。对提取出来的新 URL 进行主题相关性验证过滤掉所有与采集目标无关的 URL。将过滤后的 URL 全部放入待抓取 URL 队列等待后续抓取。根据一定的抓取策略为待抓取 URL 队列中的 URL 确定优先级并从中选出下一步要抓取的 URL。从待抓取 URL 队列中读取优先级最高的 URL准备抓取对应的网页。若满足设置的停止条件则停止采集若不满足停止条件则继续根据新 URL 抓取对应的网页并重复步骤38。1.4.2 网络爬虫抓取网页的流程学习目标熟悉网络爬虫的工作流程能够归纳网络爬虫抓取网页的完整流程。网络爬虫抓取网页的完整流程如下精心挑选若干网页将这些网页作为种子 URL 放入待抓取 URL 队列中。从待抓取 URL 队列中按照顺序读取下一个要处理的 URL。通过 DNS 域名解析将 URL 的域名转换为对应服务器的 IP 地址。将解析得到的 IP 地址和网页路径信息传递给网页下载器由其负责网页内容的下载。网页下载器与目标服务器建立连接将指定网页的内容完整下载到本地进行存储。将下载到本地的网页存储到网页库供后续索引和处理使用同时将下载过网页的 URL 放入已抓取 URL 队列中用于后续去重判断。对刚刚下载的网页进行解析抽取其中包含的所有 URL。查询抽取的 URL 是否在已抓取 URL 队列中如果不在说明它对应的网页没有被下载过则将这个 URL 放入待抓取 URL 队列中。重复步骤28直到待抓取 URL 队列为空时停止抓取。1.5 网络爬虫实现技术探究学习目标了解网络爬虫的实现技术能够说出使用 Python 实现网络爬虫有哪些优势。1.5.1 网络爬虫的实现技术为满足用户快速、高效地从网页采集数据当前市面上推出了一些功能强大的网络爬虫工具如八爪鱼采集器、火车采集器等。这些工具提供了图形化操作界面大大降低了网络爬虫的使用门槛使非技术人员也能轻松完成数据采集任务。除了直接使用这些现成的工具之外还可以选择自行开发定制化的网络爬虫程序。目前可用于开发网络爬虫程序的语言主要有 Go、JavaScriptNode.js、Java、Python 这 4 种。语言优势不足典型适用场景Go语法简洁轻量级协程支持真正的并发标准库网络支持强大内存占用低、运行效率高爬虫生态不如 Python 丰富处理动态页面较为麻烦对性能要求严苛、需要处理高并发请求的大规模分布式爬虫项目JavaScriptNode.js能原生处理动态网页配合 Puppeteer、Playwright 等库控制浏览器完美模拟用户操作与前端技术栈无缝衔接单线程架构限制并发性能内存消耗较大需额外处理复杂的防爬虫机制如指纹验证需要深度解析前端渲染数据、应对动态内容加载的爬虫场景Java生态成熟多线程处理能力强大可无缝集成 Hadoop/Spark 等架构跨平台代码冗长开发效率较低处理动态页面需要依赖额外浏览器引擎企业级分布式爬虫系统、与大数据平台集成的项目、高稳定性要求的商业应用Python成熟的爬虫框架和丰富的解析库配合动态渲染工具能快速实现各类采集任务开发效率极高受全局解释器锁GILGlobal Interpreter Lock限制多线程性能较差内存消耗较大不适合超大规模并发采集中小规模数据采集、爬虫算法快速原型验证、与机器学习或数据分析结合的研究型项目1.5.2 使用 Python 开发网络爬虫的优点本书选择 Python版本为 3.13作为开发网络爬虫程序的语言主要原因有以下几点语法简洁。要实现相同的功能使用 Python 只需要编写几十行代码而使用 Java 可能需要编写几百行代码。容易上手。Python 拥有极其丰富的学习资源和活跃的开发者社区无论是官方文档、在线教程还是技术论坛都能为学习者提供全方位的支持大大降低了入门难度。开发效率高。作为动态脚本语言Python 特别适合需要频繁调整和迭代的开发场景能够快速响应不同网站的结构变化从而大幅提升开发效率。生态体系完善。Python 提供了包括内置模块、第三方库以及成熟的爬虫框架在内的完整生态开发者可以直接调用这些经过验证的工具快速实现爬虫核心功能显著缩短开发周期。1.5.3 Python 网络爬虫的流程学习目标熟悉网络爬虫的实现流程能够归纳使用 Python 实现网络爬虫的流程。互联网作为全球最大的信息库承载着数以亿计的网页内容和海量数据。虽然不同网站的结构设计和内容呈现方式千差万别但使用 Python 开发网络爬虫程序的基本流程是相同的大致可以系统性地划分为以下 3 个步骤抓取网页数据根据目标网页的 URL 向网站发送请求并获取网页的原始数据原始数据通常包括原始代码、纯文本或结构化数据。这一过程模仿用户在浏览器访问网页的过程用户在浏览器的地址栏中输入网址按回车键后看到完整网页。由于不同网站对请求可能有着不同的要求网络爬虫需要合理控制访问频率并模拟真实浏览器的访问特征以避免被屏蔽。解析网页数据从网页的原始数据中提取出目标数据比如文本、链接、图片等。这一步的核心在于准确识别目标数据的存放位置并将其从广告、导航等大量无关内容中分离出来。例如想要采集所有华为手机的价格信息需要准确定位价格所在的位置同时排除网页中的广告、推荐等干扰内容。解析的准确性将直接影响最终获取的数据质量因此需要根据网页结构的特点选择适当的解析方式确保关键信息能够被完整、正确地提取出来。存储数据将提取出来的目标数据以规范化的形式进行持久化存储以便后续使用。存储方式的选择需要考虑数据规模、访问频率以及后续使用需求等因素对于少量数据可以采用文本文件或表格文件进行存储对于海量数据则需要采用专业的数据库系统来保证存储效率和查询性能。合理的存储方案不仅能确保数据安全还能提高后续数据处理的便利性。1.6 AI 赋能网络爬虫1.6.1 AIGC 工具的安装与使用学习目标熟悉 AIGC 工具的基本使用能够在 PyCharm 中安装 CodeGeeX 插件。随着人工智能Artificial IntelligenceAI技术的深度应用网络爬虫正经历从传统规则化抓取向智能化操作的范式转变。以人工智能生成内容Artificial Intelligence Generated ContentAIGC为代表的新一代技术通过智能代码生成、动态请求模拟、防爬虫应对策略优化等能力正在重塑网络爬虫的开发流程。目前市场上涌现出如 GitHub Copilot、CodeGeeX、Cursor 等多款 AIGC 工具它们通过自然语言交互和智能代码补全大幅降低了网络爬虫开发的技术门槛。在众多 AIGC 编程辅助工具中智谱AI推出的CodeGeeX凭借强大的 CodeGeeX 大模型基础在智能化编程辅助方面展现出独特优势。CodeGeeX 作为新一代 AI 编程助手集成了代码补全、智能问答、代码翻译等核心功能其突出特点主要包括支持跨文件上下文理解实现精准的代码续写可将自然语言描述直接转化为可执行代码提供代码解释、注释生成、单元测试生成、智能问答等全方位辅助个人用户免费使用特别针对 Python、Java 等主流语言进行了深度优化并支持 PyCharm、VS Code 等主流开发工具。1. 安装 CodeGeeX 插件以 Windows 系统下的 PyCharm 为例安装步骤如下启动 PyCharm在顶部菜单栏中选择File → Settings打开设置对话框。在设置对话框的左侧菜单中单击Plugins进入插件管理界面。切换到Marketplace标签页在顶部搜索栏中输入CodeGeeX搜索后可以看到实时筛选的匹配结果。单击CodeGeeX右侧的Install按钮开始安装安装完成后单击 OK 按钮保存设置关闭设置对话框并重启 PyCharm 生效。重启后在右侧工具栏会出现 CodeGeeX 的图标及登录提示框。使用 CodeGeeX 之前需要完成账号登录如果有智谱AI账号可以直接通过账号登录如果尚未注册需要先访问 CodeGeeX 官网codegeex.cn完成账号注册再进行登录。单击右侧工具栏中的 CodeGeeX 图标打开插件面板单击面板中的登录按钮系统会自动在默认浏览器中打开 CodeGeeX 登录页使用手机号完成注册或登录。完成登录后返回 PyCharm此时 CodeGeeX 面板的状态显示已登录并自动启用云端大模型即可开始使用智能编码辅助功能。2. 使用 CodeGeeX 插件CodeGeeX 插件集成了代码补全、智能问答、代码翻译、注释生成等功能其中代码补全、智能问答是比较常用的核心功能。1代码补全CodeGeeX 的代码补全功能依托海量优质开源代码数据训练具备卓越的上下文感知能力可动态解析当前文件及跨文件代码语境实现行级与函数级的实时智能续写。当在代码文件中输入with关键字开始文件读取操作时插件会立即基于上下文智能生成文件操作的基础语句框架。完整采纳建议按Tab键不需要建议按Esc键或继续输入代码即可自动忽略。例如编写统计英文文本文件中各单词数量的程序时先输入with语句读取文件再添加一行注释# 按空格对读取结果进行分词并统计每个单词的数量插件会根据注释语义自动生成后续代码with open(data.txt, r) as f: content f.read() # 按空格对读取结果进行分词并统计每个单词的数量 words content.split() word_count dict() for word in words: if word in word_count: word_count[word] 1 else: word_count[word] 1这种人机协同的编码模式减少了重复性输入的工作量降低了语法错误出现的概率从而显著提升编程效率与代码质量。2智能问答CodeGeeX 的智能问答功能能够通过自然语言交互为开发者提供即时的编程辅助。用户只需用自然语言描述问题或需求CodeGeeX 即可实时生成精准的代码示例、技术解答或优化方案。在 PyCharm 中单击右侧工具栏的 CodeGeeX 图标即可打开智能问答对话框。在对话框中输入什么是网络爬虫并回车插件会从定义、工作原理、典型应用等多个维度展开详细解答输入写一段代码实现快速排序并回车插件会自动生成完整的实现代码def quick_sort(arr): if len(arr) 1: return arr pivot arr[len(arr) // 2] left [x for x in arr if x pivot] middle [x for x in arr if x pivot] right [x for x in arr if x pivot] return quick_sort(left) middle quick_sort(right) ​ ​ # 示例用法 arr [3, 6, 8, 10, 1, 2, 1] sorted_arr quick_sort(arr) print(sorted_arr)1.6.2 使用 AIGC 工具快速编写爬虫学习目标熟悉 AIGC 工具的基本使用能够通过 AIGC 工具快速实现爬虫代码。在传统爬虫开发中开发者往往需要手动拆解网页结构、编写数据解析逻辑还要针对性处理验证码、IP 地址限制等防爬虫措施整个过程耗时费力。而借助 CodeGeeX 的智能辅助这一流程得以大幅简化开发者只需在对话框中清晰描述爬虫需求比如目标网站、待提取字段等按回车键CodeGeeX 就能快速生成可直接运行的爬虫代码。案例爬取新浪新闻首页的新闻标题及链接在智能问答对话框中描述需求如写一个爬虫爬取新浪新闻首页的新闻标题及其对应的链接回车后 CodeGeeX 自动生成完整代码单击代码上方的插入按钮即可将代码直接插入当前编辑的文件中import requests from bs4 import BeautifulSoup ​ # 发送HTTP请求获取新浪新闻首页内容 url https://news.sina.com.cn/ headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } response requests.get(url, headersheaders) ​ if response.status_code 200: # 使用BeautifulSoup解析HTML内容 soup BeautifulSoup(response.text, html.parser) # 查找所有的新闻标题和链接根据网页结构调整选择器 news_list soup.find_all(a) # 提取并打印新闻标题和链接 for item in news_list: title item.get_text(stripTrue) link item.get(href) if title and link: # 过滤掉没有标题或链接的情况 print(f标题: {title}, 链接: {link}) else: print(f请求失败状态码{response.status_code})以上代码对应配套源码文件源代码/第1章/CodeGeeX的基本使用.py的初版部分。首次运行后抓取的新闻标题可能出现乱码这是由于没有正确解析网页编码导致的。在智能问答对话框中描述该问题如爬取结果中的中文出现乱码插件会给出优化方案使用response.apparent_encoding自动识别网页编码并赋值给response.encoding。替换旧代码后再次运行中文标题即可正常显示。完整代码如下import requests from bs4 import BeautifulSoup ​ url https://news.sina.com.cn/ headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 } ​ response requests.get(url, headersheaders) ​ # 设置响应内容的编码格式 response.encoding response.apparent_encoding # 自动识别网页编码 ​ if response.status_code 200: soup BeautifulSoup(response.text, html.parser) ​ # 常见标题标签形式可按需调整选择器以提高准确性 news_items soup.find_all(a) ​ for item in news_items: title item.get_text(stripTrue) link item.get(href) if title and link: print(f标题: {title}, 链接: {link}) else: print(f请求失败状态码{response.status_code})代码说明requests.get(url, headersheaders)携带浏览器请求头发送 GET 请求headers中的 User-Agent 起到了最基础的请求伪装作用response.apparent_encodingrequests 根据网页内容字节流分析出的备选编码将其赋给response.encoding后再访问response.text时即可按正确编码解码解决中文乱码问题BeautifulSoup(response.text, html.parser)使用 Python 内置解析器构建 BeautifulSoup 对象soup.find_all(a)提取页面中所有超链接标签再通过get_text()和get(href)分别取出标题文本与链接地址。本章小结本章是全书的开篇主要内容包括网络爬虫的概念与分类网络爬虫是一种按照预设规则自动请求网站并提取数据的程序按系统结构和实现技术可分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网络爬虫 4 种类型。应用场景网络爬虫广泛应用于搜索引擎、电商价格监控、舆情监测管理、政务数据整合、内容聚合平台等领域。合法性与防爬虫策略Robots 协议是网站与爬虫之间的君子协议通过网站根目录下的 robots.txt 文件声明抓取范围常见的防爬虫应对策略包括请求伪装、请求频率控制、代理服务器设置、动态页面处理和验证码识别。工作原理与流程通用网络爬虫从种子 URL 出发循环抓取、解析、去重、入队聚焦网络爬虫在此基础上增加主题相关性筛选抓取网页的完整流程包括 DNS 解析、下载、存储、URL 抽取与去重等环节。实现技术Go、JavaScript、Java、Python 均可用于爬虫开发Python 凭借语法简洁、容易上手、开发效率高、生态完善四大优点成为本书的选择Python 爬虫的基本流程为抓取网页数据 → 解析网页数据 → 存储数据三步。AI 赋能以 CodeGeeX 为代表的 AIGC 工具支持代码补全与智能问答能够通过自然语言描述快速生成爬虫代码并辅助排查乱码等问题显著提升开发效率。通过本章内容的学习读者对网络爬虫会有一个大致的认识为后续深入学习网络爬虫奠定基础。