终端发 HTTP 请求用 xh,比 curl 好记,比 httpie 启动还快
curl 我用了十几年,但每次发个带 JSON body 的 POST,我还是得停下来想一秒:-X POST 要不要写?-H "Content-Type: application/json" 拼对了吗?body 是 -d 还是 --data-raw?引号怎么转义?
[爬虫] 系列④urllib 发请求:Python 自带爬虫库
Python 自带一个 urllib 库,不用 pip install 就能发 HTTP 请求。虽然后面你大概率会用 requests,但 urllib 是理解 Python 网络请求的基础,面试也常问它和 requests 的区别。
Python用 AI 做接口压测脚本生成与结果解读
注意,这篇讲的是性能压测(QPS、延迟分布、瓶颈),不是"接口模糊测试"(那个是喂异常输入找崩溃)。压测的价值不在"跑出一个大数字",而在找到系统在哪个并发量开始变慢、以及慢在哪个环节。
Scrapling:HTTP 请求、隐身浏览器、解析器和爬虫框架
图:Scrapling 官方封面(来源:项目仓库 docs/assets/main_cover.png)我又一次接到"把这个网站的数据抓下来"的需求。打开网站一看,数据靠 JavaScript 渲染,接口藏着 Cloudflare 的验证后面。
模拟登录爬虫实战:三招拿到登录态 Cookie
很多人写爬虫卡在第一步:不登录就拿不到数据。所谓 "模拟登录",本质就是让程序扮演一个真实用户,通过身份认证,拿到维持登录状态的凭证(主要是 Cookie)。这篇把三种主流方法一次讲透 —— 不仅教你 "怎么登成功",更告诉你 "为什么能成功"" 什么场景该选哪种 "。
跨域请求为什么被浏览器拦?CORS 预检 18 组用例实测
结论先放这:跨域报错大多不是「你没开 CORS」,而是浏览器认定后端该回的响应头没回对。我把 18 组典型的跨域场景做成一张判定表,逐条跑下来 18 组结论与预期完全一致:4 组直接放行、5 组走预检后放行、9 组被浏览器拦下。在线案例与源码:https://atomgit.
基于Python网络爬虫 电子产品信息查询可视化系统- 毕业设计 +LW文档
## 摘要随着电子商务的快速发展,京东、淘宝等平台上的电子产品信息呈爆炸式增长。用户在面对海量手机商品时,难以快速获取结构化、可对比的决策依据。本文设计并实现了一个基于Python网络爬虫的电子产品信息查询可视化系统。
[爬虫] 系列①爬虫第一步:搞懂 HTTP 请求响应
写爬虫之前先搞懂一件事:浏览器输入网址后到底发生了什么?你看到的网页,本质是服务器返回的一段 HTML 文本。爬虫要做的,就是模拟这个 "请求 - 响应" 过程。一、HTTP 是什么HTTP(超文本传输协议)是浏览器和服务器之间对话的规则。你在浏览器输入www.baidu.
[爬虫] 系列⑥requests 上手:比 urllib 好用十倍
合规提醒:本文仅用于学习公开数据采集技术,实际爬取请遵守目标网站 robots 协议和相关法律法规。urllib 能用但写起来啰嗦,requests 是 Python 生态最流行的 HTTP 库,一行代码发请求。这篇把 requests 的核心用法一次讲透。
Prompt 模板库:7 类提问模板拼起来,一次把需求说清
先把结论放这:一句「帮我写个周报」,检测下来只覆盖 0 个必备要素,6 个缺 5 个。把它按 7 类模板分别填一遍,拼出来的提示词从 6 个字变成 238 个字,必备要素缺口从 5 个降到 0 个。