Python 网络请求实战:Requests 与 aiohttp,从单请求到并发提速
做数据分析、竞品调研,第一步永远是 "把数据从网络拿下来"。Python 里最常用的两个 HTTP 库 ——Requests(同步)和 aiohttp(异步),足以覆盖绝大多数场景。⚠️ 技术本身是中性工具,请务必遵守目标网站 robots.
Python3 线程:多任务并发编程详解
Python 线程:什么时候该用,什么时候别用写并发代码的时候,很多人第一反应就是”开线程”。但 Python 的线程有个特殊的地方——GIL(全局解释器锁)。这东西让 Python 同一时刻只能有一个线程在执行 Python 字节码。
HTTP/1.1 升级到 HTTP/2:加速前端页面的并发加载
很多人对 HTTP/2 的认知只有一句空话——"它比 HTTP/1.1 更快"。 但快在哪里?什么场景下更快?什么情况下反而更慢?为什么配置了却不生效?Chrome 又是怎么对待这两种协议的?
HTTP 核心知识完整整理:HTTP 状态码、请求方法、通用与常用头部等
本文整合 HTTP 状态码分类与全部注册值、请求方法(附 curl 示例)、认证方式(含多种 curl 示例)、通用与开发常用头部、Content-Type 高频值,以及 Python 识别国内外浏览器/OS 的完整方案。
每天一个 Python 库:httpx异步请求,让接口测试飞起来
requests瓶颈突出,异步性能碾压,httpx正在悄然取代它?最近我在做爬虫项目,发现传统的requests库在并发请求时特别慢,一次请求等几秒,几十个请求下来要等好久。后来了解到httpx这个库,能同步也能异步,支持HTTP/2,性能提升很大。
[爬虫] 系列⑱Splash:无头浏览器渲染服务
合规提醒:本文仅用于学习公开数据采集技术,实际爬取请遵守目标网站 robots 协议和相关法律法规。Selenium 要开浏览器实例占内存重。Splash 是跑在 Docker 里的无头浏览器服务,你发 HTTP 请求它帮你渲染。
短链接服务开发中必须避开的5个操作系统原理陷阱
引言在开发一个短链接服务时,很多初学者会把注意力集中在前端页面展示和后端接口逻辑上,忽略了操作系统底层原理所带来的潜在问题。本文将从操作系统的角度出发,结合短链接业务场景中的常见问题与解决方案,帮助你理解操作系统的基本原理,并规避一些常见的陷阱。
图灵星环:Python Flask,HTTP 微服务开发从入门到部署
Python Web 开发领域,Flask 是一款轻量、灵活、极简的 WSGI 微服务框架,也是入门 HTTP 接口开发、后端服务搭建、微服务项目落地的首选框架。
Scrapling:HTTP 请求、隐身浏览器、解析器和爬虫框架
图:Scrapling 官方封面(来源:项目仓库 docs/assets/main_cover.png)我又一次接到"把这个网站的数据抓下来"的需求。打开网站一看,数据靠 JavaScript 渲染,接口藏着 Cloudflare 的验证后面。