python requests 持久化 cookie 示例

python requests 持久化 cookie 示例:...

session = requests.session() 返回一个 Session 会话对象,在复用该对象进行请求,会自动带上前一个请求生成的 cookie。

通过 json.dumps(session.cookies.get_dict()) 将 cookie 转换成字符串,保存到文件。下次启动程序时,再通过 session.cookies.update(json.load(f)) 还原之前的 cookie,这样有效的复用 cookie,在一些需要登录状态验证的场景中可以免去频繁的登录操作。

分类至 Python
0条评论

python selenium 爬虫脚本示例

环境要求

1、安装 python3 环境后,用 pip 安装 selenium 包:pip install selenium

2、安装 Google Chrome 浏览器,我安装的版本是:89.0.4389.90(64 位)

3、安装 chromedriver,可以从国内镜像下载 https://npm.taobao.org/mirrors/chromedriver 。注意,上图 Chrome 浏览器的主板号是89,下载的 chromedriver 主版本号要一致...

分类至 Python
0条评论

python 脚本输出时禁用缓冲区

在 linux 系统上运行 python 脚本时,做了输出重定向,如:

python3 script.py > out.log &

实际运行时,脚本的输出并没有实时输出到 out.log 里面。因为后台运行 python 程序输出会先输出到缓冲区,等缓冲区满或者脚本结束后再输出。

想要实时输出,加个 -u 参数即可:

python3 -u script.py > out.log &

这个 -u 也可以加在 script.py 脚本头部:#!/usr/bin/python3 -u

分类至 Python
0条评论