2025-08-04 22:49:14

在搜狗浏览器中设置代理

Scrapy 安装错误解决方法

北风之神c:

总结的很全面的scrapy爬虫，写得赞，博主用心了。

此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，

只需要@boost一行代码，加到任意新/旧爬虫项目就又强又自由又简单。

funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，

此框架如果用于爬虫，不管从任何方面比较可以领先scrapy 20年，也比任意写的爬虫框架领先10年。

普通爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，

所以有些奇葩独特的想法在那种框架里面难以实现，用户需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。

普通的爬虫框架与用户手写requests 请求解析存储，在流程逻辑上是严重互斥的，要改造成使用那种框架改造需要大改特改。

而此框架是函数调度框架，函数里面用户可以随意写一切任意自由想法，天生不会有任何束缚。

依托于funboost的强大可视化管理，不登录机器可以轻松掌控分布式大规模爬虫运行状态，一目了然。

可视化截图： https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html

夫 天下爬虫，当顺天命。Scrapy十败如山崩，Funboost十胜如日升。

将 Python 日志记录器连接到 Oracle 数据库

北风之神c:

总结的很全面的日志使用，写得赞，博主用心了。

此国产日志 https://nb-log-doc.readthedocs.io/zh-cn/latest/articles/c1.html 使用原生 loggng封装，兼容性和替换性100%,只需要一行代码大幅简化logging的使用。

1、日志能根据级别能够自动变彩色。

2、print自动变彩色。

3、日志和print在pycahrm控制台的输出都自动可以点击跳转到文件和行号。

4、多进程日志切割安全，文件日志写入性能高 。

5、入参简单，能一键自动记录到多种地方。

6、 nb_log 兼容包含loguru色彩模式,loguru只是nb_log的子集之一.

相比 loguru 有10胜。

pip install nb_log 。

Django - Celery 连接拒绝

北风之神c:

总结的很全面，写得赞，博主用心了。

celery对目录层级文件名称格式要求太高，只适合规划新的项目，对不规则文件夹套用难度高。

所以新手使用celery很仔细的建立文件夹名字、文件夹层级、python文件名字。

在不规范的文件夹路径下，使用celery难度很高，一般教程都没教。

[项目文件夹目录格式不规范下的celery使用演示](https://github.com/ydf0509/celery_demo) 。

此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c1.html ，

从用法调用难度，用户所需代码量，超高并发性能，qps控频精确程度，支持的中间件类型，任务控制方式，稳定程度等20个方面全方位超过celery。发布性能提高1000%，消费性能提高2000%。

python万能分布式函数调度框架funboost支持python所有类型的并发模式和一切知名消息队列中间件，python函数加速器，只需要一行代码调度任意函数，框架包罗万象,万能编程功能宝典，一统编程思维，与业务不绑定，适用范围广。

通过 funboost web manager 全方位可视化管理和查看你的函数运行情况，无需看文件日志。 https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html

pip install funboost

Python爬虫相关未来就业方向与薪资

北风之神c:

总结的很全面的爬虫，写得赞，博主用心了。

此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，

只需要@boost一行代码，加到任意新/旧爬虫项目就又强又自由又简单。

funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，

此框架如果用于爬虫，不管从任何方面比较可以领先scrapy 20年，也比任意写的爬虫框架领先10年。

普通爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，

所以有些奇葩独特的想法在那种框架里面难以实现，用户需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。

普通的爬虫框架与用户手写requests 请求解析存储，在流程逻辑上是严重互斥的，要改造成使用那种框架改造需要大改特改。

而此框架是函数调度框架，函数里面用户可以随意写一切任意自由想法，天生不会有任何束缚。

与用户使用别的爬虫框架或者无框架用户手写多线程爬虫相比， funboost都代码更少更强更简单更自由。

pip install boost_spider (powerd by funboost ，boost_spider比funboost增加了更加专门的针对爬虫请求和解析和存储）

https://github.com/ydf0509/boost_spider

依托于funboost的强大可视化管理，不登录机器可以轻松掌控分布式大规模爬虫运行状态，一目了然。

可视化截图： https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html

python 中的“_,“有什么用途

gxuhonglou301:

没看懂