Haauleon Blog

我干了什么 究竟拿了时间换了什么

Python3 | 使用 random 生成随机数

使用 Python3 中的 random 库生成随机数、随机小数、随机序列、随机字符串以及扑克洗牌等方法

一、生成随机浮点数或小数 1、生成 0-1 之间的浮点数 1 2 3 import random rnd = random.random() print(rnd) 输出 1 0.4116634571675989 2、生成 0-1 之间的浮点数，2位精度 1 2 rnd = round(random.random(),2) print(rnd) 输出 1 0.86 3、...

Posted by Haauleon on May 6, 2023

爬虫 | 免费代理池

部分渠道已验证

免费ip代理池 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 https://openproxy.space/list https://www.proxy-list.download/HTTP https://awmproxy.net/freeproxy.php https://github.com/zqHero/FreeIpAgent/blob/...

Posted by Haauleon on April 27, 2023

Python3 | 多线程爬虫

基于requests和threading模块实现多线程爬虫

相关链接： 基于requests和threading模块实现多线程爬虫

Posted by Haauleon on April 27, 2023

Python3 | python搭建ip池

爬取网站有时候会遭受封ip，需要搭建自己的ip池用于爬虫

在爬取网站的时候我们有时候会遭受封ip等显现，因此我们需要搭建自己的ip池用于爬虫。 代码过程简述 1、爬取代理ip网站信息 2、将获取的信息处理得到ip等关键信息 3、保存首次获取的ip信息并检测其是否可用 4、检测完毕将可用ip保存，搭建完成 本文是单线程，比较简单但效率可能没有那么快。 下面是搭建完后的ip池展示： ...

Posted by Haauleon on April 27, 2023

Python3 | python搭建ip池（多线程）

单线程的效率太低，升级改造将单线程变成多线程来搭建ip池

之前有讲过怎么搭建ip池，但由于单线程的效率太低，于是我们升级改造一下，将单线程变成多线程来搭建ip池，之前的方法可以参考一下：python搭建ip池 （如果会简单的request和提取文字就可以直接不看）本文将会重点放在多线程的部分。 过程分为两部分 一、从网站上获取所有的ip信息 1、获取待爬取的url列表 2、对多线程类进行重写 3、多线程访问前面获取的...

Posted by Haauleon on April 27, 2023

Python3 | SyntaxError: Non-ASCII character

SyntaxError: Non-ASCII character 'è' in file test.py on line 5, but no encoding declared;

SyntaxError 1 2 SyntaxError: Non-ASCII character '\xe8' in file test.py on line 5, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details 原因：注释里面出现了中文，而 Python 支持的 ASCII 码...

Posted by Haauleon on April 27, 2023

Python3 | werkzeug.wrappers 模块异常

ImportError: cannot import name ‘BaseResponse‘ from ‘werkzeug.wrappers‘

ImportError 1 ImportError: cannot import name ‘BaseResponse‘ from ‘werkzeug.wrappers‘ 解决 可以使用以下命令降级安装werkzeug： 1 pip install --upgrade werkzeug==0.16.1 相关链接： ImportError: canno...

Posted by Haauleon on April 25, 2023

Python3 | SqlServer 查询重复数据

SqlServer 中如何查询重复数据

查询数据库表中字段重复的记录 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 SqlServer查询重复数据 1.查询单列重复： select * from test where name in (select name from test group by name having count(name) > 1 ) 2.查询多列...

Posted by Haauleon on April 25, 2023

Python3 | markupsafe 模块异常

解决ImportError: cannot import name ‘soft_unicode‘ from ‘markupsafe‘

ImportError 1 ImportError: cannot import name 'soft_unicode' from 'markupsafe' 解决 这个报错应该怎么解决呢？ 1、 根据错误提示，我们发现是导入markupsafe这个库引起的报错，首先我们先查看这个库是否存在。 1 pip show markupsafe 2、经过...

Posted by Haauleon on April 25, 2023

Python3 | 在 Debian 上安装 Python 3.8

在 Debian 上安装 Python 3.8

安装步骤 在 Debian 上构建 Python 3.8 是一个相对简单的过程，只需几分钟。 （1）首先安装构建Python源所需的包： 1 2 sudo apt update sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline...

Posted by Haauleon on April 25, 2023

FEATURED TAGS
Python 爬虫 Flask Web开发 面试 数据库 Jmeter Ubuntu 操作系统 Postman Java 数据监控 Fiddler Nodejs Vagrant 影刀RPA Allure Android 单元测试框架 自动化办公 SQLAlchemy 数据分析 Newman Pytest Windows 禅道脚本 Charles K6 Linux ORM Pycharm SqlServer ip代理池 插件 Debian Jenkins MacOS Mariadb Django Gitbook Docker Git MySQLdb Nginx
ABOUT ME

人要么庸俗，要么孤独
People are either vulgar or lonely.

FRIENDS