Python web分析(gunicorn + werkzeug)

发布于:2022-07-17 ⋅ 阅读:(474) ⋅ 点赞:(0)

flask

FBI WARNING: This is a development server. Do not use it in a production deployment.
Use a production WSGI server instead.

兄弟们,熟悉的片头有没有,每次flask都会善意提醒大家仅限在开发环境使用,生产环境请用别的WSGI服务器。

那什么是WSGI服务器?

WSGI全称Python Web Server Gateway Interface,是专门为python web框架和web服务器之间制定的标准接口。

在这里插入图片描述

如上是web通信过程,用户如何访问我们用Django和Flask框架编写的接口,需要通过web服务器(nginx、apache做转发、负载均衡)和WSGI将请求送入web框架,其中WSGI就是web服务器和web框架之间的桥梁,有多种实现

比如Gunicorn (/dʒi-'junɪ.kɔrn/)

Gunicorn 'Green Unicorn' is a Python WSGI HTTP Server for UNIX. It's a pre-fork worker model. The Gunicorn server is broadly compatible with various web frameworks, simply implemented, light on server resources, and fairly speedy.

flask分析

flask自带了一个简单的wsgi,通过app.run调用werkzeug(/ˈvɛrkʦɔyk/)提供的run_simple方法来启动服务。我们可以看到,flask默认启用了多线程,即每个请求单独拉个线程处理。也可以开多进程(通过设置参数processes),只不过flask多线程和多进程无法共存。

options.setdefault("use_reloader", self.debug)
options.setdefault("use_debugger", self.debug)
options.setdefault("threaded", True)

cli.show_server_banner(self.env, self.debug, self.name, False)

from werkzeug.serving import run_simple

try:
    run_simple(t.cast(str, host), port, self, **options)
finally:
    ...

但是能支持多少并发量呢,很遗憾,并发高了之后,线程已经创建不了了,服务也随之崩溃了,这在生产环境可是个要命的大问题。

libgomp: Thread creation failed: Resource temporarily unavailable

但gunicorn却能安然无恙,它使用线程池的方式,不会无限制的新建线程。

flask在每个请求来的时候去通过threading.Threados.fork来新建线程和进程,请求结束即销毁。这样新建销毁的时间开销是个巨大的浪费。

所以建议在生产环境使用gunicorn作为wsgi服务器,来实现更高的性能和稳定性。

性能测评

分析一个系统的好坏,QPS是很关键的一个指标,即每秒请求次数,其与接口响应时间、WSGI服务器、web服务器、系统架构和硬件水平是息息相关的。

用wrk可以对系统的好坏进行测评。

root@:/# wrk --help
Usage: wrk <options> <url>
  Options:
    -c, --connections <N>  Connections to keep open
    -d, --duration    <T>  Duration of test
    -t, --threads     <N>  Number of threads to use

    -s, --script      <S>  Load Lua script file
    -H, --header      <H>  Add header to request
        --latency          Print latency statistics
        --timeout     <T>  Socket/request timeout
    -v, --version          Print version details

  Numeric arguments may include a SI unit (1k, 1M, 1G)
  Time arguments may include a time unit (2s, 2m, 2h)

python由于GIL锁限制,多线程模式会受到限制,尤其是对于CPU密集型的接口。

本文含有隐藏内容,请 开通VIP 后查看

网站公告

今日签到

点亮在社区的每一天
去签到