原创丨如何大幅提高 Django 网站加载速度

”之前做了个爬虫案例平台，https://scrape.center/，具体文章在 原创丨发布一个爬虫案例平台，帮助爬虫初学者进行练手。

平台内我设计了非常多的网站，有服务端渲染、客户端渲染等，其中服务端渲染的页面大家可能爬取的频率比较高，时不时就会遇到被爬挂的情况。

比如这个网站：https://ssr1.scrape.center/，当访问频率高的时候，甚至我后端开了 20 个 Pod 也承受不来，大家并发量有点猛啊。

这个后端是用 Django 写的，而且这个网站的数据不怎么更新，索性再加个 Cache 吧，在 Django 中最高效的 Cache 当属 Memcached 了，本篇文章就来简单记录下 Django 对接 Memcached 的过程。

官方资料

千说万说都不如官方文档来的直接，首推官方文档：https://docs.djangoproject.com/en/3.1/topics/cache/。

然后后面就是我简单的笔记了。

依赖库

首先需要安装个依赖库，这里用的是 python-memcached，可以使用 pip 来安装：

pip3 install python-memcached

由于我使用的是 Docker，所以就把它写到 requirements.txt 里面了。

配置

另外还需要在 settings.py 里面配置一下，内容如下：

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': 'cache:11211',
    }
}

这里 LOCATION 是需要一个 Memcached 服务，运行在 11211 上面。

另外还需要开启两个中间件：

MIDDLEWARE = [
    'django.middleware.cache.UpdateCacheMiddleware',
    ...
    'django.middleware.cache.FetchFromCacheMiddleware',
]

这里要加两个中间件，一个在最前面，一个在最后面，顺序不能换，中间的是之前配置的其他中间件。

Docker-Compose

OK，接下来就是使用 Docker 启动了，这里 Docker-Compose 里面就需要增加一个 Memcache 服务，配置如下：

version: '3'
services:
  ssr1-backend:
    container_name: 'scrape-ssr1-backend'
    restart: always
    build: ./backend
    image: 'scrape-ssr1-backend'
    ports:
      - '8000:8000'
    environment:
      ...
  cache:
    image: memcached
    ports:
      - '11211:11211'
    entrypoint:
      - memcached
      - -m 64

这里主要是 cache 的配置，需要加上端口映射和入口参数，这里内存大小设置为 64M。

Kubernetes

我的部署使用的是 Kubernetes，所以对应的 yaml 文件也需要更改了，配置更改如下：

apiVersion: v1
items:
  - apiVersion: v1
    kind: Service
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-backend
      name: ssr1-backend
      namespace: scrape
    spec:
      ports:
        - name: "8000"
          port: 8000
          targetPort: 8000
      selector:
        io.kompose.service: ssr1-backend
    status:
      loadBalancer: { }
  - apiVersion: apps/v1
    kind: Deployment
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-backend
      name: ssr1-backend
      namespace: scrape
    spec:
      replicas: 20
      revisionHistoryLimit: 1
      strategy: { }
      selector:
        matchLabels:
          io.kompose.service: ssr1-backend
      template:
        metadata:
          annotations:
            kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
            kompose.version: 1.20.0 ()
          creationTimestamp: null
          labels:
            io.kompose.service: ssr1-backend
        spec:
          containers:
            - env:
                - name: APP_ENV
                  value: production
                - name: MEMCACHED_HOST
                  value: ssr1-cache
              image: germey/scrape-ssr1-backend:${TAG}
              name: scrape-ssr1-backend
              ports:
                - containerPort: 8000
              resources: { }
          restartPolicy: Always
    status: { }
  - apiVersion: v1
    kind: Service
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-cache
      name: ssr1-cache
      namespace: scrape
    spec:
      ports:
        - name: "11211"
          port: 11211
          targetPort: 11211
      selector:
        io.kompose.service: ssr1-cache
    status:
      loadBalancer: { }
  - apiVersion: apps/v1
    kind: Deployment
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-cache
      name: ssr1-cache
      namespace: scrape
    spec:
      replicas: 1
      revisionHistoryLimit: 1
      strategy: { }
      selector:
        matchLabels:
          io.kompose.service: ssr1-cache
      template:
        metadata:
          annotations:
            kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
            kompose.version: 1.20.0 ()
          creationTimestamp: null
          labels:
            io.kompose.service: ssr1-cache
        spec:
          containers:
            - image: memcached
              name: scrape-ssr1-cache
              ports:
                - containerPort: 11211
              resources: { }
          restartPolicy: Always
    status: { }
kind: List
metadata: { }
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: ingress-ssr1
  namespace: scrape
  annotations:
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  tls:
    - hosts:
        - ssr1.scrape.center
      secretName: tls-wildcard-scrape-center
  rules:
    - host: ssr1.scrape.center
      http:
        paths:
          - backend:
              serviceName: ssr1-backend
              servicePort: 8000
            path: /

注意这里我给 Django 后端增加了一个环境变量，叫做 MEMCACHED_HOST，所以在 Django 中，我们可以通过环境变量来读取 Memcached 的 Host，当然端口也可以类似设置，不过端口我就直接写死了，配置更改如下：

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': os.getenv('MEMCACHED_HOST') + ':11211',
    }
}

OK，这样改完之后重新部署就好了。

部署之后我直接将 Pod 降到了 2 个，第一次访问速度可能稍慢，但是一旦加载出来之后，该页面就会被缓存下来，后续访问速度就只有两三百毫秒了，测速如下：

简单测速

结果网址在这：https://ssr1.scrape.center/，大家可以来爬爬试试吧。

本文由哈喽比特于4年以前收录，如有侵权请联系我们。
文章来源：https://mp.weixin.qq.com/s/U8xvzmhUKChB48l8NPMd2A