搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 进击的Coder > 原创丨如何大幅提高 Django 网站加载速度

原创丨如何大幅提高 Django 网站加载速度

进击的Coder 2020-10-17

阅读本文大概需要 1 分钟。


之前做了个爬虫案例平台,https://scrape.center/,具体文章在 ,帮助爬虫初学者进行练手。

平台内我设计了非常多的网站,有服务端渲染、客户端渲染等,其中服务端渲染的页面大家可能爬取的频率比较高,时不时就会遇到被爬挂的情况。

比如这个网站:https://ssr1.scrape.center/,当访问频率高的时候,甚至我后端开了 20 个 Pod 也承受不来,大家并发量有点猛啊。

这个后端是用 Django 写的,而且这个网站的数据不怎么更新,索性再加个 Cache 吧,在 Django 中最高效的 Cache 当属 Memcached 了,本篇文章就来简单记录下 Django 对接 Memcached 的过程。

官方资料

千说万说都不如官方文档来的直接,首推官方文档:https://docs.djangoproject.com/en/3.1/topics/cache/。

然后后面就是我简单的笔记了。

依赖库

首先需要安装个依赖库,这里用的是 python-memcached,可以使用 pip 来安装:

pip3 install python-memcached

由于我使用的是 Docker,所以就把它写到 requirements.txt 里面了。

配置

另外还需要在 settings.py 里面配置一下,内容如下:

CACHES = {
    'default': {
        'BACKEND''django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION''cache:11211',
    }
}

这里 LOCATION 是需要一个 Memcached 服务,运行在 11211 上面。

另外还需要开启两个中间件:

MIDDLEWARE = [
    'django.middleware.cache.UpdateCacheMiddleware',
    ...
    'django.middleware.cache.FetchFromCacheMiddleware',
]

这里要加两个中间件,一个在最前面,一个在最后面,顺序不能换,中间的是之前配置的其他中间件。

Docker-Compose

OK,接下来就是使用 Docker 启动了,这里 Docker-Compose 里面就需要增加一个 Memcache 服务,配置如下:

version: '3'
services:
  ssr1-backend:
    container_name: 'scrape-ssr1-backend'
    restart: always
    build: ./backend
    image: 'scrape-ssr1-backend'
    ports:
      - '8000:8000'
    environment:
      ...
  cache:
    image: memcached
    ports:
      - '11211:11211'
    entrypoint:
      - memcached
      - -m 64

这里主要是 cache 的配置,需要加上端口映射和入口参数,这里内存大小设置为 64M。

Kubernetes

我的部署使用的是 Kubernetes,所以对应的 yaml 文件也需要更改了,配置更改如下:

apiVersion: v1
items:
  - apiVersion: v1
    kind: Service
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-backend
      name: ssr1-backend
      namespace: scrape
    spec:
      ports:
        - name: "8000"
          port: 8000
          targetPort: 8000
      selector:
        io.kompose.service: ssr1-backend
    status:
      loadBalancer: { }
  - apiVersion: apps/v1
    kind: Deployment
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-backend
      name: ssr1-backend
      namespace: scrape
    spec:
      replicas: 20
      revisionHistoryLimit: 1
      strategy: { }
      selector:
        matchLabels:
          io.kompose.service: ssr1-backend
      template:
        metadata:
          annotations:
            kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
            kompose.version: 1.20.0 ()
          creationTimestamp: null
          labels:
            io.kompose.service: ssr1-backend
        spec:
          containers:
            - env:
                - name: APP_ENV
                  value: production
                - name: MEMCACHED_HOST
                  value: ssr1-cache
              image: germey/scrape-ssr1-backend:${TAG}
              name: scrape-ssr1-backend
              ports:
                - containerPort: 8000
              resources: { }
          restartPolicy: Always
    status: { }
  - apiVersion: v1
    kind: Service
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-cache
      name: ssr1-cache
      namespace: scrape
    spec:
      ports:
        - name: "11211"
          port: 11211
          targetPort: 11211
      selector:
        io.kompose.service: ssr1-cache
    status:
      loadBalancer: { }
  - apiVersion: apps/v1
    kind: Deployment
    metadata:
      annotations:
        kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
        kompose.version: 1.20.0 ()
      creationTimestamp: null
      labels:
        io.kompose.service: ssr1-cache
      name: ssr1-cache
      namespace: scrape
    spec:
      replicas: 1
      revisionHistoryLimit: 1
      strategy: { }
      selector:
        matchLabels:
          io.kompose.service: ssr1-cache
      template:
        metadata:
          annotations:
            kompose.cmd: kompose -f docker-compose.yml -o kubernetes.yml convert
            kompose.version: 1.20.0 ()
          creationTimestamp: null
          labels:
            io.kompose.service: ssr1-cache
        spec:
          containers:
            - image: memcached
              name: scrape-ssr1-cache
              ports:
                - containerPort: 11211
              resources: { }
          restartPolicy: Always
    status: { }
kind: List
metadata: { }
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: ingress-ssr1
  namespace: scrape
  annotations:
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  tls:
    - hosts:
        - ssr1.scrape.center
      secretName: tls-wildcard-scrape-center
  rules:
    - host: ssr1.scrape.center
      http:
        paths:
          - backend:
              serviceName: ssr1-backend
              servicePort: 8000
            path: /

注意这里我给 Django 后端增加了一个环境变量,叫做 MEMCACHED_HOST,所以在 Django 中,我们可以通过环境变量来读取 Memcached 的 Host,当然端口也可以类似设置,不过端口我就直接写死了,配置更改如下:

CACHES = {
    'default': {
        'BACKEND''django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': os.getenv('MEMCACHED_HOST') + ':11211',
    }
}

OK,这样改完之后重新部署就好了。

部署之后我直接将 Pod 降到了 2 个,第一次访问速度可能稍慢,但是一旦加载出来之后,该页面就会被缓存下来,后续访问速度就只有两三百毫秒了,测速如下:

简单测速结果

网址在这:https://ssr1.scrape.center/,大家可以来爬爬试试吧。

作者:崔庆才
排版:崔庆才




崔庆才丨静觅

隐形字


在这里分享自己的一些经验、想法和见解。


原创丨如何大幅提高 Django 网站加载速度



好文和朋友一起看~

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《原创丨如何大幅提高 Django 网站加载速度》的版权归原作者「进击的Coder」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注进击的Coder微信公众号

进击的Coder微信公众号:FightingCoder

进击的Coder

手机扫描上方二维码即可关注进击的Coder微信公众号

进击的Coder最新文章

精品公众号随机推荐

上一篇 >>

专栏|MySQL