【Django】预加载深度学习模型和matlabengineforpython
在Django(3.2) project中,每个app创建之后初始化的apps.py默认为以下几行from django.apps import AppConfigclass HelloworldConfig(AppConfig):default_auto_field = 'django.db.models.BigAutoField'name = 'helloworld'若进入APPConfig类
·
在Django(版本3.2) project中,每个app创建之后初始化的apps.py默认为以下几行
from django.apps import AppConfig
class HelloworldConfig(AppConfig):
default_auto_field = 'django.db.models.BigAutoField'
name = 'helloworld'
若进入APPConfig类中可以看到有几个类用来实现app的配置和初始化等功能,这里需要用到这个类:
源码中已经写明了让我们自己重写覆盖这个函数,这个函数将在Django启动的时候被执行。
借助这个ready函数以及from django.utils.module_loading import autodiscover_modules 我们就可以首先在这里预加载模型。加载代码如下:
def ready(self):
autodiscover_modules('preload.py')
具体的加载模型的代码我们可以写在apps.py所在目录下创建的preload.py中,我在这里加载了自己需要的matlab engine以及一些深度学习模型。参考代码如下:
# preload.py
import matlab
from matlab import engine
eng = matlab.engine.start_matlab()
这样django启动之后就会自动加载engine,而在我们需要用到的地方比如views.py和consumer.py中直接import就行:from app.preload import eng
需要注意的是:
- 使用这个方法预加载深度学习模型之后,启动Django项目的时候需要关掉自动重启,否则在加载完模型或者engine之后会陷入循环无法启动服务器,具体是在启动Django时加上
--noreload;若是使用uWSGI启动Django,则需要在ini配置文件中加上py-autoreload = 0。 - 由于在views.py或者consumer.py以及其他地方要调用模型是从preload.py import的,似乎这种方式拿到的模型是全局变量,有可能影响uwsgi和nginx部署的时候的并发,我自己就遇到了这个问题,记录在这篇文章中https://editor.csdn.net/md/?articleId=118762288。关于多进程并发的问题可以参考这篇文章https://www.cnblogs.com/163yun/p/9727982.html。
更多推荐



所有评论(0)