问题描述
我有一个Django rest API端点。它接收JSON有效负载，例如
{ "data" : [0,1,2,3] }
在views.py函数中对其进行解码，并生成一个新的数据库对象，如so(伪代码)：
newobj = MyObj.(col0 = 0, col1= 1, col2 = 2, col3 = 3)
newobj.save()
在测试中，创建x1000新对象的列表，然后执行批量创建的速度要快20倍：
Myobj.objects.bulk_create(newobjs, 1000)
所以，问题是，当我们有1000个帖子时，如何将单个帖子保存在Django中的某个位置，以便进行批量写入？
推荐答案
感谢上面的回复，答案包括建议的部分内容，但这是一个超集，因此是摘要。
这实际上是关于创建FIFO。memcached被证明是不合适的(在尝试之后)，因为只有redis具有启用此功能的列表功能，here进行了很好的解释。
还请注意，内置缓存Django不支持redis列表API调用。
因此我们需要一个新的docker-compose.yml条目来添加redis：
redis:
image: redis
ports:
- 6379:6379/tcp
networks:
- app-network
然后在views.py中添加：(请注意redisrpush的用法)
import redis
...
redis_host=os.environ['REDIS_HOST']
redis_port = 6379
redis_password = ""
r = redis.StrictRedis(host=redis_host, port=redis_port, password=redis_password, decode_responses=True)
...
def write_post_to_redis(request):
payload = json.loads(request.body)
r.rpush("df",json.dumps(payload))
pipenv install django-background-tasks
并添加到settings.py的已安装应用程序
INSTALLED_APPS = [
...
'background_task',
然后运行迁移以添加后台任务表：
python manage.py migrate
现在在views.py中，添加：
from background_task import background
from background_task.models import CompletedTask
并添加将缓存数据写入postgres数据库的函数，请注意装饰符，它声明应该每隔5秒在后台运行一次。另请注意redislpop的用法。
@background(schedule=5)
def write_cached_samples():
...
payload = json.loads(r.lpop('df'))
# now do your write of payload to postgres
... and delete the completed tasks or we'll have a big db leak
CompletedTask.objects.all().delete()
为了启动该进程，请在urls.py的基础上添加以下内容：
write_cached_samples(repeat=10, repeat_until=None)
最后，因为后台任务需要单独的进程，所以我们在docker-compose.yml中复制了Django docker容器，但将asgi服务器运行命令替换为后台进程运行命令。
django_bg:
image: my_django
command: >
sh -c "python manage.py process_tasks"
...
有一个小问题，其中nginx连接到了错误的Django容器，并通过停止并重新启动后台容器进行了更正，还有一些问题是Docker网络路由初始化错误。
下一步，我将Django HTTP API端点替换为Go One，看看我们的速度提高了多少，因为Daphne ASGI服务器达到了每秒仅100个请求的最大CPU。
这篇关于如何缓存BULK_CREATE的单个Django rest API帖子？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！