MongoDB游标超时的情况如何处理？
发布时间：2022-04-22 10:42:30 所属栏目：系统 来源：互联网
导读：本文主要给大家分享关于MongoDB游标超时问题的解决办法，小编认为是比较实用的，有这方面学习需要的朋友可以看看，希望大家阅读完这篇文章之后大有收获。 当我们使用Python从MongoDB里面读取数据时，可能会这样写代码： import pymongo handler = pymongo.Mo
|
本文主要给大家分享关于MongoDB游标超时问题的解决办法，小编认为是比较实用的，有这方面学习需要的朋友可以看看，希望大家阅读完这篇文章之后大有收获。 当我们使用Python从MongoDB里面读取数据时，可能会这样写代码： import pymongo handler = pymongo.MongoClient().db.col for row in handler.find(): parse_data(row) 短短4行代码，读取MongoDB里面的每一行数据，然后传入parse_data做处理。处理完成以后再读取下一行。逻辑清晰而简单，能有什么问题？只要parse_data(row)不报错，这一段代码就完美无缺。但事实并非这样。 只有当你使用for循环开始迭代它的时候，游标才会真正去数据库里面读取数据。但是，如果每一次循环都连接数据库，那么网络连接会浪费大量时间。 所以，回到最开始的代码中来，如果parse_data每次执行的时间超过6秒钟，那么它执行100次的时间就会超过10分钟。此时，当程序想读取第101行数据的时候，程序就会报错。 为了解决这个问题，我们有4种办法： 修改MongoDB的配置，延长游标超时时间，并重启MongoDB。由于生产环境的MongoDB不能随便重启，所以这个方案虽然有用，但是排除。 一次性把数据全部读取下来，再做处理： all_data = [row for row in handler.find()]  （编辑：常州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
