解决Pymongo insert时会自动添加_id的问题

在使用pymongo时遇到了一个小坑：

在Flask框架中，将字典插入mongodb后再返回就报错

@app.route(\'xxxx\')def main():...data = {\'a\':\'a\',\'b\':\'b\'}mycol.insert_one(data)return data

Traceback (most recent call last):File \"/home/xiang/.local/lib/python3.6/site-packages/flask/app.py\", line 2464, in __call__return self.wsgi_app(environ, start_response)File \"/home/xiang/.local/lib/python3.6/site-packages/flask/app.py\", line 2450, in wsgi_appresponse = self.handle_exception(e)File \"/home/xiang/.local/lib/python3.6/site-packages/flask/app.py\", line 1867, in handle_exceptionreraise(exc_type, exc_value, tb)File \"/home/xiang/.local/lib/python3.6/site-packages/flask/_compat.py\", line 39, in reraiseraise valueFile \"/home/xiang/.local/lib/python3.6/site-packages/flask/app.py\", line 2447, in wsgi_appresponse = self.full_dispatch_request()File \"/home/xiang/.local/lib/python3.6/site-packages/flask/app.py\", line 1953, in full_dispatch_requestreturn self.finalize_request(rv)File \"/home/xiang/.local/lib/python3.6/site-packages/flask/app.py\", line 1968, in finalize_requestresponse = self.make_response(rv)File \"/home/xiang/.local/lib/python3.6/site-packages/flask/app.py\", line 2112, in make_responserv = jsonify(rv)File \"/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py\", line 370, in jsonifydumps(data, indent=indent, separators=separators) + \"\\n\",File \"/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py\", line 211, in dumpsrv = _json.dumps(obj, **kwargs)File \"/home/xiang/.local/lib/python3.6/site-packages/simplejson/__init__.py\", line 412, in dumps**kw).encode(obj)File \"/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py\", line 298, in encodechunks = list(chunks)File \"/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py\", line 696, in _iterencodefor chunk in _iterencode_dict(o, _current_indent_level):File \"/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py\", line 652, in _iterencode_dictfor chunk in chunks:File \"/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py\", line 716, in _iterencodeo = _default(o)File \"/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py\", line 100, in defaultreturn _json.JSONEncoder.default(self, o)File \"/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py\", line 273, in defaulto.__class__.__name__)TypeError: Object of type ObjectId is not JSON serializable

这是由于pymongo在进行插入操作时，如果字典中没有‘_id\’，会自动添加‘_id\’，而它的值为ObjectId实例，flask在对返回值进行编码时无法编码ObjectId类型实例，所以报错，解决办法就是去掉‘_id\’或者mycol.insert_one(data.copy())

补充知识：pymongo去重: 插入数据时,不存在则插入,存在则不执行

爬虫想把爬取的数据存入到mongoDB中, 这时候经常遇到的一个需求就是插入的数据已经存在数据库中, 因此插入前去重就是一个经常性的课题.

我的想法是：

如果数据库中已经存在这个数据, 那么就什么也不操作

如果数据不存在, 则插入这个数据

为了实现这个想法, 查了很多文献, 发现使用update 可以实现

下面就是我测试的代码

# 首先在数据中插入一条数据document = {\'p_id\': \'f75046d73a0c4bf88f0b7342e60722c4\',\'c_name\': \'Ken\',\'c_star\': \'5.0\',\'bought\': None,\'c_time\': \'2017年3月23日\',\'c_userful\': 13,\'c_comment\': [\'４歳になるトイプードル用に購入。\', \'今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので\', \'「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり着きました。\', \'足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。\'],\'gmt_create\': datetime.now().strftime(\'%Y-%m-%d %H:%M:%S\'),}collection.insert(document)

通过mongoDB可视化工具查看数据库,发现数据已经存在

要实现如果不存在就插入，如果存在就不插入的要求，我们需要用到 update的一个参数：‘$setOnInsert\’

$setOnInsert官方文档点击查看

通过阅读官方文档我们可以发现 与$setOnInsert方法想配合的最重要的参数就是 upsert:True

update源码中的upsert参数默认为False，只需要将update方法的upsert参数修改为True是否就能达到需要的效果呢？

现在我们执行相同数据的插入看看效果

# 首先需要限定一个重复的条件,比如我们想除了gmt_create参数以外,全部不一样就算不重复, 先限定一个条件result_find = {\'p_id\': \'f75046d73a0c4bf88f0b7342e60722c4\',\'c_name\': \'Ken\',\'c_star\': \'5.0\',\'bought\': None,\'c_time\': \'2017年3月23日\',\'c_userful\': 13,\'c_comment\': [\'４歳になるトイプードル用に購入。\', \'今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので\',\'「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり着きました。\', \'足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。\']}# 执行 updatecollection.update(result_find,{\'$setOnInsert\': document},upsert=True)

执行完之后, 去数据库中查看,发现还是原来的那条数据, 并没有多出一条来, 说明可以实现 如果存在就不操作的要求

那么能实现 如果不存在就插入的要求吗?

我们去数据库可视化工具中 把数据库中的数据删除, 然后执行下面操作

document = {\'p_id\': \'f75046d73a0c4bf88f0b7342e60722c4\',\'c_name\': \'Ken\',\'c_star\': \'5.0\',\'bought\': None,\'c_time\': \'2017年3月23日\',\'c_userful\': 13,\'c_comment\': [\'４歳になるトイプードル用に購入。\', \'今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので\', \'「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり着きました。\', \'足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。\'],\'gmt_create\': datetime.now().strftime(\'%Y-%m-%d %H:%M:%S\'),}result_find = {\'p_id\': \'f75046d73a0c4bf88f0b7342e60722c4\',\'c_name\': \'Ken\',\'c_star\': \'5.0\',\'bought\': None,\'c_time\': \'2017年3月23日\',\'c_userful\': 13,\'c_comment\': [\'４歳になるトイプードル用に購入。\', \'今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので\',\'「もしかして食べづらいのでは？」と思い調べてみたところ、この商品にたどり着きました。\', \'足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。\']}# collection.insert(document)collection.update(result_find,{\'$setOnInsert\': document},upsert=True)

然后我们发现数据中出现了我们想看到的这条数据

所以, 实现了我们的要求: 存在则不操作, 不存在则插入.

以上这篇解决Pymongo insert时会自动添加_id的问题就是小编分享给大家的全部内容了，希望能给大家一个参考

您可能感兴趣的文章:

• python使用pymongo操作mongo的完整步骤
• Python3中使用PyMongo的方法详解
• pymongo insert_many 批量插入的实例