数据库存储的数据顺序和网页中数据顺序不一致
来源：8-3 项目作业
慕粉0950063802
2021-01-10 01:38:36
利用线程池方式启动爬虫之后，发现存储到MongoDB数据库的数据顺序和网页的数据顺序不一致。
1）请问如何解决线程池方式的抓取到的数据顺序存储？
2）这种顺序存放数据的方式有必要吗？我们抓取过来的数据顺序不一致影响后续的工作吗？
写回答
1回答
-
同学，你好， 使用线程池存储数据会出现这种情况的，这和CPU调度有关，无法确定执行顺序的。
线程池的任务是并发执行的，当一个线程执行完毕后或因阻塞性任务而让出CPU的使用权后，会马上执行另一个的线程，这种执行是无序的。
例如有三个线程，线程二比线程一执行的快， 因此线程二会先存储到数据库中，所以就会出现顺序不一致的情况 ，这种情况是正常的，不需要按顺序存储数据的，对后续工作没影响的。
祝学习愉快~~~~
0
相似问题