/
githubmirror
/
scrapy
Обзор
Документация
Войти
/
githubmirror
/
scrapy
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
tests/AsyncCrawlerProcess/asyncio_enabled_reactor_same_loop.py
31 строка
698 B
Andrey Rakhmatullin
Add `AsyncCrawlerProcess` and `Crawler.crawl_async()` (#6817)
28 май 2025, 16:55
Не верифицирован
28 май 2025, 16:55
05b3b20
Код
Авторство
О чём код?
import asyncio import sys from twisted.internet import asyncioreactor from uvloop import Loop import scrapy from scrapy.crawler import AsyncCrawlerProcess if sys.platform == "win32": asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy()) asyncio.set_event_loop(Loop()) asyncioreactor.install(asyncio.get_event_loop()) class NoRequestsSpider(scrapy.Spider): name = "no_request" async def start(self): return yield process = AsyncCrawlerProcess( settings={ "TWISTED_REACTOR": "twisted.internet.asyncioreactor.AsyncioSelectorReactor", "ASYNCIO_EVENT_LOOP": "uvloop.Loop", } ) process.crawl(NoRequestsSpider) process.start()