Скрапинг (Python 2.7, Scrapy)

Необходимо написать скрипт на Python 2.7 с использованием библиотеки Scrapy, который будет выполнять скрапинг страниц на сайте https://chelyabinsk.flamp.ru и сохранять отзывы в файлах формата json. Например, сохранять в файле все отзывы со страницы https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571 после нажатия кнопки «Показать ещё отзывы» и после прокрутки этой страницы до конца.

Если открыть эту страницу в Гугл Хром и открыть инструменты разработчика, видим (см файл «flamp.png»), что при нажатии на кнопку «Показать ещё отзывы» выполняется запрос «reviews?limit=5», далее после страницы прокрутки мышью выполняется запрос «reviews?limit=5&offset_id=3273977», далее при прокрутке мышью – запрос «reviews?limit=5&offset_id=2868699» и т.д. Причём в данных, которые возвращает предыдущий запрос, есть ссылка на следующий запрос, например, запрос «reviews?limit=5» возвращает ссылку на запрос «reviews?limit=5&offset_id=3273977»:
"next_link":https://flamp.ru/api/2.0/filials/2111590606323571/reviews?limit=5&offset_id=3273977

Данные поступают в формате json, например, текст отзыва – это значение поля "text" (файл «flamp.png»). Необходимо сохранить в файле json данные о всех отзывов с указанной страницы. Например, на странице «https://chelyabinsk.flamp.ru/firm/salam_kafe-2111590606323571» есть 27 отзывов на момент 23.08.18. Пусть в файл сохраняются следующие поля: "next_link", "filial_id", "user_id", "text", "rating", "date_created", "source", "user":{"name"}, "official_answer"

Работа с библиотекой Scrapy описана здесь:
https://docs.scrapy.org/en/latest/intro/tutorial.html

Решение такой же задачи описано здесь:
https://habr.com/post/312816/

Будем считать, что задание выполнено, если Вы отправляете мне скрипты Scrapy, которые успешно выполняются на моём компьютере (на Python 2.7)

Скачать файл


Бюджет: 3000 руб.
Вид предложения: Удаленная работа (разовый заказ)
Категория: Программирование

Добавлено: 23.08.2018 в 21:41




Сделайте предложение по проекту:


Для того чтобы ответить на предложение, вам необходимо авторизоваться или зарегистрироваться на сайте


Комментарии:
Николай фриланс    27.08.2018   00:51:13     

Приветствую.
Пишите все обсудим, все детали. Есть знания.
скайп live:dr3i.a
вотсап +7 910 796 74 67
телеграмм @frolov30