Скрапер/Парсер на Angel list

Рады будем пригласить разработчика для создания небольшого узкоспециализированного скрапера в google chrome в виде "extension" для сайта Angel.co. Extension будет мануально добавляться, поэтому guidelines для google web store соблюдать не стоит.
Путь к странице на которой будет производится скрапинг (angel.co/"название компании"/source):
1) Заходим на Angel.co и регистрируемся
2) Создаем cвою компанию (monosnap.com/file/QdFRn10...
3) Заходим в Recruit (monosnap.com/file/N7NEe2i...
4) Далее переходим в Resource (monosnap.com/file/3A0RmyR...
5) Попадаем на страницу где будем "скрапить" (monosnap.com/file/yo2A2W0...
Создан тестовый аккаунт чтобы пропустить пункт 1-2.
Email: new.qpad@yandex.ru
Password: freelancetest123

Описание функционала:
Часть I (Визуализированный вариант – monosnap.com/file/nxvzZKp...
1. HTML страницы /source должен полностью быть заскраплен с учетом infinite scroll (чтобы весь список людей был доступен в HTML коде).
2. В коде должны идентифицироваться блоки div с инофрмацией пользователей (monosnap.com/file/SV4cM2r... в которых:
2.1 В случае отсутствия facebook_url внутри блока (monosnap.com/file/7AKy6Vd..., скрапер продолжает искать совпадения в следующем блоке. В случае наличия facebook_url – шаг 2.2.
2.2 Когда найдено совпадение с facebook_url в блоке скрапер должен идентифицировать совпадение с именем пользователя (прим. (monosnap.com/file/ulOQ3W5... (которое было указано в GUI extension), если совпадение имеется, скрапер начинает доставать эти данные (шаг 3). В случае несовпадения имени в блоке с найденным facebook-url – блок пропускается.
3. Скрапер берет facebook_url и выводит в GUI или в текстовый файл (подходит любой удобный формат для копи паста) и переходит к следующему блоку до конца кода.

Часть II – monosnap.com/file/nxvzZKp... (цена обговаривается за вторую часть отдельно):
1. Добавить "www.angel.co" в каждый facebook_url (/link/673267/6b6c4610b85b3d79063645b3eb3b7e59/fac ebook_url) -> чтобы получилось -(www.angel.co/link/673267/...
2. Каждая ссылка открывается по очереди в одной вкладке (ваш вариант?)
3. В случае присутствия app_scoped_user_id в ссылке, удалять из списка
4. Копируется конечный адрес и title facebook страницы в GUI или текстовый документ

Уточнения:
* Скрапинг будет проводиться с разными поисковыми фильтрами, но на той же странице c идентичной структурой. (/source) -> (/source?query="data"&refinementList[pri mary_role][0]=Software Engineer&refinementList[locations][0]=Silicon Valley)
* Интересует только качество, арт и удобность не первый приоритет.

Интересует только ФИКСИРОВАННАЯ цена.
Если Вас заинтересовал проект, БОЛЬШАЯ ПРОСЬБА при обращении сразу указать примерную стоимость Ваших услуг и сроки выполнения работы. Благодарим.
Контакты: skype - qqrmobile


Вид предложения: Удаленная работа (разовый заказ)
Категория: Программирование

Добавлено: 24.08.2018 в 20:02




Сделайте предложение по проекту:


Для того чтобы ответить на предложение, вам необходимо авторизоваться или зарегистрироваться на сайте


Комментарии:
Николай фриланс    27.08.2018   00:50:18     

Приветствую.
Пишите все обсудим, все детали. Есть знания.
скайп live:dr3i.a
вотсап +7 910 796 74 67
телеграмм @frolov30