Цифровая грамотность

(Digital Literacy)

Семинар 3

Контрольные точки проекта

1-4: поиск корпуса текстов или большого текста для исследования, проверка корректности авторских прав

5: актуализация темы

6: план с источниками и разделением обязанностей в группе из 3-4 делающих проект

7-8 (корпусные технологии): вычленяем из корпуса интересности

9 (таблицы): считаем статистику по тексту

10 (регулярки): вычленяем более интересные закономерности

11-12 (DH): полируем проект

13 (сайты): готовим проект к защите, публикуя материалы на Тильде

14 (преза): готовим презентацию и защищаемся

​

🔬 Задание

Для вашей цели проекта составить задачи, вписывающиеся во все контрольные точки проекта

Отобрать источники, составить обзор литературы.

Критерии:

1. Выбрано и рассмотрено 2-3 релевантных источника: выписана цель автора, рассказаны его выводы.
2. Цель и Задачи соответствуют плану проекта и удовлетворяют SMART.

​

📅 Дедлайн 1: 30 сентября 2020 г. (обсуждение и уточнение)�📅 Дедлайн 2: 6 октября 2020 г.

​

Поиск данных для исследования

Основа нашего исследования - текстовый корпус. ��Хороший корпус:

• репрезентативен (с т.з. языкового многообразия или лингвистического/культурного феномена - сбалансированные и мониторные)
• имеет достаточный объем для выявления языковых особенностей рассматриваемой темы
• имеет правильную разметку - первичную (токенизация, лемматизация) и вторичную - морфологическую, синтаксическую... (см. в НКРЯ) �

Почитать про корпуса

Исследования на и об НКРЯ

Что такое корпус и с чем его едят

​

Откуда взять данные?

​

Bootstrap Corpora And Terms from the Web (BooTCaT)

• Бесплатный инструмент для автоматического построения корпуса, основанного на материалах веб-страниц.
• Создание специального корпуса по конкретной проблематике для составления терминологических списков, технических переводов, машинного обучения и т.д.

​

Этапы работы в BooTCaT

1. Создание списка seeds, т.е. ключевых слов (или сочетаний), которые определяют исследуемую сферу.
2. Сочетание этих слов в случайные группы (tuple) (последовательности из n слов).
3. Запросы в поисковую систему для нахождения web-страниц, содержащих сгенерированные группы.
4. Загрузка подходящих web-страниц, удаление лишнего HTML-кода и, наконец, формирование корпуса.

Задаем название корпуса, выбираем язык. Можно подключить черный список

Выбираем метод сбора корпуса и источники

Создаем список ключевых слов

Генерируем случайные группы из ключевых слов

Отправляем запрос для нахождения страниц, содержащих необходимые слова

Открываем найденные страницы, сохраняем

Отбираем источники

Формируем корпус

Плюсы и минусы

➕

• Простота использования
• Быстрота и результативность
• Удобный инструмент для подготовки корпусов и использовании в разных задачах, например:
• BootCaT -> MyStem -> AntConc
• BootCaT -> Python

➖

• Нельзя предсказать, какие документы найдет поисковик
• Нет метаданных
• Возможно нахождение дубликатов и мусорных текстов

Где еще найти данные?

Электронные библиотеки:��http://russian-literature.org

http://feb-web.ru

https://rvb.ru

Страницы наборов данных, GitHub и другое:

https://hum.hse.ru/digital/data

https://github.com/dhhse/Otechestvennie_zapiski

https://github.com/dhhse/Mandelstam_digital_archive

​

​

Юридический аспект

Важно проверять, можно ли использовать данные, которые вы обнаружили.

Пример - НКРЯ и страница “использование корпуса”

Ещё раз: о чём нужно подумать перед созданием корпуса?

• объект исследования
• тип корпуса
• структура
• размер корпуса
• источники текстов, авторы
• формат текста (кодировка)
• разметка
• хранение и презентация корпуса

Обсудим тему, задачи и источники данных

Таблица тут