HypeWords. Платформа для анализа текста и работы со школьными сочинениями

Современные компьютерные технологии существенно упростили процессы познания окружающего мира. С их появлением и развитием человек стал получать, хранить и анализировать объемы данных, существенно превышающие те, которые мог обрабатывать его мозг без применения этих технологий. При этом использование технологий не во всех направлениях деятельности человека является залогом успеха. Если в точных науках цифровизация дает существенный прогресс в понимании явлений, законов и взаимодействий, происходящих вокруг. То в том, что касается творчества и культуры компьютерная аналитика часто бывает бессильна.

Но любой анализ всегда начинается с данных. Поэтому в своей работе мы решили применить компьютерные технологии для получения данных в такой области, как литература.

Мы проанализировали книги русских писателей (всего более 60000 произведений), выделив в них самые часто встречающиеся слова, как для каждой книги в отдельности, так и для каждого автора (более 6000) в целом.

Результаты работы представлены при помощи адаптивного веб-клиента HypeWords, который состоит из нескольких разделов. В разделе “Книги” можно ознакомиться со списком проанализированных книг. И для каждой из них посмотреть список наиболее часто встречающихся в ней слов. Найти нужную книгу можно при помощи функции поиска. Фильтрами могут выступать: год выпуска, автор или жанр. В разделе “Авторы” также можно посмотреть список слов, которые каждый автор чаще всего использовал в своих произведениях. Кроме того, в разделе представлена краткая биография автора, список его произведений и любимые жанры. Также HypeWords позволят каждому пользователю проанализировать собственный текст, определить в нём самые популярные слова и узнать на какого писателя вы больше всего похожи. Эти функции доступны в разделе “Анализ”. Еще одним направлением сервиса является помощь учителям русского языка и литературы. Всё чаще школьные сочинения ученики пишут, а учителя проверяют при помощи компьютеров. HypeWords позволяет координировать эту работу. В личном кабинете учитель может подтвердить своих учеников и разделить их на классы.

После этого для каждого класса можно создавать уроки, прикреплять к ним различные материалы и писать пояснения, а также задавать тему для сочинения. После этого ученики могут загружать свои работы, а учитель, при помощи встроенного редактора, проверять то, что пишут ученики. Сервис позволяет учителю выделить ошибки, добавить комментарии и пояснения для каждой работы. Сдача сочинений может быть ограничена учителем по времени или оставаться бессрочной. Также учителя могут создавать записи с материалами, которые могут быть полезны другим учителям или ученикам. Такие записи доступны в разделе “Посты”. Клиентская часть сервиса написана на языке JavaScript с использованием библиотеки для разработки пользовательских интерфейсов React, в среде разработки WebStorm.

Для локального хранения данных была использована библиотека Redux. Для хранения данных пользователей используется база данных MongoDB. Дизайн выполнен следуя правилам Material UI, для создания интерфейсов использовался сервис Figma. Алгоритм определения частоты использования слов состоит из нескольких пунктов. Сначала программа получает необходимый текст для анализа и убирает шумовые слова (союзы, предлоги, междометия и тд.).

Затем, с помощью библиотеки nltk, находит основу каждого слова. После подсчитывается количество упоминаний каждого слова. Для определения "популярности" слова используется формула, которая зависит как от частот всех слов в данном тексте, так и от частоты конкретного слова во всех произведениях данного автора. После обработки полученные данные сохраняются в json файле

• Цели
• Задачи
• Актуальность
• Результаты
• Применение
• Оборудование