Data Mining при помощи R: пример анализа twitter-сообщений

Сервис Twitter сегодня приобретает все большую популярность. В связи со своим небольшим размером, twitter-сообщения, как правило, обладают повышенной содержательностью, что делает их привлекательными с точки зрения контент-анализа и выявления трендов (например, для предсказания вспышек гриппа, предсказания биржевых событий, анализа настроений в социальных группах, скорости распространения информации, и т.д.). Разработчики сервиса предоставляют открытый интерфейс программирования приложений (API), позволяющий достаточно легко извлекать тексты сообщений требуемой тематики из базы данных Twitter'а для их последующего анализа. Конечно, эта возможность не была пропущена пользователями R. В Сети можно найти немало очень интересных образцов применения R для извлечения и анализа twitter-текстов (например, анализ удовлетворенности пассажиров сервисом разных авиакомпаний). Ниже я приведу пример twitter-анализа и попутно расскажу о нескольких используемых для этого R-пакетах.

Представленный ниже R-код был заимстован с нескольких сайтов, в частности RDataMining, OUseful.Info, и One R Tip A Day, но несколько видоизменен мной с учетом особенностей работы с кириллическим текстом. Примером послужат сообщения белорусских пользователей Twitter'а, опубликованные в день написания данной статьи (11 апреля 2012 г.). Позже станет понятнее, почему я выбрал именно этот сегмент пользователей сервиса и именно в этот день.

Для сбора сообщений мы воспользуемся пакетом twitteR (если он на Вашем компьютере не установлен, выполните команду install.packages("twitterR")). (Внимание: приведенный ниже код был полностью рабочим на момент написания этой статьи. Однако начиная с июня 2012 г., способ доступа к API сервиса Twitter из среды R, к сожалению, изменился в сторону усложнения. Как следствие, описанный здесь простой способ сбора сообщений больше работать не будет. См. дополнительную статью о том, как с этим бороться). Одной из "рабочих лошадок" этого пакета является функция searchTwitter(), основным аргументом которой служит searchString - текстовый вектор, определяющий поисковую фразу. Для рассматриваемой задачи я решил выполнять поиск по хэштегу #twiby - одному из основных тегов, используемых пользователями из Беларуси (подробнее можно узнать на сайте twitter.by). Кроме поисковой фразы, функция searchTwitter() позволяет выбрать максимальное количество сообщений, которое будет извлечено в результате поиска из базы данных Twitter'а (аргумент n), а также задать временной диапазон для дат публикации извлекаемых сообщений (аргументы since (с) и until (до)). Здесь важно отметить, что бесплатный API от Twitter имеет ограничение на максимальное количество извлекаемых сообщений - 1500 единиц. Однако на практике этого оказывается вполне достаточно. Обратим внимание также на аргумент lang (от language - язык), который используется для спецификации языка извлекаемых сообщений. Для обозначения языка используется стандарт ISO 639-1, т.е. в случае с русским языком имеем "ru". Итак:

require(twitteR)
 
# Задаем поисковую фразу:
searchTerm="#twiby"
 
# Выполняем поиск и сохраняем результаты в объекте rdmTweets.
# В качестве даты публикации сообщений указываем текущую (команда Sys.Date()).
# На момент выполнения поиска это 11 апреля 2012 г. (~ 7 часов вечера)
 
rdmTweets <- searchTwitter(searchTerm, n = 1500, lang="ru",
                            since = as.character(Sys.Date()))
 
# Выясним размер полученного объекта:
length(rdmTweets)

Созданный нами объект rdmTweets является списком. Каждый элемент этого списка содержит отдельное сообщение, например:

rdmTweets[[1]]
[1] "elvis_oreshek: Только что пришла с пробежки. Ох, детка, мышцы так устали!
Офигенное ощущение.(кто занимается спортом - поймет о чем я) #twiby #Russia"
 
rdmTweets[[2]]
[1] "t_webskins: #БТлжёт #twiby"

Для удобства дальнейшей работы с этими сообщениями список rdmTweets стоит преобразовать в таблицу данных. Эта операция легко выполняется при помощи функции twListToDF() из пакета twitteR:

tw.df <- twListToDF(rdmTweets)

В некоторых из собранных нами сообщений почти наверняка будут встречаться имена пользователей, начинающиеся со знака @. Очевидно, что такого рода информация является "шумовой" и не представляет большого интереса (по-крайней мере, в данном анализе). От имен пользователей можно избавиться, предварительно создав для этого небольшую функцию, которая будет искать регулярные выражения, начинающиеся с @, и удалять их:

# Функция для удаления пользовательских имен:
RemoveAtPeople <- function(tweet) {
    gsub("@\\w+", "", tweet)}
 
# Удаляем пользовательские имена:
tweets <- as.vector(sapply(tw.df$text, RemoveAtPeople))

Далее нам нужен будет пакет tm (от text mining), имеющий широкие возможности для анализа текстовой информации (как обычно, его можно установить при помощи команды install.packages("tm")). Обработка twitter-сообщений, хранящихся теперь в текстовом векторе tweets, потребует нескольких функций из этого пакета. Первым шагом должно стать создание т.н. "корпуса", т.е. сведение всех имеющихся небольших текстов (сообщений) в один объект:

tw.corpus <- Corpus(VectorSource(tweets))
 
tw.corpus
A corpus with 542 text documents

С корпусом текстов можно выполнять разнообразные операции, что осуществляется через интерфейс функции tm_map() из пакета tm. Для начала стоит удалить из анализируемых сообщений все знаки пунктуации, которые не несут никакой смысловой нагрузки (функция removePunctuation()):

tw.corpus <- tm_map(tw.corpus, removePunctuation)

Теперь сделаем так, чтобы все слова в анализируемых сообщениях были представлены прописными буквами:

tw.corpus <- tm_map(tw.corpus, tolower)

Следующий шаг - очень важный. Он состоит в том, чтобы удалить из сообщений как можно больше т.н. "стоп-слов", или "шумовых слов", т.е. слов, не несущих смысловой нагрузки (например, "это", "я", "мы", "тут", "возможно" "один", "два", и т.п.). Если бы мы работали с англоязычными текстами, можно было бы воспользоваться хорошо работающим готовым решением из пакета tm: tw.corpus <- tm_map(tw.corpus, removeWords, stopwords("english")).  Теоретически, в приведенной команде можно было бы заменить "english" на "russian", но практика показывает, что это дает неудовлетворительные результаты. Однако имеется возможность применить и пользовательский список стоп-слов. Один из таких списков я нашел здесь (скачать его в виде текстового файла можно здесь). После загрузки этого списка в R и сохранения его под именем my.stopwords (в виде текстового вектора), выполняем следующую команду:

tw.corpus <- tm_map(tw.corpus, removeWords, my.stopwords)

Все приведенные команды, использующие функцию tm_map(), можно объединить в одну более крупную функцию, которую будет удобно использовать при выполнении аналогичных анализов в будущем. Например:

generateCorpus <- function(df, my.stopwords = c()) {
        tw.corpus <- Corpus(VectorSource(df))
        tw.corpus <- tm_map(tw.corpus, removePunctuation)
        tw.corpus <- tm_map(tw.corpus, tolower)
        tw.corpus <- tm_map(tw.corpus, removeWords, my.stopwords)
 
    tw.corpus
}

Эта новая функция позволяет быстро подготовить корпус twitter-сообщений для дальнейшего анализа, например, так:

my.corpus <- generateCorpus(tweets, my.stopwords)

Далее будем работать именно с объектом my.corpus. В этой статье я покажу, как выполнить контент-анализ twitter-сообщений путем создания и визуального анализа облака наиболее часто встречающихся в этих сообщениях слов. Для создания облака слов воспользуемся возможностями пакета wordcloud (установите при помощи команды install.packages("wordcloud"); потребуется также пакет RColorBrewer для создания палитры цветов - установите и его). Подобно функции generateCorpus(), создадим для удобства работы функцию generateWordcloud():

generateWordcloud <- function(corpus, min.freq = 3, ...) {
    require(wordcloud)
 
# Преобразовываем "корпус" в матрицу индексируемых слов из сообщений.
# Подробнее о структуре и назначении этой матрицы см. здесь    
doc.m <- TermDocumentMatrix(corpus,
        control = list(minWordLength = 1))
dm <- as.matrix(doc.m)
 
# Подсчитываем частоту слов:
    v <- sort(rowSums(dm), decreasing = TRUE)
    d <- data.frame(word = names(v), freq = v)
 
    require(RColorBrewer)
    pal <- brewer.pal(8, "Accent")
 
# Генерируем облако слов:
    wc <- wordcloud(d$word, d$freq, min.freq = min.freq, colors = pal)
    wc
}

Теперь у нас все готово для создания облака слов. Но перед тем как его нарисовать, следует еще раз вернуться к стоп-словам. Дело в том, что помимо упомянутых выше шумовых слов, в анализируемых нами сообщениях следует ожидать и ряда специфичных "шумов". Предварительный анализ показал, что стоит удалить как минимум следующие слова:

stops <- c("belarus", "minsk", "twiby", "8pua",

  "минск", "беларусь", "беларуси")

Эти дополнительные стоп-слова мы можем лекго добавить к стандартным при вызове функции generateCorpus():

my.corpus <- generateCorpus(tweets, с(my.stopwords, stops))

Создаем облако слов (число 15 в приведенной ниже команде соответствует минимальной частоте встречаемости, ниже которой то или иное слово в облако включено не будет; очевидно, что варьируя этот порог, можно получать несколько различающиеся варианты облаков):

print(generateWordcloud(my.corpus), 15)

Как видно из рисунка, одним из ключевых слов в сообщениях, опубликованных белорусскими пользователями сервиса Twitter 11 апреля 2012 г. примерно к 7 часам вечера, было minskblast. Фактически, это слово было хэштегом, которым отмечались многие сообщения в этот день. Вторая часть в этом составном слове - blast - значит "взрыв". Как известно, ровно год назад в минском метро произошло трагическое событие - теракт, в котором погибли 15 человек. Безусловно, это событие не могло не стать важной темой для обсуждений в белорусском обществе 11 апреля в этом году, что отразилось и в сообщениях среди белорусских пользователей Twitter'a.

Светлая память погибшим.