Herramientas de recolección de datos de Twitter (y otras)

El uso de Twitter como fuente de datos: Una visión general de las herramientas actuales de investigación de medios sociales

Wasim Ahmed - London School of Economics


La popularidad de los sitios de medios sociales y la facilidad con que sus datos está disponible significa que estas plataformas son cada vez más las fuentes primarias para la investigación social. Wasim Ahmed presenta un rápido vistazo a algunas de las herramientas disponibles para los científicos sociales para analizar los datos de los medios de comunicación social y también reflexiona sobre las limitaciones de las plataformas y los métodos utilizados para este tipo de investigación.

Tengo un blog de investigación de medios sociales donde encuentro y escribo acerca de las herramientas que se pueden utilizar para capturar y analizar los datos de las plataformas de medios sociales. Mi doctorado analiza datos de Twitter para la salud, como el brote de Ébola en África Occidental. Me preguntan por qué cada vez que estoy mirando Twitter, y qué herramientas y métodos que hay de capturar y analizar los datos de otras plataformas como Facebook, o plataformas aún menos tradicionales como Amazon reseñas de libros. Lluvia de ideas de un par de respuestas a esta pregunta hablando con miembros de la red de medios de Nueva Ciencias Sociales de Nueva Social, hay por lo menos seis razones:

1. Twitter es una plataforma popular en términos de la atención mediática que recibe y por lo tanto atrae a más investigaciones debido a su estatus cultural
2. Twitter hace que sea más fácil encontrar y seguir conversaciones (es decir, tanto por su función de búsqueda y los tweets que aparecen en los resultados de búsqueda de Google)
3. Twitter tiene normas hashtag que lo hacen más fácil la recolección, clasificación, y la ampliación de la recogida de datos búsquedas
4. Los datos de Twitter son fáciles de recuperar como los principales incidentes, noticias y eventos en Twitter se tienden a estar centrado en torno a un hashtag
5. La API de Twitter es más abierta y accesible en comparación con otras plataformas de medios sociales, lo que hace Twitter más favorable a los desarrolladores la creación de herramientas para acceder a los datos. En consecuencia, esto aumenta la disponibilidad de herramientas para los investigadores.
6. Muchos investigadores sí están utilizando Twitter y debido a sus experiencias personales favorables, se sienten más cómodos con la investigación de una plataforma familiar.

Es probable que una combinación de respuesta de 1 a 6 han dado lugar a más investigaciones en Twitter. Sin embargo, esto plantea otra cuestión distinta pero estrechamente relacionados: cuando la investigación se centra tan fuertemente en Twitter, lo que (si los hay) son las implicaciones de esto en nuestros métodos?



En cuanto a los métodos que se utilizan actualmente en el análisis es decir Twitter de datos, análisis de los sentimientos, el análisis de series de tiempo (el examen de los picos en los tweets), análisis de redes, etc., pueden éstos ser aplicados a otras plataformas o son diferentes herramientas, métodos y técnicas necesarias? Además de los métodos cualitativos, como el análisis de contenido, he utilizado los cuatro métodos siguientes en el análisis de datos de Twitter a los efectos de mi doctorado, a continuación considero si éstos trabajarían para otras plataformas de medios sociales:

1. El análisis de sentimientos funciona bien con datos de Twitter, como tweets que son consistentes en longitud (es decir, <= 140) haría bien con el trabajo de análisis sentimiento, por ejemplo, los datos de Facebook, donde los mensajes pueden ser más largos?
2. Los análisis de series de tiempo se utilizan normalmente cuando se examinan los tweets tiempo extra para ver si se puede producir un pico de tweets, que el examen de las marcas de tiempo en los mensajes de Facebook, o mensajes Instagram, por ejemplo, produce los mismos resultados? ¿O es solamente un método viable debido a la naturaleza en tiempo real de los datos de Twitter?
3. El análisis de redes se utiliza para visualizar las conexiones entre las personas y para comprender mejor la estructura de la conversación. Que este trabajo tan bien en otras plataformas mediante el cual los usuarios no pueden conectarse entre sí, es decir, las páginas públicas de Facebook?
4. Los métodos de aprendizaje de máquina (machine learning) puede trabajar bien con los datos de Twitter debido a la longitud de tweets (es decir, <= 140) sino que éstos trabajan para mensajes más largos y para las plataformas que no son de texto, es decir basada, Instagram?

Bien puede ser que al menos algunos de estos métodos se pueden aplicar a otras plataformas, sin embargo, pueden no ser los mejores métodos, y pueden requerir la formulación de nuevos métodos, técnicas y herramientas.

Así que, ¿cuáles son algunas de las herramientas disponibles para los científicos sociales para los datos de medios sociales? En la tabla de abajo proporciono una visión general de algunas de las herramientas que he estado usando (que no requieren conocimientos de programación y pueden ser utilizados por los científicos sociales):

Herramienta	SO	Descargable desde	Plataformas*
Mozdeh	Windows (recomendable PC)	http://mozdeh.wlv.ac.uk/installation.html	Twitter
Webometric Analyst	Windows	http://lexiurl.wlv.ac.uk/	Twitter (con capacidades de extracción de imagen) YouTube Flickr Mendeley Otros recursos web
NodeXL	Windows	http://nodexl.codeplex.com/	Twitter YouTube Flicker
Netlytic	Web based	https://netlytic.org/	Twitter Facebook YouTube Instagram
Twitter Arching Google Spreadsheet (TAGS)	Web based	https://tags.hawksey.info/	Twitter
Chorus	Windows (Desktop advisable)	http://chorusanalytics.co.uk/chorus/request_download.php	Twitter
DiscoverText (Gratis prueba de 30 días)**	Web based	http://discovertext.com/	Twitter Facebook Blogs Forums Plataformas de Noticias online
COSMOS Project	Windows MAC OS X	http://www.cosmosproject.net/	Twitter

* Es recomendable comprobar si una herramienta puede apoyar a otras plataformas como puede ser posible importar datos obtenidos en otros lugares.
** Gané un premio de datos históricos de DiscoverText con hasta 3 meses de acceso gratis, y también he recibido 3 días el valor de los datos Firehose través de tamiz, y esto me ha permitido realizar investigaciones que de otro modo no hubiera sido posible, como la comparación de Twitter API de búsqueda a la API de Firehose. DiscoverText se utiliza ampliamente en la investigación académica, con más de 40 menciones académica y contiene características como la capacidad de filtración de datos y aprendizaje automático avanzados.

También me gustaría mencionar:

• Gran lista de comisariado de Deen Freelon de herramientas de medios sociales aquí en: http://bit.ly/10NjJYK
• La iniciativa digital de métodos (herramientas DMI) aquí en: https://wiki.digitalmethods.net/Dmi/ToolDatabase
• Mi Blog investigación (Wasim Ahmed, un blog sobre mi investigación) aquí en: https://wasimahmed1.wordpress.com/

Mediante la búsqueda de software correspondiente (tal como se documenta en la tabla), me he dado cuenta de que hay muy pocas herramientas que se pueden utilizar para obtener datos de otras plataformas de medios sociales tales como, Pinterest, Goolge +, Tumblr, Instagram, Flickr, Parra, LinkedIn , y Amazon, entre otros. En este sentido, me gustaría ver más programas para los de las ciencias sociales para obtener datos para una amplia gama de plataformas y que incluye una serie de datos, es decir, enlaces web, imágenes y vídeo. En el Masters y el nivel de doctorado debe haber más énfasis en la formación de los estudiantes de ciencias sociales en la utilización eficaz de software existente que se puede utilizar para capturar datos de analizar los datos de las plataformas de medios sociales.