viernes, 14 de diciembre de 2018

Llevando los grafos de bases de datos a las supercomputadoras

Moviendo las pruebas de grafos analíticos en las supercomputadoras hacia adelante


Jeffrey Burt | Next Platform





Si es la conferencia de supercomputación SC18, entonces debe haber listas. Muchos de ellos.

La muestra dos veces al año es más famosa por la lista Top500 de las supercomputadoras más rápidas del mundo que usan el banco de pruebas paralelo Fortpack de Linpack, una lista que ayuda a la industria a medir el progreso en el desempeño, la creciente influencia de las nuevas tecnologías como los aceleradores de GPU de Nvidia y AMD y el auge de las nuevas arquitecturas, como lo marcó este año con la introducción del primer supercomputador en la lista de procesadores basados ​​en Arm. La supercomputadora "Astra", construida por Hewlett Packard Enterprise e implementada en los Laboratorios Nacionales Sandia, se ejecuta en 125.328 núcleos Cavium ThunderX2 y ahora se encuentra en el número 205 de la ranura.

La lista también ayuda a alimentar la actual competencia mundial por la supremacía de las supercomputadoras, ya que Estados Unidos este año finalmente retomará el primer puesto del Sunway TaihuLight de China en julio con el sistema Summit basado en los motores informáticos IBM Power9 y Nvidia Volta, y luego en Sierra, una similar arquitectura de máquina, ocupando el segundo lugar en el show SC18 de esta semana en Dallas, llevó a TaihuLight al número tres. Sin embargo, China ahora reclama 227 sistemas, o aproximadamente el 45 por ciento del número total, en la lista de los Top500, con los Estados Unidos cayendo a un mínimo histórico de 109, o 22 por ciento.

El Green500 clasifica los supercomputadores en función de la eficiencia energética. El Shoubu System B, un grupo japonés construido por Pezy Computing, conserva el puesto número uno este año.

También en la lista de listas está el Graph500, que clasifica los sistemas según la forma en que ejecutan las cargas de trabajo intensivas en datos de rápido crecimiento utilizando algoritmos de análisis gráfico. La cantidad de tales aplicaciones de supercomputadoras está creciendo a medida que la cantidad de datos que se generan continúa acumulándose, y algunos en la industria creen que los puntos de referencia tradicionalmente utilizados para clasificar los sistemas de HPC para trabajos como las simulaciones de física en 3D no eran adecuados para cargas de trabajo intensivas en datos.

"No creo que sea un salto convencer a nadie hoy de que esto es importante porque, francamente, el mercado de análisis de datos ha crecido demasiado en HPC por un orden de magnitud", dijo Anton Korzh, arquitecto de sistemas de Micron Technology y miembro de Graph500. Comité ejecutivo, dijo durante el evento en el show de esta semana para lanzar la versión 17 de la lista. El primero salió en noviembre de 2010.

El Graph500 aborda dos núcleos de aplicación, la búsqueda concurrente marcada por la búsqueda y optimización de la amplitud (BFS), o la ruta más corta de una sola fuente (SSSP). Los planes están en marcha para un tercer núcleo para un conjunto independiente orientado hacia el borde o máximo, dijo Korzh. La lista aborda cinco áreas comerciales relacionadas con el gráfico de ciberseguridad, informática médica, enriquecimiento de datos, redes sociales y redes simbólicas.

El número de presentaciones ha aumentado de ocho en el primer año a 48 para la lista actual, que incluye dos nuevas entradas en el top ten y una vez más tenía la computadora K gigante en Japón y fue construida por Fujitsu en el primer lugar con 38,621.4 GTEPS , o aristas atravesadas por giga por segundo, la métrica utilizada por el Graph500. La computadora de K, de siete años, tiene 82.944 nodos y 663.552 núcleos Sparc64-XIIIfx. El Sunway TaihuLight ocupó el segundo lugar, seguido por Sequoia y Mira, ambos sistemas IBM BlueGene / Q que se ejecutan en los laboratorios nacionales de EE. UU., y SuperMUC-NG, un clúster de Lenovo ubicado en Alemania.



Pero cuando el comité de Graph500 celebró el lanzamiento de la lista más reciente, Roger Pearce, un científico informático del Centro de Computación Científica Aplicada (CASC) en el Laboratorio Nacional Lawrence Livermore, es el hogar del sistema BlueGene / Q “Sequoia” hecho por IBM también como el nuevo y brillante sistema Sierra, dijo que los cambios eran necesarios para que el Graph500 siga siendo relevante. Pearce habló durante el evento sobre el enfoque del laboratorio para usar NVRAM (memoria de acceso aleatorio no volátil) en Sierra cuando se trata de análisis de rendimiento y escala.

Sin embargo, al final de su presentación, Pearce instó a que se realicen cambios para que la lista sea un indicador importante en la industria. Necesita evolucionar o ya no será relevante. Una cosa que tiene que cambiar es el uso continuo de las etiquetas de vértice 0, N.

"Las etiquetas de vértices de 0 a N simplemente no son realistas", dijo. “Si queremos tratar de estar en un modo realista, necesitamos lidiar con etiquetas hiper-dispersas, hashes de 64 bits, tal vez incluso más que eso, específicamente con cardinalidad desconocida. Realmente no sabemos cuántos vértices hay, porque con conjuntos de vértices muy grandes, es realmente costoso volver a correlacionarlos con N. Este es un verdadero desafío. No es algo que incluso esté rastreado por el Graph500. Para todos los comentarios, necesitamos un Graph500 de transmisión, esto es como un paso de bebé para hacer eso. Si no puede hacer esto, ciertamente no puede hacer análisis de gráficos de transmisión. En mi opinión, la curación comenzará cuando nos alejemos de los datos estáticos CSR / CSC de la edad de piedra ".

Pearce tenía una visión similar de BSD.

“Una década de búsqueda de amplitud es suficiente. Es demasiado simple captar la intensidad de memoria / comunicación y el paralelismo de muchas analíticas importantes y muchas de las optimizaciones actuales no se transfieren a muchas analíticas importantes como la centralidad de Betweeness. No sé sobre usted, pero a menudo me preguntan: '¿Por qué hay miles de artículos en la búsqueda de resultados?' Y yo digo: 'Es una respuesta simple: el Graph500'. Tenemos que averiguar qué estamos tratando de capturar ".

No quiere decir que los últimos ocho años de trabajo hayan sido en vano. Ha habido avances significativos en los algoritmos de gráficos de memoria distribuida debido a los esfuerzos del Graph500, dijo. “Si recuerdas los primeros días, hubo un enorme escepticismo de que el análisis de gráficos de memoria distribuida funcionaría. Solían decir, 'BlueGenes nunca haría bien en el Graph500', y ahora lo han dominado durante cinco o seis años ".

Su lista de propuestas para el Graph500 para 2020 se está moviendo de 0, N graficando y "divide los bordes ingresados ​​en k contenedores, como los pasos de tiempo - 64, 16, no sé qué k debería ser. Agregue de manera incremental cada bandeja de borde en el gráfico y vuelva a calcular algunos analíticos, tal vez cuente duplicados para que las personas agreguen índices a sus listas de cobertura y cosas como esas, que son poderosas para los analíticos. Finalmente, la salida sería como, k resultados para cada borde o vértice dado su analítica ".

La analítica debería ser cualquier cosa menos BFS, con posibilidades como alternativas como la centralidad de Betweeness y la descomposición completa de K-core. Por último, dijo, dado lo difícil que es validar estos algoritmos de nivel superior, la validación debe usar pequeños gráficos de pruebas unitarias con una verdad básica precalculada.

Después de que Pearce habló, Peter Kogge, profesor de ciencias de la computación e ingeniería en Notre Dame y también miembro del comité ejecutivo de Graph500, secundó las sugerencias y agregó algunas de las suyas, incluido el uso de múltiples clases de vértices. Korzh dijo que Pearce hizo puntos justos que deberían ser considerados.

miércoles, 12 de diciembre de 2018

Prediciendo epidemias infecciosas

Sobre la previsibilidad de los brotes de enfermedades infecciosas

Samuel V. Scarpino, Giovanni Petri
(Presentado el 21 de marzo de 2017 (v1), última revisión 10 de octubre de 2018 (esta versión, v6))

Citar como: arXiv:1703.07317 [physics.soc-ph]
(o arXiv:1703.07317v6 [physics.soc-ph] para esta versión)




Los brotes de enfermedades infecciosas recapitulan la biología: emergen de la interacción de múltiples niveles de los hospedadores, patógenos y su entorno compartido. Como resultado, predecir cuándo, dónde y hasta dónde se propagarán las enfermedades requiere un enfoque de sistemas complejos para el modelado. Estudios recientes han demostrado que es posible predecir diferentes componentes de los brotes, por ejemplo, el número esperado de casos, el ritmo y el ritmo de los casos que requieren tratamiento, la demanda de equipo profiláctico, la probabilidad de importación, etc. Por lo tanto, avanzar tanto en la ciencia como en la práctica del pronóstico de enfermedades ahora requiere pruebas para detectar la presencia de límites fundamentales para la predicción de brotes. Para investigar la cuestión de la predicción de brotes, estudiamos los límites teóricos de la información para pronosticar un amplio conjunto de enfermedades infecciosas utilizando la entropía de permutación como un modelo de medida independiente de la previsibilidad. Al estudiar la previsibilidad de una colección diversa de brotes históricos, entre ellos, clamidia, dengue, gonorrea, hepatitis A, influenza, sarampión, paperas, polio y tos ferina, identificamos una barrera de entropía fundamental para el pronóstico de series de tiempo de enfermedades infecciosas. Sin embargo, encontramos que para la mayoría de las enfermedades, esta barrera para la predicción a menudo está más allá de la escala de tiempo de los brotes únicos. También encontramos que el horizonte de pronóstico varía según la enfermedad y demostramos que tanto las estructuras del modelo cambiante como la heterogeneidad de las redes sociales son los mecanismos más probables para las diferencias observadas entre los contagios. Nuestros resultados resaltan la importancia de ir más allá del pronóstico de series de tiempo, al adoptar enfoques de modelado dinámico y sugieren desafíos para realizar la selección de modelos en series de tiempo largas. Además, anticipamos que nuestros hallazgos contribuirán al campo en rápido crecimiento de los pronósticos epidemiológicos y pueden relacionarse más ampliamente con la previsibilidad de los sistemas adaptativos complejos.

lunes, 10 de diciembre de 2018

Francia enfrenta una revolución dirigida mediante Facebook

Francia enfrenta una revolución típica de Facebook


Las revueltas callejeras en París tienen menos que ver con una pequeña subida de impuestos al combustible que con el poder de las redes sociales para radicalizar a sus usuarios.
Por Leonid Bershidsky | Bloomberg




Manifestantes cerca del Arco de Triunfo.

El papel liberador que desempeñaron las redes sociales durante la Primavera Árabe y las protestas rusas de 2011 y 2012 fue ampliamente elogiado. Poco de ese entusiasmo se muestra hoy en día en medio de las violentas protestas de "chalecos amarillos" en Francia, aunque Facebook todavía está haciendo lo que mejor hace: dejar que la gente canalice su furia.

En un artículo de 2011 sobre "la revolución de Facebook", Chris Taylor, del sitio web de noticias de tecnología Mashable, escribió que Facebook era "democracia en acción". Philip Howard, de la Universidad de Washington, quien investigó el papel de la red social en la Primavera Árabe, dijo que el mismo año en que las redes sociales "transmitieron una cascada de mensajes sobre libertad y democracia en el norte de África y Medio Oriente y ayudaron a generar expectativas para el éxito de la revuelta política".

A finales de 2011, participé en las protestas rusas tras una elección parlamentaria amañada. Facebook jugó un papel central en su organización. El patrón emergente: redes de protesta sin líderes que se desarrollan en plataformas propiedad de los Estados Unidos; narraciones de memes que alimentan la indignación popular; Las demandas nebulosas, que se radicalizan rápidamente, alimentadas por una gran cantidad de ira subyacente, llevaron al presidente ruso Vladimir Putin a sospechar que los Estados Unidos organizan acciones en diferentes partes del mundo según el mismo libro de jugadas. Era tan ingenuo como los observadores que pensaban que el papel de Facebook en estos levantamientos populares tenía algo que ver con la libertad o la democracia.

Poco después de que los países que sufrieron las revoluciones de la Primavera Árabe comenzaron a revertirse al autoritarismo o se lanzaron al caos, surgieron preocupaciones sobre la capacidad de las redes sociales para configurar las transiciones democráticas. Pero Facebook y otras plataformas nunca fueron buenas en eso: lo que hicieron fue ayudar a que la gente se emocionara más y más por las cosas que los molestaban. Al amplificar los mensajes e inflar las burbujas de opinión, provocaron un frenesí en el que solo había habido quejas.

Sucede de nuevo en Francia, un país imposible de describir como una autocracia y uno en el que los Estados Unidos no tienen motivos para fomentar una revolución.

Todo comenzó con la decisión del gobierno de aumentar los impuestos en 7.6 centavos por litro en diesel y 3.9 centavos por litro en gasolina. Esto no es una gran indignación. Para alguien que llena un tanque de 50 litros con diesel todas las semanas, la caminata significa 15.2 euros ($ 17.3) al mes en costos adicionales, menos de dos comidas de McDonald's. Pero las protestas, iniciadas a mediados de octubre por un discurso viral en Facebook del acordeonista Jacline Mouraud sobre la política gubernamental contra el automóvil, se han intensificado hasta que produjeron los peores disturbios urbanos del país en más de una década. Durante el fin de semana, 133 personas resultaron heridas, entre ellas 23 policías.

Como en protestas anteriores, estos disturbios son en gran parte sin líder; no necesitan la infraestructura política o mediática de Francia para desarrollarse. Sin embargo, han arrojado a algunos líderes de opinión poco probables, a quienes los manifestantes siguen y cuyas opiniones se amplifican infinitamente a través de los grupos de Facebook del "chaleco amarillo". Uno de ellos es Maxime Nicolle, también conocido como Fly Rider, un nativo de Bretaña de 31 años que ha realizado regularmente transmisiones web de Facebook Live a partir de las protestas cada vez más violentas. Se ha convertido en uno de los ocho voceros del movimiento amorfo facultados para negociar con el gobierno.

"Los pensadores autodenominados se convirtieron en figuras nacionales, gracias a las páginas populares y al revuelo de Facebook Live", escribió Frederic Filloux, ahora investigador en Stanford y anteriormente profesor de periodismo en Sciences Po en París, en Medium. El "evangelio de Nicolle es una mezcolanza de demandas incoherentes, pero ahora es una voz nacional".

El presidente francés, Emmanuel Macron, describió el manifiesto de los "chalecos amarillos" como "un poco de todo y pase lo que pase". Y, de hecho, las demandas originales: la derogación del impuesto a la gasolina de los automóviles, un impuesto de valor agregado mínimo sobre los alimentos. las multas más bajas por infracciones de tránsito, los recortes salariales para los funcionarios electos y el gasto gubernamental más eficiente, ahora se han visto confundidos por los pedidos adicionales de mejores servicios públicos, la disolución del Parlamento y la renuncia de Macron. Ahora se trata de la ira que fluye libremente en todas las direcciones. Como dice Filloux: "Como amplificador absoluto y radicalizador de la ira popular, Facebook ha demostrado su toxicidad para el proceso democrático".

No hay nada democrático en el surgimiento de los administradores de grupos de Facebook como portavoces de lo que pasa por un movimiento popular. A diferencia de Macron y los legisladores franceses, no son elegidos. En una columna de Liberación, el periodista Vincent Glad sugirió que los cambios recientes en el algoritmo de Facebook, que han dado prioridad al contenido creado por grupos sobre el de las páginas, incluidos los de los medios de comunicación tradicionales, han proporcionado el mecanismo para promover a estas personas. El director ejecutivo de Facebook, Mark Zuckerberg, pensó que estaba despolitizando su plataforma y se estaba enfocando en conectar a las personas. Eso no es lo que pasó.

"Los administradores de grupos de Facebook, cuyas prerrogativas se incrementan constantemente por Zuckerberg, son los nuevos intermediarios, que prosperan en las ruinas de los sindicatos, asociaciones o partidos políticos", escribió Glad.

Ya sea difícil descifrar si la ira desatada por el pequeño aumento de impuestos en Francia es real o al menos parcialmente inducida por las cámaras de eco de Facebook sin métodos científicos exactos. Sin embargo, es hora de desechar cualquier ilusión restante de que las redes sociales pueden desempeñar un papel positivo en la promoción de la democracia y la libertad.

Una sociedad libre no puede prohibir Facebook, ni siquiera puede regular por completo su función para mejorar el odio; pero debe ser consciente del riesgo que Facebook y plataformas similares representan para las instituciones democráticas. Irónicamente, la amenaza para los regímenes autoritarios es menor: han aprendido a manipular la opinión en las plataformas con propaganda, piratería, intimidación y tácticas de miedo de la vida real contra los activistas.

Un país como Francia no puede recurrir a tales técnicas. Eso significa más trabajo para la policía y decisiones más difíciles para los políticos que no están dispuestos a someterse al gobierno de la mafia, hasta que los populistas, alentados por las redes sociales, comienzan a ganar las elecciones. Para evitar ese resultado, las personas deberán darse cuenta de lo que realmente hacen las plataformas y comenzar a abandonarlas en tropel.

sábado, 8 de diciembre de 2018

Arte abstracto en Gephi

Arte abstracto en Gephi

Behance


Esta serie de arte abstracto experimental Gelphi fue creada con Gelphi + Photoshop. Tomé los datos de mi red personal de Facebook (mis amigos y su relación entre ellos) y los graficé dentro de Gephi. Luego rendericé las imágenes del gráfico base y creé ilustraciones abstractas con ellas.

Estuve muy feliz con los resultados, y creo que produjo algunas ilustraciones abstractas muy interesantes. Planeo sumergirme más profundamente en Gelphi en el futuro para ver qué otras imágenes creativas puedo extraer de él.


jueves, 6 de diciembre de 2018

Cómo se ve la red de aprendizaje de un proceso de machine learning


¿Qué ven las máquinas a medida que aprenden nuevas habilidades?

Por Matt Burgess | Wired

Graphcore, con sede en Bristol, utilizó su nuevo procesador y software de IA para mostrar lo que sucede dentro de los procesos de aprendizaje automático.

El aprendizaje automático está rompiendo las barreras del idioma, alimentando y combatiendo el ciberdelito, e incluso puede reconocer las emociones, pero los procesos complejos detrás de estos avances son a menudo un misterio.

El emprendimiento Graphcore quiere cambiar esto. La firma con sede en Bristol ha creado una serie de 'exploraciones cerebrales de IA', utilizando su chip y software de desarrollo, para producir imágenes de plato de Petri que revelan lo que sucede cuando se ejecutan los procesos.

La mayoría de los programas de aprendizaje automático, incluidos los sistemas propios de Google y los marcos de código abierto, funcionan mediante la capacitación de AI en gráficos computacionales.

En pocas palabras, los sistemas de aprendizaje automático pasan por una fase de construcción, durante la cual se crea un gráfico que muestra todos los cálculos necesarios. A esto le sigue una fase de ejecución en la que la máquina utiliza los cálculos (o pasos) resaltados en el gráfico para ejecutar sus procesos de capacitación. A medida que avanza a través de sus ejecuciones, hace "pases" que se ejecutan hacia adelante y hacia atrás a través de los datos. En las imágenes de Graphcore, al movimiento de estos pases y las conexiones entre ellos se les han asignado varios colores.

Esto es similar a cómo se compilan las exploraciones cerebrales, según Nigel Toon, CEO de Graphcore.

"La sorprendente similitud con las exploraciones del cerebro resalta que lo que tu cerebro está haciendo es algo muy similar", dijo Toon a WIRED. "Tu cerebro tiene neuronas y sinapsis que conectan esas neuronas, y también estás modelando efectivamente algo muy similar en este mundo de aprendizaje automático.

"Lo que estás viendo es cómo funciona la gráfica en el procesador, por lo que sería análogo a tomar una exploración de un cerebro para ver cómo funciona".

Las imágenes, proporcionadas exclusivamente a WIRED, muestran de lo que es capaz el software Poplar de la empresa cuando se combina con un procesador diseñado para aplicaciones de IA. Graphcore generó las imágenes mientras ejecutaba los procesos de aprendizaje automático utilizados para identificar las imágenes. "Estás llevando efectivamente una descripción gráfica a través de una pieza de software a un procesador gráfico", dijo Toon a WIRED.

"Lo que estás viendo son las capas de una profunda red neuronal expuesta", explicó. "Lo que está haciendo una red neuronal profunda es tratar de extraer características de los datos de forma automática, por lo que proporciona un flujo de datos y están extrayendo niveles de detalle más y más finos".

Graphcore dice que el chip utilizado para crear las imágenes se completará este año y ha desarrollado una Unidad de Procesamiento Inteligente (UIP), que argumenta que es la mejor manera de ejecutar la IA de aprendizaje automático. Explica el proceso tecnológico en una publicación de blog publicada junto con este artículo.

En comparación, las empresas como NVIDIA ejecutan programas de aprendizaje automático existentes en GPU de alta potencia. NVIDIA explica que sus GPU se están desarrollando para ejecutarse en la nube y admiten más procesamiento de datos con menos infraestructura, pero Toon argumenta que los procesadores específicos para el aprendizaje automático son mejores que los GPU.

Es algo, aparentemente, Google está de acuerdo con. Cuando el gigante de la tecnología lanzó recientemente su AI para Google Translate, se vio obligado a crear un nuevo chip: una unidad de procesamiento de tensor. El procesador está estructurado de manera diferente a las GPU y computa menos.

"Se están esforzando bastante para evolucionar a las GPU en una dirección diferente", dijo Toon. "Creemos que al comenzar a formar una hoja de papel limpia, podemos hacer algunos avances importantes y mover el paisaje"....

lunes, 3 de diciembre de 2018

Redes de similitud de acciones y predicción de riesgo financiero

Un enfoque combinado de aprendizaje automático y de red para la previsión del mercado de productos


Jingfang Fan, Keren Cohen, Louis M. Shekhtman, Sibo Liu, Jun Meng, Yoram Louzoun, Shlomo Havlin
Subjects: Physics and Society (physics.soc-ph); Social and Information Networks (cs.SI)
Cite as: arXiv:1811.10273 [physics.soc-ph]
(or arXiv:1811.10273v1 [physics.soc-ph] for this version)


Los mercados financieros sostenibles desempeñan un papel importante en el funcionamiento de la sociedad humana. Sin embargo, la detección y predicción del riesgo en los mercados financieros sigue siendo un reto y atrae mucha atención de la comunidad científica. Aquí desarrollamos un nuevo enfoque basado en la teoría de redes combinadas y el aprendizaje automático para estudiar la estructura y las operaciones de los mercados de productos financieros. Nuestros enlaces de red se basan en la similitud de los productos de las empresas y se construyen utilizando los registros de la Comisión de Bolsa de Valores (SEC) de las empresas que cotizan en Estados Unidos. Encontramos que varias características en nuestra red pueden servir como buenos precursores de los riesgos del mercado financiero. Luego combinamos la topología de la red y los métodos de aprendizaje automático para predecir empresas exitosas y fallidas. Encontramos que los pronósticos hechos usando nuestro método son mucho mejores que otras técnicas de regresión bien conocidas. El marco presentado aquí no solo facilita la predicción de los mercados financieros, sino que también proporciona información y demuestra el poder de combinar la teoría de redes y el aprendizaje automático.






sábado, 1 de diciembre de 2018

El cambio de escala en el ARS cuando arribó la digitalización

Ciencias sociales computacionales: haciendo los enlaces.


Desde los correos electrónicos hasta las redes sociales, los rastros digitales que deja la vida en el mundo moderno están transformando las ciencias sociales.

Jim Giles  | Nature
Nature 488, 448–450 (23 August 2012)
doi:10.1038/488448a




El trabajo inicial de Jon Kleinberg no fue para los matemáticamente débiles de corazón. Su primera publicación[1], en 1992, fue un artículo de informática con contenidos tan densos como su título: 'En diagramas dinámicos de Voronoi y la distancia mínima de Hausdorff para conjuntos de puntos bajo movimiento euclidiano en el plano'.

Eso fue antes de que la World Wide Web explotara en todo el planeta, impulsada por millones de usuarios individuales que toman decisiones independientes sobre a quién y con qué vincularse. Y fue antes de que Kleinberg comenzara a estudiar la amplia gama de subproductos digitales generados por la vida en el mundo moderno, desde correos electrónicos, llamadas desde teléfonos móviles y compras con tarjeta de crédito hasta búsquedas en Internet y redes sociales. Hoy en día, como científico informático en la Universidad de Cornell en Ithaca, Nueva York, Kleinberg usa estos datos para escribir artículos como "¿Qué tan malo está formando tu propia opinión?" [2] y "Me tuviste a mi lado: cómo el fraseo afecta la memorización" [3] Títulos que estarían en casa en una revista de ciencias sociales.

"Me di cuenta de que la informática no se trata solo de tecnología", explica. "También es un tema humano".

Kleinberg no está solo. El campo emergente de la ciencia social computacional está atrayendo a científicos inclinados matemáticamente en números cada vez mayores. Esto, a su vez, está estimulando la creación de departamentos académicos e impulsando a compañías como el gigante de la red social Facebook, con sede en Menlo Park, California, a establecer equipos de investigación para comprender la estructura de sus redes y cómo se propaga la información a través de ellos.

"Ha sido realmente transformador", dice Michael Macy, científico social de Cornell y uno de los 15 coautores de un manifiesto de 2009 que busca elevar el perfil de la nueva disciplina. "Antes estábamos limitados a las encuestas, que son retrospectivas, y los experimentos de laboratorio, que casi siempre se realizan en pequeñas cantidades de estudiantes de segundo año universitarios". Ahora, dice, las corrientes de datos digitales prometen un retrato del comportamiento individual y grupal a escalas sin precedentes. y niveles de detalle. También ofrecen muchos desafíos, especialmente los problemas de privacidad, y el problema de que los conjuntos de datos pueden no reflejar realmente a la población en general.

No obstante, dice Macy, "comparo las oportunidades con los cambios en la física provocados por el acelerador de partículas, y en la neurociencia por imágenes de resonancia magnética funcional".

Llamadas sociales

Un ejemplo temprano de datos digitales a gran escala utilizados en un tema de ciencias sociales fue un estudio realizado en 2002 por Kleinberg y David Liben-Nowell, un científico informático del Carleton College en Northfield, Minnesota. Observaron un mecanismo que los científicos sociales creían que ayudaba a impulsar la formación de relaciones personales: las personas tienden a hacerse amigos de los amigos de sus amigos. Aunque bien establecida, la idea nunca se había probado en redes de más de unas pocas decenas o cientos de personas.

Kleinberg y Liben-Nowell estudiaron las relaciones formadas en las colaboraciones científicas. Observaron a los miles de físicos que cargaron documentos en el servidor de preimpresión arXiv durante 1994–96. Al escribir un software para extraer automáticamente los nombres de los documentos, el par creó una red digital de varios órdenes de magnitud más grande que cualquiera que se haya examinado anteriormente, y cada enlace representa a dos investigadores que habían colaborado. Al observar cómo la red cambió con el tiempo, los investigadores identificaron varias medidas de cercanía entre los investigadores que podrían usarse para pronosticar futuras colaboraciones[5].





Como se esperaba, los resultados mostraron que las nuevas colaboraciones tendían a surgir de investigadores cuyas esferas de colaboradores existentes se superponían: el análogo de la investigación de "amigos de amigos". Pero la sofisticación matemática de las predicciones ha permitido que se utilicen en redes aún más grandes. El antiguo estudiante de doctorado de Kleinberg, Lars Backstrom, también trabajó en el problema de la predicción de la conexión, experiencia que ha aprovechado ahora que trabaja en Facebook, donde diseñó el actual sistema de recomendaciones de amigos de la red social.

Otra idea de larga data de la ciencia social afirmada por los investigadores computacionales es la importancia de los "vínculos débiles", las relaciones con conocidos lejanos que se encuentran relativamente raramente. En 1973, Mark Granovetter, un científico social ahora en la Universidad de Stanford en Stanford, California, argumentó que los vínculos débiles forman puentes entre camarillas sociales y, por lo tanto, son importantes para la difusión de información y la movilidad económica6. En la era pre-digital era casi imposible verificar sus ideas a escala. Pero en 2007, un equipo dirigido por Jukka-Pekka Onnela, un científico de la red que actualmente trabaja en la Universidad de Harvard en Cambridge, Massachusetts, utilizó datos de 4 millones de usuarios de teléfonos móviles para confirmar que los lazos débiles actúan como puentes sociales[7] (ver 'El poder de lazos débiles ').

En 2010, un segundo grupo, que incluía a Macy, mostró que Granovetter también tenía razón sobre la conexión entre la movilidad económica y los lazos débiles. Utilizando datos de 65 millones de teléfonos fijos y teléfonos móviles en el Reino Unido, junto con datos del censo nacional, revelaron una poderosa correlación entre la diversidad de las relaciones de las personas y el desarrollo económico: cuanto más ricas y variadas son sus conexiones, más ricas son sus comunidades[8] (ver 'El vínculo económico'). "En la década de 1970 no imaginábamos que podríamos trabajar con datos de esta escala", dice Granovetter.

Ideas infecciosas

En algunos casos, los grandes datos han demostrado que las ideas antiguas son erróneas. Este año, Kleinberg y sus colegas utilizaron datos de los aproximadamente 900 millones de usuarios de Facebook para estudiar el contagio en las redes sociales, un proceso que describe la difusión de ideas como modas, opiniones políticas, nuevas tecnologías y decisiones financieras. Casi todas las teorías habían asumido que el proceso refleja un contagio viral: la posibilidad de que una persona adopte una nueva idea aumenta con el número de creyentes a los que está expuesta.



El estudiante de Kleinberg, Johan Ugander, descubrió que hay más que eso: la decisión de la gente de unirse a Facebook no varía con el número total de amigos que ya están usando el sitio, sino con el número de grupos sociales distintos que ocupan esos amigos[9]. En otras palabras, descubrir que Facebook está siendo utilizado por personas de, digamos, su trabajo, su club deportivo y sus amigos cercanos da más impresión que encontrar que los amigos de un solo grupo lo usan. La conclusión de que la difusión de ideas depende de la variedad de personas que las sostienen puede ser importante para las campañas de marketing y de salud pública.

A medida que han proliferado los estudios computacionales de ciencias sociales, también lo han hecho las ideas sobre aplicaciones prácticas. En el Instituto de Tecnología de Massachusetts en Cambridge, el grupo del científico informático Alex Pentland utiliza aplicaciones de teléfonos inteligentes y dispositivos de grabación portátiles para recopilar datos detallados sobre los movimientos y las comunicaciones diarias de los sujetos. Al combinar los datos con encuestas de salud emocional y física, el equipo ha aprendido a detectar la aparición de problemas de salud como la depresión[10]. "Vemos grupos que nunca gritan", dice Pentland. "Poder ver el aislamiento es realmente importante cuando se trata de llegar a las personas que necesitan ser contactadas". Ginger.io, una compañía derivada en Cambridge, Massachusetts, dirigida por el ex alumno de Pentland, Anmol Madan, está desarrollando una aplicación para teléfonos inteligentes que notifica a los proveedores de atención médica cuando detecta un patrón en los datos que puede indicar un problema de salud.

Otras compañías están explotando los más de 400 millones de mensajes que se envían todos los días en Twitter. Varios grupos de investigación han desarrollado un software para analizar los sentimientos expresados ​​en tweets para predecir resultados del mundo real, como los ingresos de taquilla para películas o resultados de elecciones[11]. Aunque la precisión de tales predicciones aún es un tema de debate[12], Twitter comenzó en agosto a publicar un índice político diario para la elección presidencial de los Estados Unidos basada en estos métodos (election.twitter.com). Mientras tanto, en la Universidad de Indiana en Bloomington, Johan Bollen y sus colegas utilizaron un software similar para buscar correlaciones entre el estado de ánimo público, como se expresa en Twitter, y las fluctuaciones del mercado de valores[13]. Sus resultados han sido lo suficientemente poderosos para que Derwent Capital, una firma de inversiones con sede en Londres, pueda licenciar las técnicas de Bollen.

Cuando esas encuestas basadas en Twitter comenzaron a aparecer hace unos dos años, los críticos se preguntaban si la relativa popularidad del servicio entre grupos demográficos específicos, como los jóvenes, alteraría los resultados. Un debate similar gira en torno a todos los nuevos conjuntos de datos. Facebook, por ejemplo, ahora tiene cerca de mil millones de usuarios, sin embargo, los jóvenes todavía están excesivamente representados entre ellos. También hay diferencias entre la comunicación en línea y en el mundo real, y no está claro si los resultados de una esfera se aplicarán en la otra. "Con frecuencia, extrapolamos cómo un solo grupo utiliza una tecnología a cómo interactúan los humanos en general", señala Samuel Arbesman, científico de la red de la Universidad de Harvard. Pero eso, dice, "podría no ser necesariamente razonable".

Los defensores argumentan que estos no son problemas nuevos. Casi todos los datos de la encuesta contienen una cierta cantidad de sesgo demográfico, y los científicos sociales han desarrollado una variedad de métodos de ponderación para corregir el equilibrio. Si se entiende el sesgo en un conjunto de datos en particular, como un exceso de un grupo u otro en Facebook, los resultados se pueden ajustar para tenerlo en cuenta.

"En la década de 1970 no imaginábamos que podríamos trabajar con datos de esta escala".

Los servicios como Facebook y Twitter también se están utilizando cada vez más, reduciendo el sesgo. E incluso si el sesgo se mantiene, podría decirse que es menos severo que en otros conjuntos de datos como el de la psicología y el comportamiento humano, donde la mayoría del trabajo se realiza en estudiantes universitarios de sociedades occidentales, educadas, industrializadas, ricas y democráticas (a menudo denominadas WEIRD ).
Granovetter tiene una reserva más filosófica sobre la afluencia de big data en su campo. Él dice que está "muy interesado" en los nuevos métodos, pero teme que el enfoque en los datos reste valor a la necesidad de obtener una mejor comprensión teórica de los sistemas sociales. "Incluso lo mejor de estos artículos computacionales se centra en gran medida en las teorías existentes", dice. "Eso es valioso, pero es solo una parte de lo que debe hacerse". El artículo6 de Granovetter sobre los vínculos débiles, por ejemplo, sigue siendo altamente citado casi 40 años después. Sin embargo, fue "más o menos libre de datos", dice. "No fue el resultado de los análisis de datos, fue el resultado de pensar en otros estudios. Esa es una actividad separada y necesitamos que haya gente haciendo eso ".

La nueva generación de científicos sociales también está luchando con el tema del acceso a los datos. "Muchos de los 'big data' emergentes provienen de fuentes privadas que son inaccesibles para otros investigadores", escribió Bernardo Huberman, científico informático de los laboratorios HP en Palo Alto, en febrero de 2014. "La fuente de datos puede estar oculta, lo que agrava los problemas de verificación, así como las preocupaciones sobre la generalidad de los resultados".

Un buen ejemplo es el equipo de investigación interno de Facebook, que utiliza de manera rutinaria datos sobre las interacciones entre los 900 millones de usuarios de la red para sus propios estudios, incluida una reevaluación de la famosa afirmación de que dos personas en la Tierra solo tienen seis presentaciones aparte. (Pone la cifra en cinco[15]). Pero el grupo solo publica las conclusiones, no los datos sin procesar, en parte debido a preocupaciones de privacidad. En julio, Facebook anunció que estaba explorando un plan que daría a los investigadores externos la oportunidad de verificar las conclusiones publicadas del grupo interno contra datos agregados y anónimos, pero solo por un tiempo limitado, y solo si los de fuera viajaban a la sede de Facebook[16].

A corto plazo, los científicos sociales de la computación están más preocupados por los problemas culturales en su disciplina. Varias instituciones, entre ellas Harvard, han creado programas en el nuevo campo, pero el poder de los límites académicos es tal que a menudo hay poco tráfico entre los diferentes departamentos. En la Universidad de Columbia en Nueva York, el científico social y teórico de redes Duncan Watts recuerda un reciente error de programación que lo obligó a combinar reuniones con estudiantes graduados en ciencias de la computación y sociología. "Quedó bastante claro que estos dos grupos realmente podrían usarse entre sí: los estudiantes de ciencias de la computación tenían mejores habilidades metodológicas que sus homólogos de la sociología, pero los sociólogos tenían preguntas mucho más interesantes", dice. "Y sin embargo, nunca se habían escuchado el uno del otro, ni se les había ocurrido a ninguno de ellos caminar hasta el departamento del otro".

Muchos investigadores desconocen el poder de los nuevos datos, está de acuerdo David Lazer, científico social de la Northeastern University en Boston, Massachusetts, y autor principal del manifiesto de 2009. El escaso trabajo basado en datos se está convirtiendo en las principales revistas de ciencias sociales. Y las conferencias de informática que se centran en temas sociales, como la Conferencia sobre weblogs y redes sociales, celebrada en Dublín en junio, atraen a pocos científicos sociales.

No obstante, dice Lazer, con artículos destacados que aparecen en revistas líderes y conjuntos de datos sobre comportamientos de toda la sociedad disponibles por primera vez, esas barreras se están rompiendo constantemente. "Los cambios están más delante de nosotros que detrás de nosotros", dice.

Ciertamente esa es la percepción de Kleinberg. "Me considero un científico informático interesado en cuestiones sociales", dice. "Pero estos límites se están volviendo difíciles de discernir".


Referencias

  1. Huttenlocher, D. P., Kedem, K. & Kleinberg, J. M. Proc. 8th Annu. Symp. on Computational Geometry 110119 (1992).
  2. Bindel, D., Kleinberg, J. & Oren, S. Proc. IEEE 52nd Annu. Symp. Foundations of Computer Science 5766 (2011).
  3. Danescu-Niculescu-Mizil, C., Cheng, J., Kleinberg, J. & Lee, L. Proc. 50th Annu. Meeting Assoc. Computational Linguistics (in the press); Preprint at http://arxiv.org/abs/1203.6360.
  4. Lazer, D. et al. Science 323, 721723 (2009).
  5. Liben-Nowell, D. & Kleinberg, J. J. Am. Soc. Inf. Sci. Technol. 58, 10191031 (2007).
  6. Granovetter, M. S. Am. J. Sociol. 78, 13601380 (1973).
  7. Onnela, J.-P. et al. Proc. Natl Acad. Sci. USA 104, 73327336 (2007).
  8. Eagle, N., Macy, M. & Claxton, R. Science 328, 10291031 (2010).
  9. Ugander, J., Backstrom, L., Marlow, C. & Kleinberg, J. Proc. Natl Acad. Sci. USA 109, 59625966 (2012).
  10. Madan, A., Cebrian, M., Moturu, S., Farrahi, K. & Pentland, S. IEEE Pervasive Computing http://dx.doi.org/10.1109/MPRV.2011.79 (2011).
  11. Asur, S. & Huberman, B. A. Proc. 2010 IEEE/WIC/ACM Int. Conf. Web Intelligence and Intelligent Agent Technology Vol. 1, 492499 (2010).
  12. Gayo-Avello, D., Metaxas, P. T. & Mustafaraj, E. Proc. Fifth Int. AAAI Conf. on Weblogs and Social Media 490493 (2011).
  13. Bollen, J. & Mao, H. IEEE Computer 44(10), 9194 (2011).
  14. Huberman, B. A. Nature 482, 308 (2012).
  15. Backstrom, L., Boldi, P., Rosa, M., Ugander, J. & Vigna S. Preprint at http://arxiv.org/abs/1111.4570 (2011).
  16. Corbyn, Z. Nature http://dx.doi.org/10.1038/nature.2012.11064 (2012).