domingo, 19 de febrero de 2017

Algoritmo para la detección de estructuras núcleo-periferia en redes

Identificación de la estructura núcleo-periferia en redes

Xiao Zhang, Travis Martin, y M. E. J. Newman,


Archivo PDF en Arxiv.org

Resumen

Muchas redes se pueden descomponer útilmente en un núcleo denso más una estructura periférica, ligeramente conectada. Aquí se propone un algoritmo para realizar una descomposición de este tipo en redes empíricas de datos utilizando métodos de inferencia estadística. Nuestro método se ajusta a un modelo generativo de la estructura núcleo-periferia a los datos observados utilizando una combinación de un algoritmo de maximización de valor esperado para calcular los parámetros del modelo y un algoritmo de propagación de creencia para calcular la descomposición en sí. Encontramos que el método es eficiente, escalando fácilmente a redes con un millón o más nodos y lo probamos en una variedad de redes, incluyendo ejemplos del mundo real, así como puntos de referencia generados por computadora, para lo cual identifica con éxito la estructura núcleo-periferia conocida con baja tasa de error. También demostrar que el método es inmune a la transición de detectabilidad observada en el problema de detección de la comunidad relacionada, que impide la detección de la estructura de la comunidad cuando la estructura es demasiado débil. No existe tal transición para la estructura núcleo-periferia, que es detectable, aunque con algún error estadístico, no importa cuán débil sea.


Fig. 3 (izquierda): División núcleo-periferia de una representación de 1470 nodos de Internet a nivel de sistemas autónomos [16].
Los nodos colocados en el núcleo por nuestro análisis se dibujan más grandes y en azul; Los nodos en la periferia son más pequeños y en amarillo. La red fue construida a partir de los datos del Proyecto Rutas de Oregón y representa una instantánea más antigua, elegida para el tamaño relativamente pequeño de la red. Nuestros métodos pueden aplicarse fácilmente a redes más grandes, pero un tamaño menor hace que la visualización de los resultados sea más clara.
FIG. 4 (derecha): División núcleo-periferia de una red de hipervínculos entre blogs políticos tomados de [35]. La red se separa naturalmente en comunidades conservadoras y liberales, claramente visibles como los dos grupos en este cuadro. Dentro de cada grupo nuestro algoritmo encuentra un núcleo y una periferia separados indicados por los nodos azules y amarillos respectivamente.


martes, 14 de febrero de 2017

Usando filtros en Gephi

Uso de Filtros en Gephi

 




  • DESCARGAR UN ARCHIVO DE RED PARA PRACTICAR


Descargue este archivo zip y descomprímalo en su computadora.

O utilice este enlace directo: https://tinyurl.com/gephi-tuto-3

Debe encontrar el archivo miserables.gexf en él. Guárdelo en una carpeta que recordará (o cree una carpeta especialmente para este pequeño proyecto).


  • DESCRIPCIÓN DEL ARCHIVO / DE LA RED

Este archivo contiene una red que representa "quién aparece junto a quién" en la novela del siglo XIX Les Misérables de Victor Hugo [1].

Un enlace entre los caracteres A y B significa que aparecen en la misma página o párrafo de la novela.

El nombre del archivo termina con ".gexf", lo que significa que es un archivo de texto donde se almacena la información de la red (nombre de los personajes, sus relaciones, etc.) siguiendo algunas convenciones.


  • ABRIR LA RED EN GEPHI
  • Abra Gephi. En la pantalla de bienvenida que aparece, haga clic en Abrir archivo de grafo (Open Graph File)
  • Encuentra miserables.gexf en tu computadora y ábrala

Figura 1. pantalla de bienvenida --> abrir gráfico


Se abrirá una ventana de informe que le dará información básica sobre la red que abrió:


Figura 2. ventana de informe

Esto le dice que la red consta de 74 caracteres, conectados por 248 enlaces.

Los enlaces no están dirigidos, lo que significa que si A está conectado a B, entonces es lo mismo que B conectado a A.

El informe también nos dice que la gráfica no es dinámica: significa que no hay evolución o cronología, que no "se mueve en el tiempo".

Haga clic en Aceptar para ver el gráfico en Gephi.


Figura 3. La red que usaremos

DANDO UN SENTIDO DE LOS ATRIBUTOS EN EL LABORATORIO DE DATOS


Podemos cambiar al laboratorio de datos para ver los datos subyacentes:



Figura 4. Cambio al laboratorio de datos


Vemos que los nodos de la red tienen muchos atributos. En particular, cada uno tiene un Género y una medida de lo central que son:


Figura 5. Atributos de nodos.

Esta es la lista de aristas (relaciones) en la red. Observe que tienen un "peso" (una "fuerza").


Figura 6. Atributos de bordes


DESCUBRIMIENTO DEL PANEL DEL FILTRO
En la vista general, asegúrese de que se muestre el panel Filtro:


Figura 7. Visualización del panel Filtro.


Cómo funciona el panel Filtro:



Figura 8. Flujo de trabajo de los filtros

Un ejemplo: ocultando enlaces con un peso inferior a 2



Figura 9. Cómo utilizar los filtros.


Cuando haya terminado de usar un filtro en la zona, haga clic derecho en él y seleccione "eliminar".

COMBINANDO 2 FILTROS

Un filtro se aplica DESPUÉS de este otro:

El primer filtro a ser aplicado es ANIDADO (colocado dentro) del segundo como un "subfiltro"

¿Qué filtro debe colocarse dentro de cuál? Echemos un vistazo a diferentes ejemplos:


1. CASO CUANDO LA COLOCACIÓN DE FILTROS NO HACE NINGUNA DIFERENCIA

Objetivo: Mantener en pantalla sólo los personajes femeninos que tienen un empate (un borde, una relación) de al menos fuerza 2.

→ coloque el filtro "peso del borde" dentro del filtro "Género":


Figura 10. Filtro en el atributo Género

Figura 11. Filtro sobre el peso del enlace


Figura 12. Mantener sólo personajes femeninos con al menos 2 lazos

En este caso, era equivalente a:

  • Anidar el filtro "Género" dentro del filtro "Peso del borde" o
  • Anida el filtro "Peso del borde" dentro del filtro "Género"


→ El resultado fue el mismo (la red en pantalla es idéntica en ambos casos)

2. CASO CUANDO LA COLOCACIÓN DE FILTROS HACE UNA DIFERENCIA
 Aquí, queremos visualizar:

  • Sólo los nodos que tienen menos de 10 relaciones <1>
  • Y entre éstos, sólo aquellos que forman la "isla principal" de la red (queremos esconder pequeños grupos separados de nodos) <2>


  1. En términos técnicos, nodos con un grado de menos de 10.
  2. En términos técnicos, estamos buscando el componente gigante


Figura 13. Filtro en grado

Figura 14. Filtro en el componente gigante

Veremos que la colocación en los filtros de la zona marcará la diferencia.

Primero, coloquemos el filtro en el componente gigante dentro del filtro en grado:


Figura 15. Filtros en una configuración


En este primer caso,

  • Sólo se hizo visible el componente gigante de la red.

→ Puesto que la red era apenas una "isla" conectada grande para comenzar con, no cambió una cosa.


  • Entonces, todos los personajes con más de 10 relaciones donde se ocultan

→ esto oculta los nodos que se conectaban con muchos otros, de modo que terminamos con muchos grupos, desconectados unos de otros.

Ahora, en su lugar, colocando el grado de filtro dentro del filtro en el componente gigante:

Orden de filtro 2 es


Figura 16. Mismos filtros en otra configuración

En este segundo caso,


  • A partir de la red completa, todos los caracteres con más de 10 relaciones donde se eliminan.

→ esto creó una red hecha de muchos grupos de nodos desconectados


  • Entonces se aplica el filtro de componentes gigantes,

→ que tenían por efecto ocultar pequeños grupos, para mantener en la vista solamente el grupo más grande de nodos conectados.


Advertencia
En resumen: tenga cuidado al aplicar varios filtros a la vez, esto podría tener un efecto sobre la lógica del filtrado.


viernes, 10 de febrero de 2017

Tres maneras de rastrear sitios de noticias falsas

Tres maneras en que los investigadores digitales pueden arrojar luz sobre la política de información de la era "post-verdad"

Liliana Bounegru |  The Impact Blog - London School of Economics

Los medios digitales desempeñaron un papel prominente en las recientes elecciones presidenciales de Estados Unidos, con plataformas de medios sociales que canalizaban universos de la cultura política, arraigados en el populismo y la política post-verdad, en la corriente principal del discurso político de Estados Unidos. Mientras tanto, los mecanismos tradicionales, desde los sondeos hasta los principales medios de comunicación, no lograron capturar adecuadamente el sentimiento público en torno a los acontecimientos políticos. ¿Son necesarios nuevos instrumentos para comprender el tejido socio-técnico del panorama político post-verdad? ¿Y qué pueden hacer los investigadores digitales para contribuir? Liliana Bounegru describe ejemplos de enfoques que se están desarrollando en la Iniciativa de Métodos Digitales que esperan ayudar a los investigadores digitales, periodistas de datos, grupos de la sociedad civil y otros que buscan aumentar la comprensión pública de estos fenómenos.


Como dicta la tradición de Washington, la víspera de la inauguración vio una multitud de pelotas y galas donde los partidarios, donantes, organizadores y recaudadores de fondos de Donald Trump vestidos con traje de gala se reunieron para reconocer los esfuerzos de la campaña y celebrar la victoria. Y si bien estos eventos suelen celebrar los esfuerzos de los que participan en la recaudación de contribuciones de campaña, golpeando en las puertas y organizar manifestaciones - este año vio el reconocimiento de un tipo diferente de trabajo político para llevar a la rubia millonaria a la Casa Blanca. El "DeploraBall", organizado por el Club Nacional de Prensa, una auto-descripción de la "reunión de los trolls", elogió las movilizaciones para "meméalo en la presidencia". En otra parte, el dueño de un sitio web que generó noticias falsas ampliamente difundidas sobre las elecciones presidenciales afirmó que su sitio ayudó a que Trump fuera elegido, con una investigación de BuzzFeed News que indicaba que las noticias falsas efectivamente generaban más participación que noticias reales en Facebook.

Estas afirmaciones son ilustrativas del papel prominente que los medios digitales han desempeñado en relación con las elecciones presidenciales de Estados Unidos, tanto en la práctica como en la imaginación pública. Tal vez lo más distintivo son las formas en que las plataformas de medios sociales han actuado como motores para canalizar universos anteriores de la cultura política, arraigados en el populismo de derecha y la política posterior a la verdad, en la corriente principal de la política estadounidense.

A la luz de una victoria de Trump que parece haber tenido éxito en el aprovechamiento de estos motores digitales (de una manera que fue notablemente diferente en la campaña electoral de Obama en 2008), también hay una percepción de que los mecanismos tradicionales han fracasado en capturar el sentimiento público alrededor de políticas Eventos, desde encuestas y revisiones a los principales medios de comunicación. ¿Cómo podemos explicar el fracaso de estos instrumentos para capturar el atractivo popular que Trump generó? ¿Son necesarios nuevos instrumentos para comprender el tejido socio-técnico del panorama político post-verdad? ¿Y qué pueden aportar los investigadores digitales a la comprensión pública de estos fenómenos?

El mes pasado, un grupo de investigadores de nuevos medios, estudiantes de periodismo, diseñadores gráficos y programadores se reunieron en la Universidad de Amsterdam. El grupo trató de abordar estas cuestiones mediante el desarrollo de formas de reorientar creativamente las huellas digitales de las plataformas en línea al servicio de la investigación social y cultural crítica. El objetivo era arrojar luz sobre estas emergentes culturas mediadas digitalmente, así como sus formas asociadas de acción política. ¿Cuándo los ojos se vuelven nerviosos hacia las próximas elecciones europeas en 2017, se puede apalancar la investigación digital crítica alrededor de las elecciones estadounidenses para entender las emergentes formas de política de información - y la incorporación de formaciones de derecha en otros países antes de que se abran las urnas? A continuación se presentan algunos ejemplos notables de enfoques de nuestra investigación en curso en la Iniciativa de Métodos Digitales que esperamos pueda ayudar a los investigadores digitales, periodistas de datos, grupos de la sociedad civil y otros que buscan aumentar la comprensión pública de estos fenómenos.

1. Mapeo de sitios falsos de noticias a través de patrones de vinculación y firmas de seguimiento

Mientras que la noción de "noticias falsas" domina las discusiones a raíz de los resultados electorales de EE.UU., lo que cuenta como noticias falsas y para quien está lejos de ser resuelto. Un enfoque para entender este problema es usar patrones de vinculación y firmas de rastreo para perfilar ecosistemas falsos de noticias. Un análisis de cómo los sitios web etiquetados como enlace de noticias falsas entre sí pueden revelar las diversas esferas de información hiperpartidista y desinformación que comprenden falsos espacios de noticias en diferentes idiomas.



Figura 1: Mapa de red de sitios web en inglés etiquetados como "noticias falsas" agrupadas de acuerdo con sus patrones de vinculación generados con la herramienta Issue Crawler. Fuente: https://wiki.digitalmethods.net/Dmi/WinterSchool2017FakeNewsSites.

De forma similar, los rastreadores web, como los anuncios y los análisis, también se pueden utilizar para asignar esferas de información errónea. Un análisis de la naturaleza de los rastreadores presentes en los sitios de noticias falsos con el tiempo puede arrojar luz sobre los fundamentos económicos y modelos de negocio subyacentes a estos sitios, así como los tipos de datos de usuario que capturan.


Figura 2: El aumento de ad trackers (nodos azules) en un conjunto de sitios falsos de noticias en inglés entre 1999 y 2016. Datos recopilados con el archivo de Internet Wayback Machine Link Ripper y la herramienta TrackerTracker y visualizados con Gephi. Fuente: https://wiki.digitalmethods.net/Dmi/WinterSchool2017FakeNewsSites.

2. Mapeo de las infraestructuras y tácticas del alt-right online

Otro enfoque haría visibles las infraestructuras a través de las cuales los grupos de alt-right se organizan en línea y las tácticas que implementan. Aquí uno podría idear métodos para capturar y analizar datos de los populares alt-right espacios (como el subreddit, The_Donald). Los proyectos pueden tratar de determinar cómo se coordinan las formas de acción política, como las "bombas de Google", para manipular los resultados de la búsqueda a fin de favorecer a algunos candidatos y dañar a otros. Un vistazo a las técnicas de las nuevas formaciones de derecha puede ser evidenciado mediante la comparación de fuentes y plataformas que aparecen en los puestos superiores en espacios populares en línea - como estos ejemplos de The_Donald.


Figura 3: Mapa de la red de los individuos y frases dirigidos a ser asociados con sus nombres a través de las bombas de Google coordinadas en /r/The_Donald. Fuente: https://wiki.digitalmethods.net/Dmi/WinterSchool2017TrumpAltRight



Figura 4: Red de nombres de dominio co-occurring en los puestos superiores y comentarios asociados en / r / The_Donald. Fuente: https://wiki.digitalmethods.net/Dmi/WinterSchool2017TrumpAltRightActivism

3. Entender las burbujas de filtro más allá de Facebook

Otros acercamientos pueden mirar para ampliar el estudio de burbujas del filtro más allá de noticias políticas en Facebook. Este fue el foco de un proyecto interactivo de Wall Street Journal que permite a los lectores navegar por las burbujas políticas liberales y conservadoras de las noticias políticas en Facebook, lado a lado. Una forma de avanzar en este trabajo sería desarrollar enfoques para demarcar las burbujas de filtro de elecciones creadas por los partidarios de Trump y Clinton en Twitter a través del uso de hashtags. Esto puede servir para ilustrar las fuentes de los medios de comunicación específicas y compartidas por los diferentes campos políticos en los medios de comunicación social, a fin de informar las comunicaciones y las actividades de divulgación de los medios en relación con las elecciones.


Figura 5: Mapa de red de fuentes de medios compartidos en frases y hashtags convencionales utilizados por los partidarios de Trump y Clinton en Twitter. Fuente: https://wiki.digitalmethods.net/Dmi/WinterSchool2017BeyondTheBubbleInside

Por último, uno podría buscar un terreno común entre estos diferentes campos políticos y burbujas en Facebook, mediante el mapeo de redes de Me Gusta; Es decir, redes de gustos entre páginas de Facebook. Por ejemplo, en el caso de las elecciones estadounidenses, identificar las páginas que les gustan tanto las páginas liberales como conservadoras de Facebook utilizadas en el Blue Feed del Wall Street Journal, Red Feed puede formar la base de un "Purple Feed", que mostraría el contenido de las páginas que Son apreciados y compartidos por ambos grupos.

A medida que nos preparamos para otra dura ronda de elecciones en varios países europeos, este tipo de investigación digital crítica podría convertirse en un lugar de colaboración entre los diferentes actores interesados ​​en promover la comprensión pública del tejido socio-técnico de la política "post-verdad". Para ello, será necesario dotar a los ciudadanos y grupos de la sociedad civil preocupados por el ascenso de la nueva derecha de los medios para entender y responder a las alianzas, prácticas, fuentes de información y formas de significación que están surgiendo en los medios de comunicación que nos rodean.

Este blog se basa en proyectos de investigación realizados en la Escuela de Invierno de Métodos Digitales 2017 en la Universidad de Amsterdam. Más detalles se pueden encontrar en el sitio web de la Iniciativa de Métodos Digitales.

Nota: Este artículo da las opiniones del autor, y no la posición del Blog de Impacto LSE, ni de la London School of Economics. Por favor, revise nuestra política de comentarios si tiene alguna duda sobre cómo publicar un comentario a continuación.


lunes, 6 de febrero de 2017

Anuncio: 1° Congresso Internacional de Redes Sociais (Portugal)



Para más información haga clic Universidade de Évora


Pretende-se com este Congresso conhecer, discutir, aprofundar e disseminar dinâmicas e práticas de utilização de redes sociais em projetos de intervenção social e organizacional, bem como, discutir, analisar e disseminar experiências e projetos que tenham como base a teoria e metodologia de análise de redes sociais.
As finalidades são as seguintes:
  • Potenciar a criação e o fortalecimento de redes de trabalho cooperativo entre analistas de redes sociais
  • Dar a possibilidade aos estudantes de mestrado e doutoramento do polo, de outros polos do CICS.NOVA e de outras IES portuguesas e estrangeiras, de submeter-se ao crivo crítico entre pares e com especialistas na área.
  • Divulgar trabalhos realizados por investigadores do CICS.NOVA na área da ARS
  • Divulgar trabalhos realizados por investigadores de outros centros de investigação na área da ARS
  • Aprofundar a discussão teórica e metodológica sobre a ARS
  • Divulgar ferramentas/metodologias de estudo/aplicação da ARS a vários objetos.
  • Discutir tendências e desafios teóricos e metodológicos da ARS.
  • Aprofundar a discussão teórica e metodológica sobre projetos de intervenção social que tenham por base redes sociais.
  • Discutir práticas de intervenção social e organizacional
Destinatários:
Analistas e investigadores de Redes Sociais
Técnicos da intervenção social
Estudantes de várias áreas científicas
Docentes dos vários níveis de ensino
Técnicos de organizações sociais (empresas, ONG, municípios, etc.).

Datas Importantes


Data de realização: 01 e 02 de junho de 2017
Data limite de sumissão de resumos: 28 de fevereiro
(Notificação de autores: até 20 de março)
Data limite de inscrições: 31 de maio de 2017




Programa


(Programa provisório)Dia 1 de junho
 9.30 – 10.00 Sessão de Abertura
 10.00 – 11.00 Conferência de Abertura (auditório)
 11.30 – 12.30 Apresentação de Comunicações 1
 Almoço Livre
 14.00 – 15.45 Mesa redonda (auditório):
“Potencialidades, tendências e desafios teóricos e metodológicos da análise de redes sociais”
 16.15 – 18.00 Apresentação de Comunicações 2
 18.00 Visita à cidade e prova de vinhos alentejanos*
 20.00 Jantar do Congresso*
*Incluído no valor da inscrição
Dia 2 de junho
 9.30 – 11.00 Apresentação de Comunicações 3
 11.30 – 12.30 Mesa redonda (auditório):
“Redes sociais e construção de territórios inclusivos, justos e decentes”
 Almoço Livre
 14.00 – 15.45 Apresentação de Comunicações 4
  16.15 – 18.00 Conferência de Encerramento


sábado, 4 de febrero de 2017

Hints: Ampliando la memoria de Gephi para procesar redes grandes

Cómo ampliar las capacidades de procesamiento de Gephi

Grupo de Facebook Gephi

Consulta al grupo

¿Cómo calcular la modularidad en redes grandes? Mi red tiene 240 mil nodos y 57 millones de enlaces. La exploración funciona bien, pero cuando intento calcular la modularidad consigo el mensaje de la memoria.
¿Hay una forma menos intensiva de recursos para calcular la modularidad fuera de Gephi? ¿O es Gephi ya la opción más eficiente y necesito actualizar mi equipo o usar algún servicio en la nube?
Actualización: Aumentar el límite de memoria más allá de la RAM disponible funcionó. Más soluciones en los comentarios.



Respuesta 1

El kit de herramientas de Gephi sería más indicado aquí. En otras palabras, usted necesita la codificación sin una interfaz gráfica de usuario creo.

Respuesta 2

No es una idea muy especial, pero ampliar la RAM con un poco más de GB también podría ayudar.

  • Ya se ha actualizado a 32 GB y no quedan huecos. Probablemente mejorará la computadora antes de reemplazar los memorias DDR3.

Respuesta 3

1. Puede intentar subir la memoria en el archivo de configuración de Gephi en etc / gephi.conf simplemente estableciendo el límite de memoria a 100 GB o incluso más alto. Incluso si usted no tiene esa cantidad de RAM instalada físicamente en su computadora, los cálculos de modularidad pueden ser terminados en un tiempo razonable. He publicado algunos detalles anteriormente en este post:

2. Podría probar el software iGraph. Sin embargo, se requiere experiencia en programación. Tiene bibliotecas C / C ++, Python y R disponibles. Se debe googlear "igraph louvain". En todos los paquetes de R / C / Python hay múltiples algoritmos de computación de modularidad - el método de Lovaina es el mejor. Sin embargo, cada biblioteca utiliza un nombre diferente para el método. En el paquete Python se llama community_multilevel, en C es igraph_community_multilevel, y en R cluster_louvain.

No he usado iGraph yo mismo pero parece bueno. Examinar la documentación también muestra que puede importar y exportar el formato de archivo de Gephi (GEXF al menos, probablemente otros también).

Google más acerca de iGraph + Gephi si tiene experiencia en programación.

3. Usted puede google para "Louvain método modularidad" para más implementaciones - He visto algunas implementaciones simples de C antes. El mayor problema suele ser la conversión entre diferentes formatos de archivo. Es extremadamente frustrante sólo para convertir archivos de entrada a un formato correcto, a continuación, la salida puede ser uno o más archivos. Entonces estos necesitan convertir de nuevo a Gephi. No es un enfoque recomendado!

El parámetro que utilizaría en etc / gephi.conf es "-Xmx100G". Obviamente es bueno entender cómo funciona la memoria del ordenador - no es sólo un número mágico para resolver todos los problemas de memoria.

La modificación de tutoriales de ejemplo de Gephi Toolkit también es bastante fácil si tienes experiencia previa en programación. Ya ha encontrado las partes necesarias en la sección de ejemplo. Ahora solo tendrías que conseguirlo para compilar y ejecutar - que puede ser tedioso si ocurren errores extraños. Después de la compilación de éxito + ejecutarlo debería ser bastante fácil incluso para un programador principiante para copiar y pegar los ejemplos de código relevantes de los ejemplos de Gephi Toolkit y obtener un ejecutable ejecutable Java sin cabeza. ¡Buena suerte!

Respuesta 4

Sólo se está quedando sin memoria porque el tiempo de ejecución de Java está limitando el tamaño de montón máximo. Una vez que el límite de memoria se eleva - incluso por encima de la RAM física instalada - el algoritmo puede ejecutarse. Si la memoria física se agota, el sistema operativo utilizará pagefile / swapfile / paging virtual que a menudo hace las cosas más lentas. La lentitud es causada por el sistema operativo escribiendo y leyendo cosas del disco en lugar de RAM. Hoy en día con rápidas SSD unidades esto no es necesariamente tan malo de un problema. Incluso si el disco era disco duro antiguo, el procesamiento podría continuar aunque sea más lento. Es fácil comprobar si funciona o no modificando el parámetro Xmx en etc / gephi.conf.

Respuesta 5

Haciendo swap es seguro, y sí las SSDs son agradables, pero aún órdenes de magnitud más lento que RAM. Sería bueno tener un análisis de la memoria necesaria antes de cambiar la configuración, si se tarda minutos, horas o lo que sea para ejecutar el cálculo. No tengo ni idea de la complejidad espacial de Louvain, ni de cuánto Gephi / JVM usa para vértices y aristas en este caso, o en general

Respuesta 6

¿Es su red ponderada o no - es decir, ¿tienen los enlaces con peso o fuerza? La cantidad de enlaces parece alta en contraste con la cantidad de nodos.

Si puede simplificar la red cortando algunos de los enlaces, podría ser más factible calcular la modularidad. Simplemente eliminando los enlaces con poco peso (enlaces irrelevantes) podría simplificar la red, pero aún así mantener la estructura de la comunidad subyacente intacta.

Recuerde que el algoritmo de modularidad no es óptimo en ningún caso. Simplificar la red eliminando los enlaces no significa necesariamente "perder información" de ella.

Háganos saber si descubre una manera de gestionar esa red.

  • Es una red de seguidores de Twitter, por lo que los enlaces no están ponderados. Lo que hice para que funcione, sólo estaba utilizando los enlaces de las personas que siguen menos de 1 000 cuentas. 
  • Pero quiero hacerlo funcionar con los enlaces de las personas que siguen hasta 10 000 cuentas.
    Yo uso la modularidad para dividir la red en más pequeños ya que esto funcionó bastante bien en el pasado. Pero siempre estoy abierto a mejores métodos

Respuesta 7

Una idea más sobre la computación modular en grandes redes. Encontré un plugin / tutorial para insertar datos en la base de datos de gráficos Neo4j y luego usar un plugin para calcular la modularidad en él. Los detalles están en el algoritmo Smart Local Moving (SLM), pero la implementación incluye también el algoritmo de maximización de la modularidad de Louvain.

Hay un tutorial para hacer esto aquí

Gephi tiene plugin de integración de Neo4j - podría ser incorporado en realidad. De esta manera usted podría ser capaz de calcular la modularidad en la base de datos Neo4j e importar los datos de Neo4j a Gephi a través de la consulta.

  • Como solución rápida establecí el límite de memoria a 200G. Actualizaré el aquí cómo fue. Para el futuro examinaré Gephi Toolkit y Neo4j. Gracias a todos.

Respuesta 8

Aumentar el límite de memoria mucho más allá (200 GB) de la RAM disponible (32 GB) trabajado. Lo dejé correr durante la noche, así que no sé cuánto tiempo tomó, pero fue menos de 10 horas. Se escribió 550GB a la SSD.
Especificaciones para los interesados:
- i5 4670k con una velocidad de reloj de 4,5 GHz
- 32 GB de RAM a 1866 GHz
- Samsung 850 EVO 500GB SSD


domingo, 29 de enero de 2017

ARS implícito de una profesora: Replicando a Levy Moreno

El truco ninja de una profesora para combatir el acoso escolar
Es una estrategia ideada por una profesora de matemáticas de Florida


La profesora Kathy Pitt en una imagen de la televisión estadounidense NBC

Jaime Rubio Hancock - Verne


Una profesora conoce una técnica muy útil para combatir el acoso escolar. Y muchos maestros la están compartiendo. El truco se explicó durante la presentación de un teléfono de ayuda contra el bullying en El Vendrell. Tal y como recoge el Diari de Tarragona, los maestros de la localidad llevan tiempo pasándose "por internet la historia de una profesora inglesa que se ha convertido en ejemplo". En Nació Digital recogían esta historia unos días antes.Allí se explica que la maestra "prefiere mantener el anonimato". En otros medios la docente ya ha pasado a ser catalana.

La primera vez que se publicó esta técnica para luchar contra el acoso escolar fue el 30 de enero de 2014, en Momastery, el blog de Glennon Doyle Melton, una escritora (y madre) de Florida, en Estados Unidos. En su texto, "Compartid esto con todas las escuelas, por favor" habla de una charla que tuvo con la profesora de matemáticas de su hijo Chase, entonces alumno de quinto de primaria.


Cada viernes por la tarde, la profesora de Chase pide a sus estudiantes que saquen una hoja y escriban los nombres de cuatro niños con quienes les gustaría sentarse la semana siguiente. Los niños saben que estos deseos pueden cumplirse o no. También pide a los estudiantes que digan el nombre de un compañero que se haya portado de forma excepcional. Todas las votaciones se entregan de forma privada.

Y cada viernes por la tarde, después de que sus alumnos se vayan a casa, la profesora de Chase saca esos papeles y los estudia. Busca patrones.
  • ¿Qué nombre no quiere nadie?
  • ¿Quién no sabe junto a quién quiere sentarse?
  • ¿Quién no recibe la suficiente atención para ser votado?
  • ¿Quién tenía un millón de amigos la semana pasada y ninguno esta semana?
Lo que realmente quería esta profesora, explicaba Melton, era "identificar a los niños solitarios. Buscar a los alumnos que tienen dificultad para conectar con sus compañeros". En definitiva, saber a quién se está acosando y quién está acosando.

Melton calificaba esta idea de "la estrategia de amor ninja más brillante que conozco" y añadía que la profesora, a punto de jubilarse, llevaba haciéndolo cada viernes desde la matanza de Columbine, en 1999, cuando dos estudiantes asesinaron a 13 personas.

La bloguera no dio en este texto el nombre de la profesora, pero la historia se compartió cuatro millones de veces en cuatro días, así que al final incluso fue entrevistada por la cadena NBC. Kathy Pitt (este es su nombre) explicó en esta entrevista que los nombres que menos aparecen son los de los niños a quienes se está dejando más de lado. Algunos de sus alumnos también hablaron con la NBC y aseguraron que gracias a esta iniciativa se llevaban mucho mejor entre ellos.

Según datos de Save the Children publicados por EL PAÍS en febrero, uno de cada diez alumnos asegura que ha sufrido acoso escolar en España, lo que supone más de 190.000 víctimas y 100.000 agresores.

Nota del administrador: El trabajo de Kathy Pitt es similar en enfoque al realizado por Jakob Levy Moreno en su libro "Who Shall Survive?" que dio nacimiento al sociograma. Kathy adoleció de las herramientas formales pero el objetivo era detectar patrones estructurales en la red social de su clase escolar.

sábado, 28 de enero de 2017

La compleja red de negocios del Sr. Trump

Una compleja visualización asombrosamente deja ver los lazos del Trump
Wired




ANTES DE QUE DONALD TRUMP fuese el presidente, él era un hombre de negocios. Llegó al cargo liderando una vasta empresa que incluye bienes raíces, casinos y una lucrativa operación de marca. "La red es enorme", dice el diseñador Kim Albrecht, cuya fascinante visualización de datos Trump Connections intenta desenredarlo todo.

Albrecht utilizó datos de la investigación TrumpWorld de BuzzFeed sobre las 1.500 conexiones de negocios del presidente para crear dos visualizaciones. El primero sitúa a Trump en el centro de una enorme red. El otro, que se asemeja a un árbol genealógico, deconstruye esa persona de red por persona, negocio por negocio. "Es un completo desastre si se observa el conjunto de datos completo", dice Albrecht.



Una versión interactiva del viz de datos le permite hacer clic en un nombre o negocio para ver una lista ampliada de conexiones. Por ejemplo, haciendo clic en Donald Trump saca lo que parece una lista interminable de corporaciones de las que es presidente. Albrecht organiza los datos en un árbol denotando la relación del presidente con la gente de la organización.



Cualquier persona con más de una conexión está en negrita e hipervínculo, dejándolo en un agujero de conejo de conexiones. Haciendo clic en Josh Kushner (hermano de Jared), lleva a la página de la lista de empresas de tecnología familiar que está involucrado pulg Haga clic en Melania Trump y verá todo el camino está conectado a los negocios de su marido.

Albrecht no ofrece ningún comentario sobre los datos, sólo un medio para hacer un conjunto de datos masivo accesible a cualquier persona interesada en llegar a sus propias conclusiones. Pero los intereses empresariales bizantinos del presidente y su negativa a despojarse de ellos crean una cartera diversificada de posibles conflictos de intereses. El hombre que prometió "drenar el pantano" es él mismo un centro de corrupción potencial -como las ilustraciones de Albrecht ilustran tan vívidamente.