viernes, 2 de mayo de 2014

Detección de comunidades: Algoritmo Girvan-Newman

Algoritmo de Girvan - Newman


El algoritmo de Girvan -Newman (el nombre de Michelle Girvan y Mark Newman ) es un método jerárquico utilizado para detectar las comunidades en sistemas complejos. [1]



Intermediación  de enlaces y estructura de la comunidad 

El algoritmo de Girvan -Newman detecta comunidades eliminando progresivamente los enlaces de la red original. Los componentes conectados de la red que queda son las comunidades. En lugar de tratar de construir una medida que nos indica que los enlaces son los más importantes para las comunidades, el algoritmo de Girvan -Newman se centra en los enlaces que son más probable " entre " comunidades.

La intermediación de vértices se ha estudiado en el pasado como una medida de la centralidad y la influencia de los nodos en las redes. Para cualquier nodo i, intermediación vértice se define como el número de caminos más cortos entre pares de nodos que se ejecutan a través de él. Es una medida de la influencia de un nodo sobre el flujo de información entre otros nodos, especialmente en los casos donde el flujo de información a través de una red sigue principalmente el camino más corto disponible. El algoritmo de Girvan - Newman extiende esta definición para el caso de enlaces, la definición de la " intermediación enlace " de un enlace como el número de caminos más cortos entre pares de nodos que se ejecutan a lo largo de ella. Si hay más de una ruta más corta entre un par de nodos, cada ruta se le asigna el mismo peso tal que el peso total de todos los caminos es igual a la unidad. Si una red contiene las comunidades o grupos que están sólo vagamente conectados por unos enlaces entre grupos, entonces todos los caminos más cortos entre las diferentes comunidades deben pasar por una de estas pocas aristas. Por lo tanto, los enlaces de conexión comunidades tendrán alta intermediación enlace (al menos uno de ellos). Mediante la eliminación de estos enlaces, los grupos están separados uno de otro y por lo que la estructura de la comunidad subyacente de la red se revela.

Los pasos del algoritmo para la detección de la comunidad se resumen a continuación


  1. La intermediación de todos los enlaces existentes en la red se calcula primero.
  2. Se elimina el enlace con la más alta intermediación.
  3. La intermediación de todos los enlaces afectados por la eliminación se vuelve a calcular.
  4. Pasos 2 y 3 se repiten hasta que no hay quedan enlaces.

El hecho de que los únicos betweennesses siendo recalculados son sólo los que se ven afectados por la eliminación, puede disminuir el tiempo de ejecución del proceso de simulación ' en las computadoras. Sin embargo, la centralidad de intermediación debe ser recalculado con cada paso, o se producen errores graves. La razón es que la red se adapta a las nuevas condiciones establecidas después de la eliminación enlace. Por ejemplo, si dos comunidades están conectados por más de un enlace, entonces no hay garantía de que todos estos enlaces tendrán alta intermediación. De acuerdo con el método, sabemos que al menos una de ellas tendrá, pero nada más que lo que se sabe. Por recalcular betweennesses después de la eliminación de cada enlace, se asegura que al menos uno de los enlaces restantes entre dos comunidades siempre tendrá un valor alto.

El resultado final del algoritmo de Girvan - Newman es un dendrograma. Cuando se ejecuta el algoritmo de Girvan - Newman, el dendrograma se produce a partir de la parte superior hacia abajo ( es decir, la red se divide en diferentes comunidades con la eliminación sucesiva de enlaces). Las hojas de la dendrograma son nodos individuales.

Referencia

1. Girvan M. and Newman M. E. J., Community structure in social and biological networks, Proc. Natl. Acad. Sci. USA 99, 7821–7826 (2002)

Wikipedia

jueves, 1 de mayo de 2014

Smith: "Tomar una foto de un hashtag.... eso hace NodeXL"

Marc Smith habla en TNW sobre como mapear y medir comunidades online

Ahora vivimos en un mar de tweets, mensajes, blogs y actualizaciones que vienen de una fracción significativa de las personas en el mundo conectado. Nuestras relaciones personales y profesionales ahora se hacen la mayor cantidad de textos, correos electrónicos, llamadas telefónicas, fotos, vídeos, documentos, diapositivas, y el juego como por las interacciones cara a cara. Los medios sociales pueden ser un flujo desconcertante de los comentarios, una manguera de incendios de enormes proporciones del contenido. Con mejores herramientas y algunos conceptos claves de las ciencias sociales, el enjambre de medios sociales de favoritos, comentarios, etiquetas, gustos, clasificaciones y enlaces se pueden poner en un foco más claro para revelar las personas clave, temas y sub-comunidades. A medida que más interacciones sociales se mueven a través de los datos legibles por máquina establece nuevos puntos de vista y las ilustraciones de las relaciones y organizaciones humanas convertido en posible. Pero las nuevas formas de datos requieren nuevas herramientas para recopilar, analizar y comunicar ideas.

Una nueva organización, la Fundación de Investigación de Medios de Comunicación Social (http://www.smrfoundation.org), se ha formado para desarrollar herramientas abiertas y conjuntos de datos abiertos, y para fomentar la beca abierta relacionada con los medios de comunicación social. El enfoque actual de la Fundación es la creación y herramientas que permiten el análisis de redes sociales los medios de comunicación y la visualización de los servicios más utilizados, como email editorial, Twitter, Facebook, Flickr, YouTube y la WWW.

jueves, 17 de abril de 2014

Red de amigos en clase: Sesgo parental y efectos de pares

Red de amigos en clase: Sesgo parental y efectos de pares

Los autores entrevistan a los padres y sus hijos matriculados en seis escuelas primarias en el distrito de Treviso (Italia). Se estudia las diferencias estructurales entre la red de amigos niños reportados por los niños y los esbozados preguntados a los padres. Encontramos que la red de los padres tiene un sesgo: los padres esperan que los efectos de otros amigos sobre el rendimiento escolar sean más fuertes de lo que realmente son. Por lo tanto, los padres de los estudiantes de bajo rendimiento informan que sus hijos son amigos de los estudiantes de alto rendimiento. Nuestras simulaciones numéricas indican que cuando esta tendencia se combina con un sesgo de cómo algunos niños se dirigen a los amigos, a continuación, hay un efecto multiplicador en el rendimiento escolar esperado.

miércoles, 16 de abril de 2014

Redes criminales detectadas por telefonía móvil

Cómo detectar las pandillas delictivas usando datos de teléfono móvil
Las fuerzas del orden están recurriendo a la teoría de las redes sociales para comprender mejor los comportamientos y hábitos de las bandas criminales.



El estudio de las redes sociales está proporcionando conocimientos dramáticos en la naturaleza de nuestra sociedad y la forma en que están conectados entre sí. Así que no es ninguna sorpresa que las agencias de aplicación de la ley quieren entrar en el acto.

Las redes criminales son tan sociales como la amistad o las redes de empresas. Así que las mismas técnicas que pueden desvelar los vínculos entre nuestros amigos y colegas también deben trabajar para los ladrones, traficantes de drogas y la delincuencia organizada en general.

Pero, ¿cómo sería su agente de la ley ordinaria ir sobre la recolección y análisis de datos de esta manera ? Hoy en día, obtener una respuesta gracias al trabajo de Emilio Ferrara en la Universidad de Indiana en Bloomington y unos pocos amigos.

Estos chicos han creado una plataforma de software a medida que puede reunir información de los registros de teléfono móvil, desde bases de datos policiales y de los conocimientos y la experiencia de los agentes propios para recrear redes detallados detrás de las organizaciones criminales.

La nueva plataforma, denominada LogAnalysis, da una visión única en el hacer de una organización criminal. "Permite a los investigadores forenses para comprender profundamente las jerarquías dentro de las organizaciones criminales, el descubrimiento de los miembros que desempeñan un papel central y proporcionan una conexión entre los sub-grupos ", dicen.

Uno de los primeros problemas que cualquier agente del orden público es probable que vienen en contra de la hora de estudiar las redes sociales es el gran volumen de datos que este proceso genera. Aquí es donde LogAnalysis entra en su cuenta.

Importa automáticamente los registros de llamadas de teléfono primas, elimina ambigüedades y redundancias en los datos y luego lo convierte a un formato que puede ser fácilmente representada en el tipo de formato gráfico visual que permite un análisis más detallado. También permite a los agentes para agregar otros datos como fotos policiales de los registros policiales y demás información que el oficial podría tener a la mano.

Los agentes pueden entonces estudiar los datos en un número de diferentes maneras. Para empezar, se puede mirar en la red de vínculos entre los individuos de acuerdo con el número de llamadas que hacen el uno al otro.

En esta red, cada teléfono es un nodo y existen conexiones entre los teléfonos que han llamado el uno al otro. Esto permite la detección inmediata de las comunidades que tienden a ponerse en contacto entre sí más a menudo. Esto a su vez puede revelar la jerarquía de una organización criminal y de las personas más importantes en su interior.

Por supuesto, el conocimiento de la forma en que las organizaciones criminales trabajan juega un papel crucial en el análisis de estos datos. Por ejemplo, la gente que hace el mayor número de llamadas no necesariamente son los encargados.

Eso es debido a que estas bandas limitan deliberadamente sus comunicaciones para que los jefes se comunican las instrucciones eran de un pequeño número de tenientes que luego distribuyen los mensajes por la red. " Las redes de delincuentes fuertemente emplean el secreto para escapar de las investigaciones ", dicen Ferrara y co.

LogAnalysis también permite a los agentes del orden para el estudio de las redes en los períodos de tiempo limitados. Eso les permite, por ejemplo, el estudio de las llamadas que se realizan justo antes y después de un crimen en particular.

Ferrera y co ilustran su papel con un ejemplo de una red criminal grande para que las fuerzas del orden obtuvieron registros de 84 teléfonos en un período de 15 días. Esta red fue responsable de una serie de robos, extorsiones y tráfico ilícito de drogas. Los datos personales se retiraron por razones de privacidad.

Ferrera y co muestran cómo LogAnalysis revela los vínculos entre los miembros de esta pandilla, cómo se agrupan en torno a las llamadas delitos específicos y cómo ciertos miembros operaban en hasta 14 subgrupos diferentes, algunos de los cuales tenían la tarea específica de cometer asesinatos.

Esa es una interesante aplicación, práctica para la teoría de redes sociales. Y plantea una serie de preguntas importantes sobre la naturaleza de la evidencia en las investigaciones criminales. En particular, en qué medida pueden las redes sociales se utilizan como prueba de pertenencia a una organización criminal?

Otra pregunta es donde esta información proviene y qué tipo de red criminal que se aplica.

Teniendo en cuenta que tres de los cuatro investigadores en este documento se basan en la Universidad de Messina, en Sicilia, no está más allá de los reinos de la posibilidad de que los datos provienen de esa parte de Italia también. Y si es así, no es difícil imaginar la clase de organización que se describe aquí.

Ref: arxiv.org/abs/1404.1295 : Detecting Criminal Organizations In Mobile Phone Networks