Análisis del comportamiento tuitero de tu congresista

Como ya saben, hace unos días terminó la discusión, e idas y venidas, acerca del grupo de trabajo de derechos humanos del Congreso, presidido por la congresista fujimorista Martha Chavez (@MarthaChavezK36).

La discusión degeneró tanto que llegó al tuiter. La congresista Martha Chavez anunciaba en tuiter sus planes de trabajo dentro de la comisión y respondía a uno que otro insulto tuitero. Era notable la cantidad de tuits emitidos por la congresista. Pero, fueron muchos tuits? pocos? en qué horas acostumbra tuitar la congresista?

Usando herramientas de Linux, Python y unas cuantas librerías «open source» podemos analizar el comportamiento tuitero de Martha Chavez.

Descargué del tuiter los 3200 tuits más recientes de la congresista. Para eso usé un cliente de tuiter usable desde la consola Linux.

t timeline -c -n 3200 MarthaChavezK36 > MarthaChavezK36.csv

Aquí ven parte de los tuits descargados (click para ampliar).

3200 tuits más recientes de Martha Chavez

Hice un gráfico del número de tuits por día, usando Python.

timeline de la congresista Martha Chavez

timeline de la congresista Martha Chavez

Este timeline comienza el 24 de julio. Vemos que tuvo bastante actividad el 28 de Julio, mediados de Septiembre (cuando se discutía sobre la unión civil de parejas del mismo sexo), primera y segunda semana de Octubre (en esa época se tuiteaba sobre la renuncia de Fujimori por fax), primera semana de Noviembre (cuando se armó el chongo de su elección como coordinadora del grupo de trabajo sobre derechos humanos).

Parece que su destitución del grupo de DDHH no hizo que Martha Chavez tuitee tanto como cuando se hablaba de la unión civil (muy revelador!).

Pero supongo que Martha Chavez tuitea en sus horas libres, cuando ya terminó sus horas de trabajo en el congreso, además de los fines de semana.

Podemos ver esto si usamos sus tuits para generar un «punchcard»:

python analizar_tuits.py MarthaChavezK36.csv | python punchcard.py -f punchcard_Martha_Chavez.png

horas de tuiteo de Martha Chavez

Esto es alucinante! La congresista tuitea todos los días de la semana. Tuitea a forro entre las 8 y 10 de la mañana (ni bien llega al Congreso?). Tuitea con mayor fuerza los días Viernes. El menor número de tuits a la 1:00pm hace suponer que a esa hora almuerza. Sábados y Domingos, no descansa, tuitea tanto como los días lunes. Y parece que se va a dormir a la 1:00 am. Al parecer duerme menos de 8 horas (eso no es saludable congresista!).

Este nivel de tuits emitidos por Martha Chavez es muy alto? muy bajo? Podemos hacer una comparación con un tuitero consumado, neto y nato. Comparemos con el Útero de Marita:

Este es el punchcard del utero.pe.

punchcard uterope

Vemos que, al parecer, el útero.pe tuitea menos que la congresista. Uterope tuitea muy poco los viernes, sábados y domingos (a excepción de las 9:00pm cuando tuitea con furia, debe ser que a esa hora pasan los noticieros dominicales). Qué hace el uterope los viernes y fines de semanas que no tuitea? Debe tener buena vida. También tuitea bastante los jueves.

Aqui les dejo el código necesario para hacer este tipo de análisis (?) con cualquier tuitero. Pero fíjense que el tuitero no ande borrando sus tuits ni use tuits programados ya que malograría el «análisis».

Sección geek

Código para producir el gráfico timeline y producir las fechas en formato unix, necesarias para dibujar el punchcard. El programa que hace el punchard lo saqué de aquí: https://github.com/aaronjorbin/punchcard.py


#! /usr/bin/env python
# -*- coding: utf-8 -*-
import sys
import codecs
import re
import datetime
import time
from itertools import groupby
import numpy as np
import matplotlib.pyplot as plt
import brewer2mpl
f = codecs.open(sys.argv[1].strip(), "r", "utf-8")
datos = f.readlines()
f.close()
timestamps = []
counting = []
x = []
for line in datos:
line = line.strip()
if re.search("^[0-9]{6,},", line):
line = line.split(",")
fecha = line[1]
unix_time = time.mktime(datetime.datetime.strptime(fecha, "%Y-%m-%d %H:%M:%S +%f").timetuple())
# correct for local time Lima -5 hours
unix_time -= 60*60*5
print unix_time
fecha = fecha.split(" ")[0]
my_time = datetime.datetime.strptime(fecha, "%Y-%m-%d")
if my_time not in timestamps:
timestamps.append(my_time)
counting.append(fecha)
if fecha not in x:
x.append(fecha)
# de reversa
timestamp = timestamps[::-1]
y_axis = [len(list(group)) for key, group in groupby(counting)]
# queremos color
set2 = brewer2mpl.get_map('Set2', 'qualitative', 8).mpl_colors
color = set2[0]
fig, ax = plt.subplots(1)
plt.plot(timestamps, y_axis, color=color)
plt.xticks(rotation="45")
plt.ylabel(u"Número de tuits por día")
plt.title(u'Actividad tuitera de Martha Chavez: timeline')
plt.tight_layout()
plt.savefig("timeline" + sys.argv[1].strip() + ".png")
sys.exit()

Las más toneras de Radio Inspiración

El último reportaje de la saga #intervenganAPDAYC se está transmitiendo desde el Congreso del República (30-Oct-2013). Además el útero de marita acaba de publicar una base de datos interactiva con toda la repartición de las regalías que cobró APDAYC durante el 2012. También hay una hoja de ruta para intervenir APDAYC.

Es ya conocido que Radio Inspiración maneja muchas radios vía la Fundación Autor que está ligada a APDAYC. Esta cadena de radios pasa muchas canciones y queríamos averiguar si hay algún patrón interesante en aquellas canciones que son más difundidas y repetidas en su programación. Por ejemplo, qué canciones tienen como autores a los directivos de APDAYC?, cuáles pertenecen al catálogo de las empresas que están íntimamente relacionadas con APDAYC? (E.T. Music?, IEPMSA?)

Para eso hice una acumulación y tabulación de los datos de las canciones más toneras de Radio Inspiración (aquí están los rankings). La resolución de las imágenes era mínima y no se pudo hacer OCR. Entonces tuve que tipear las canciones una por una. Felizmente no eran muchas.

Luego era cuestión de juntar toda la información en un sólo archivo y hacer el plot usando funciones estadísticas del lenguaje de programación Python.

Canciones de Radio Inspiración del top10 que son más frecuentes.

Canciones de Radio Inspiración del top10 que son más frecuentes.

Canciones de Radio Inspiración que son más frecuentes en el top20

Canciones de Radio Inspiración que son más frecuentes en el top20

Sería interesante averiguar quiénes son los autores de esas canciones top-10. En teoría se podría ver cuáles son las canciones que pertenecen a cada autor y compositor registrado en APDAYC. Pero creo que eso es pedir demasiada transparencia.

Sección geek

Aquí el código para dibujar el gráfico:

Previa limpieza de datos:

cat all_data.csv | awk -F ',' '{print $2}' | sort | uniq -c | sort -hr | sed 's/^\s\+//g' | grep -v '1 ' | sed -r 's/^([0-9]+)\s+/\1,/g' > tmp


# -*- coding: utf-8 -*-
import prettyplotlib as ppl
import numpy as np
from prettyplotlib import plt
import csv
from array import array
import collections
""" Top 10 ranking """
x = []
y = []
ranks = ["1","2","3","4","5","6","7","8","9","10","maxima"]
with open("all_data.csv", "rb") as csvfile:
f = csv.reader(csvfile, delimiter=",")
for row in f:
print row
if row[0] in ranks:
x.append(row[1])
counter = collections.Counter(x)
x = []
y = []
for i in sorted(counter, key=counter.get, reverse=True):
if counter[i] != 1:
x.append(i)
y.append(counter[i])
for i in range(len(x)):
print str(y[i]) + "," + str(x[i])
plt.rc('font', **{'family': 'DejaVu Sans'})
fig, ax = plt.subplots(1, figsize=(20,6))
width = 0.35
ind = np.arange(len(y))
xdata = ind + 0.05 + width
ax.bar(ind, y)
ax.set_xticks(ind + 0.5)
ax.set_xticklabels(x, rotation="vertical")
ax.autoscale()
ax.set_title(u'Ranking de canciones "Top 10"\n Radio Inspiraci贸n FM',
fontdict = {'fontsize':24}
)
plt.ylabel('Frecuencia en "Top 10"', fontdict={'fontsize':18})
plt.xlabel(u"Canci贸n", fontdict={'fontsize':22})
ppl.bar(ax, np.arange(len(y)), y, grid="y")
fig.tight_layout()
fig.savefig("top10.png")

view raw

top10.py

hosted with ❤ by GitHub


# -*- coding: utf-8 -*-
import prettyplotlib as ppl
import numpy as np
from prettyplotlib import plt
import csv
from array import array
""" Top 20 ranking """
x = []
y = []
with open("tmp", "rb") as csvfile:
f = csv.reader(csvfile, delimiter=",")
for row in f:
print row
x.append(row[1])
y.append(row[0])
# converts strings to int
y = map(int,y)
print x
print y
plt.rc('font', **{'family': 'DejaVu Sans'})
fig, ax = plt.subplots(1, figsize=(20,6))
width = 0.35
ind = np.arange(len(y))
xdata = ind + 0.05 + width
ax.bar(ind, y)
ax.set_xticks(ind + 0.5)
ax.set_xticklabels(x, rotation="vertical")
ax.autoscale()
ax.set_title(u'Ranking de canciones "Top 20"\n Radio Inspiraci贸n FM',
fontdict = {'fontsize':24}
)
plt.ylabel('Frecuencia en "Top 20"', fontdict={'fontsize':18})
plt.xlabel(u"Canci贸n", fontdict={'fontsize':22})
ppl.bar(ax, np.arange(len(y)), y, grid="y")
#fig.tight_layout()
fig.savefig("top20.png")

view raw

top20.py

hosted with ❤ by GitHub

Aquí los datos:



maxima lejos de ti
1 El baile del caballo
1 Opam kay kasja
2 donde esta el amor
3 ya no sere tu panuelito
4 ai se eu te pego
5 tu ausencia
6 hoy he vuelto a ver el amor
7 intentalo
8 linda wawita
9 si me vas a abandonar
10 tirate un paso
11 balada boa
12 el ritmo de mi corazon
13 pedacito de mi vida
14 la pregunta
15 canto herido
16 corre
17 me prefieres a mi
18 el amor que perdimos
19 el teke teke
20 no te recuerdo
revelacion festroni-k
21 el dinero
21 el cuchi cuchi
22 tento tu love
23 virgen
23 en aquel lugar
24 si te vas que hare
24 te burlabas de mi
25 bombon asesino
26 chora me liga
27 la escobita
27 gitana
28 mil heridas
29 la borrachita
29 como te olvido
30 te dejo en libertad
31 cuando se pierde un amor
32 se me ha perdido el corazon
33 te eche al olvido
34 te amare
35 que pena
36 curandero de amor
37 la borrachita
37 dutty love
38 corazon herido
39 te extrano tanto
40 mr saxobeat
41 acabame
41 estar sin ti
42 corazon embustero
43 obsesion
44 ya no te aguanto
44 tirana
45 no te voy a preguntar
46 he vuelto por ti
46 te va a doler
47 si me tenias
48 esta noche
49 buscandote
50 danza kuduro
maxima bara bere
1 mi estrella
2 el baile de la gallina
3 tu me cambiaste la vida
4 tu nombre
5 more
6 diganle
7 domitila
8 volvi a nacer
9 aprendere
10 el amor esta pero viene y se va
11 como le explico a mi corazon
12 vete lejos
13 el baile del tao/el meneito arrebatao
14 leyes del corazon
15 alejate de mi
maxima bara bere
1 mi estrella
2 more
3 el baile de la gallina
4 volvi a nacer
5 tu me cambiaste la vida
6 camuflaje
7 diganle
8 domitila
9 tu nombre
10 el amor esta pero viene y se va
11 aprendere
12 leyes del corazon
13 vete lejos
14 como le explico a mi corazon
15 el baile del tao/el meneito arrebatao
maxima el baile de la gallina
1 tu nombre
2 tu me cambiaste la vida
3 aprendere
4 el baile del tao/el meneito arrebatao
5 bara bere
6 diganle
7 vete lejos
8 el amor esta pero viene y se va
9 mi estrella
10 como le explico a mi corazon
11 leyes del corazon
12 more
13 domitila
14 alejate de mi
15 volvi a nacer
maxima tu nombre
1 el baile del tao/el meneito arrebatao
2 vete lejos
3 aprendere
3 diganle
4 el baile de la gallina
5 mi estrella
6 el amor esta pero viene y se va
7 leyes del corazon
8 tu me cambiaste la vida
9 como le explico a mi corazon
10 bara bere
11 alejate de mi
12 el dinero
13 domitila
14 more
15 volvi a nacer
maxima tu nombre
1 el baile del tao/el meneito arrebatao
2 vete lejos
3 aprendere
4 leyes del corazon
5 mi estrella
6 el amor esta pero viene y se va
7 como le explico a mi corazon
8 el dinero
9 el baile de la gallina
10 alejate de mi
11 diganle
12 tu me cambiaste la vida
13 bara bere
14 cuando el amor se acaba
15 domitila
maxima el baile del tao/el meneito arrebatao
1 aprendere
2 vete lejos
3 tu nombre
4 mi estrella
5 leyes del corazon
6 el dinero
7 el amor esta pero viene y se va
8 como le explico a mi corazon
9 alejate de mi
10 el baile de la gallina
11 cuando el amor se acaba
12 tu me cambiaste la vida
13 se fue mi amor
14 diganle
15 bara bere
maxima aprendere
1 vete lejos
2 el baile del tao/el meneito arrebatao
3 leyes del corazon
4 el dinero
5 como le explico a mi corazon
6 alejate de mi
7 tu nombre
8 mi estrella
9 cuando el amor se acaba
10 el amor esta pero viene y se va
11 mix celeste
12 se fue mi amor
13 fria
14 el baile de la gallina
15 limbo
maxima aprendere
1 vete lejos
2 el dinero
3 leyes del corazon
4 cuando se acaba el amor
5 mix celeste
6 alejate de mi
7 fria
7 como le explico a mi corazon
8 se fue mi amor
9 el baile del tao/el meneito arrebatao
10 aguita de coco
11 tu nombre
12 mi estrella
13 el amor esta pero viene y se va
14 limbo
15 todo me da vueltas
maxima aprendere
1 el dinero
2 mix celeste
3 cuando se acaba el amor
4 fria
5 alejate de mi
6 se fue mi amor
7 aguita de coco
8 vete lejos
9 el baile del tao/el meneito arrebatao
9 todo me da vueltas
10 leyes del corazon
11 tu nombre
12 como le explico a mi corazon
13 limbo
14 un loco amor
15 hasta que salga el sol
maxima mix celeste
1 el dinero
2 cuando el amor se acaba
3 aprendere
4 fria
5 aguita de coco
6 se fue mi amor
7 leyes del corazon
8 alejate de mi
9 el baile del tao/el meneito arrebatao
10 un loco amor
11 vete lejos
12 hasta que salga el sol
13 limbo
14 llora llora corazon
15 tu nombre
maxima el dinero
1 cuando el amor se acaba
2 aguita de coco
3 mix celeste
4 fria
5 se fue mi amor
6 todo me da vueltas
7 leyes del corazon
8 un loco amor
9 hasta que salga el sol
10 llora llora corazon
11 alejate de mi
12 aprendere
12 como te olvido
13 el baile del tao/el meneito arrebatao
14 limbo
15 vete lejos
maxima el dinero
1 aguita de coco
2 mix celeste
3 fria
4 se fue mi amor
5 todo me da vueltas
6 hasta que salga el sol
7 como te olvido
8 un loco amor
9 llora llora corazon
9 cuando el amor se acaba
10 leyes del corazon
11 alejate de mi
12 donde estaras
13 por eso te amo
14 puro cuento
15 aprendere
maxima aguita de coco
1 fria
2 se fue mi amor
3 hasta que salga el sol
4 todo me da vueltas
5 el dinero
6 mix celeste
6 como te olvido
7 un loco amor
8 llora llora corazon
9 por eso te amo
10 leyes del corazon
11 donde estaras
12 yo te lo dije
13 puro cuento
14 alejate de mi
15 el pegao
maxima fria
1 hasta que salga el sol
2 se fue mi amor
3 aguita de coco
4 todo me da vueltas
5 como te olvido
6 un loco amor
7 por eso te amo
8 llora llora corazon
9 el dinero
9 leyes del corazon
10 yo te lo dije
11 donde estaras
12 parranda amor amor
13 puro cuento
14 el pegao
15 mix celeste
maxima fria
1 hasta que salga el sol
2 se fue mi amor
3 por eso te amo
4 como te olvido
5 un loco amor
6 llora corazon llora
7 aguita de coco
8 yo te lo dije
9 todo me da vueltas
10 donde estaras
10 parranda amor amor
11 puro cuento
12 el pegao
13 ella se fue llorando
14 carita de pasaporte
15 el dinero
15 leyes del corazon
maxima hasta que salga el sol
1 se fue mi amor
2 por eso te amo
3 como te olvido
4 un loco amor
5 fria
5 llora corazon llora
6 parranda amor amor
7 yo te lo dije
8 donde estaras
9 puro cuento
9 el pegao
10 ella se fue llorando
11 carita de pasaporte
12 aguita de coco
13 amigo mio
14 zumba
15 todo me da vueltas
maxima hasta que salga el sol
1 por eso te amo
2 como te olvido
3 llora corazon llora
3 parranda amor amor
4 un loco amor
5 se fue mi amor
6 yo te lo dije
7 carita de pasaporte
8 donde estaras
8 ella se fue llorando
9 puro cuento
9 el pegao
10 fria
11 amigo mio
12 zumba
13 lastima
14 el amor mas grande del planeta
15 aguita de coco
maxima por eso te amo
1 como te olvido
1 parranda amor amor
2 llora corazon llora
2 un loco amor
3 yo te lo dije
4 carita de pasaporte
5 amigo mio
6 ella se fue llorando
6 el pegao
7 el amor mas grande del planeta
8 zumba
9 lastima
10 puro cuento
11 caprichos del corazon
12 mi corazon esta llorandote
13 princesa
14 tu poeta
15 hasta que salga el sol
15 donde estaras
maxima por eso te amo
1 como te olvido
2 parranda amor amor
2 llora corazon llora
3 un loco amor
4 yo te lo dije
5 carita de pasaporte
6 hasta que salga el sol
7 ella se fue llorando
7 puro cuento
8 el pegao
9 amigo mio
10 el amor mas grande del planeta
11 zumba
12 donde estaras
12 lastima
13 se fue mi amor
13 caprichos del corazon
14 mi corazon esta llorandote
15 fria
maxima como te olvido
1 parranda amor amor
2 yo te lo dije
3 carita de pasaporte
3 amigo mio
4 por eso te amo
5 llora corazon llora
5 ella se fue llorando
6 el amor mas grande del planeta
7 un loco amor
7 zumba
8 lastima
9 el pegao
9 caprichos del corazon
10 mi corazon esta llorandote
11 princesa
12 hay que saber perder
13 tu poeta
14 te extrano tanto
14 cuando me acuerdo de ti
15 puro cuento
maxima parranda amor amor
1 carita de pasaporte
1 amigo mio
2 yo te lo dije
3 como te olvido
4 ella se fue llorando
5 zumba
6 lastima
6 caprichos del corazon
7 mi corazon esta llorandote
8 por eso te amo
9 un loco amor
10 te extrano tanto
11 llora corazon llora
11 hay que saber perder
12 tu poeta
13 cuando me acuerdo de ti
14 algo que decir
15 el pegao
maxima parranda amor amor
1 carita de pasaporte
1 amigo mio
2 yo te lo dije
3 ella se fue llorando
3 el amor mas grande del planeta
4 lastima
4 mi corazon esta llorandote
5 zumba
6 caprichos del corazon
7 princesa
8 te extrano tanto
9 hay que saber perder
10 como te olvido
11 tu poeta
12 cuando me acuerdo de ti
13 por eso te amo
13 algo que decir
14 te olvidare
15 llora corazon llora
maxima amigo mio
1 yo te lo dije
1 ella se fue llorando
2 parranda amor amor
2 el amor mas grande del planeta
3 mi corazon esta llorandote
4 zumba
4 princesa
5 carita de pasaporte
5 caprichos del corazon
6 te extrano tanto
7 lastima
7 tu poeta
8 hay que saber perder
8 te olvidare
9 cuando me acuerdo de ti
10 algo que decir
11 vivir mi vida
12 tan solo un minuto
13 si tu me faltas
14 como te olvido
15 un loco amor
16 llora corazon llora
17 hasta que salga el sol
18 me enamore
19 angel en zapatillas
19 hasta el fin del mundo
20 asi no
maxima ella se fue llorando
1 el amor mas grande del planeta
2 mi corazon esta llorandote
3 yo te lo dije
3 princesa
4 zumba
4 caprichos del corazon
5 amigo mio
5 te extrano tanto
6 lastima
6 tu poeta
7 hay que saber perder
7 cuando me acuerdo de ti
8 parranda amor amor
8 te olvidare
9 tan solo un minuto
10 algo que decir
11 vivir mi vida
12 carita de pasaporte
12 si tu me faltas
13 hasta el fin del mundo
14 me enamore
15 angel en zapatillas
16 asi no
17 festroni-k
18 como te olvido
18 llora corazon llora
19 un loco amor
20 hasta que salga el sol
maxima el amor mas grande del planeta
1 mi corazon esta llorandote
1 princesa
2 ella se fue llorando
3 caprichos del corazon
4 zumba
4 lastima
5 tu poeta
5 hay que saber perder
6 cuando me acuerdo de ti
6 te olvidare
7 tan solo un minuto
8 amigo mio
8 te extrano tanto
9 algo que decir
10 vivir mi vida
11 si tu me faltas
11 festroni-k
12 hasta el fin del mundo
13 parranda amor amor
13 me enamore
14 asi no
15 angel en zapatillas
16 yo te lo dije
17 carita de pasaporte
18 el tiempo
19 para siempre
20 como te olvido
maxima mi corazon esta llorandote
1 princesa
2 el amor mas grande del planeta
2 caprichos del corazon
3 lastima
3 tu poeta
4 te olvidare
5 hay que saber perder
6 cuando me acuerdo de ti
6 vivir mi vida
7 tan solo un minuto
8 ella se fue llorando
8 zumba
9 algo que decir
9 hasta el fin del mundo
10 festroni-k
11 si tu me faltas
11 me enamore
12 asi no
13 amigo mio
14 angel en zapatillas
15 te extrano tanto
16 el tiempo
17 para siempre
18 parranda amor amor
18 carita de pasaporte
19 perdon
19 lo que un dia fue no sera
20 yo te lo dije
maxima mi corazon esta llorandote
1 princesa
1 caprichos del corazon
2 lastima
2 tu poeta
3 te olvidare
4 hay que saber perder
5 cuando me acuerdo de ti
5 vivir mi vida
6 tan solo un minuto
7 el amor mas grande del planeta
7 hasta el fin del mundo
8 algo que decir
8 festroni-k
9 ella se fue llorando
10 si tu me faltas
10 asi no
11 me enamore
12 para siempre
13 angel en zapatillas
14 el tiempo
15 zumba
16 amigo mio
16 te extrano tanto
17 lo que un dia fue no sera
18 carita de pasaporte
18 perdon
19 vete
20 parranda amor amor
maxima princesa
1 caprichos del corazon
1 tu poeta
2 mi corazon esta llorandote
2 te olvidare
3 vivir mi vida
4 hay que saber perder
4 cuando me acuerdo de ti
5 hasta el fin del mundo
6 lastima
7 festroni-k
8 algo que decir
9 asi no
10 me enamore
10 para siempre
11 el amor mas grande del planeta
12 lo que un dia fue no sera
13 angel en zapatillas
13 el tiempo
14 ella se fue llorando
15 si tu me faltas
15 vete
16 zumba
17 te extrano tanto
17 perdon
18 amigo mio
19 carita de pasaporte
20 soy soltera y hago lo
maxima caprichos del corazon
1 tu poeta
1 te olvidare
2 vivir mi vida
3 princesa
3 hasta el fin del mundo
4 hay que saber perder
4 cuando me acuerdo de ti
5 lastima
6 festroni-k
6 asi no
7 para siempre
8 me enamore
8 lo que un dia fue no sera
9 tan solo un minuto
10 el tiempo
11 mi corazon esta llorandote
11 el amor mas grande del planeta
12 soy soltera y hago lo
13 algo que decir
14 ella se fue llorando
14 vete
15 perdon
16 angel en zapatillas
17 te extrano tanto
18 tributo a la cumbia
19 carita de pasaporte
19 amigo mio
20 zumba

view raw

all_data.csv

hosted with ❤ by GitHub

Tuitbot para enfrentar trolls

Parece que hay un troll en tuiter que me escribe cada vez que menciono los #narcoindultos. Este troll es aprista y le gusta alabar a los principales líderes del APRA (ya sea por tuiter, o comentando en artículos de la revista Caretas).

Como contestar a los trolls da un poco de flojera, decidí fabricar un bot que lo haga por mí. Este bot es un programa muy simple, escrito en Python, que responde a aquellos que deciden trolear mi cuenta de tuiter @AniversarioPeru.

Para esto modifiqué un muy simple chat-bot que encontré aquí: http://pythonism.wordpress.com/2010/04/18/a-simple-chatbot-in-python/.

Este bot necesita ser entrenado, osea hay que hacerlo «leer» unos cuantos libros para que sepa qué responder a los trolls.

Decidí hacer mi bot picaresco pero inteligente. Entonces le hice leer las Tradiciones Peruanas de don Ricardo Palma (se bajan el libro de aquí).

Podría hacer otro bot que tenga lenguaje un poco achorado. Para eso, su entrenamiento consistiría en hacerlo leer las columnas antiguas del malapalabrero.

En resumen, este bot busca si algún troll ha empezado a fastidiar por tuiter. Si esto es cierto, responderá al troll con frases sacadas de las Tradiciones Peruanas. Este bot es muy simple y las respuestas no tienen relación con lo que haya escrito el troll. Incluso, las respuestas no tienen mucho sentido. Supongo que será suficiente para que el troll se canse de fastidiar.

Lo bueno de tener un tuitbot es que interactuaría con los trolls mientras yo estoy durmiendo, en la discoteca o de vacaciones. El bot se activa cada media hora, pero si la cantidad de trolls aumenta, podría activarse cada 10 minutos.

Tengo planes de ir mejorando poco a poco este bot. Por ahora usa una aproximación a la cadena Márkov para construir su respuesta. Por ejemplo podría emplear estadísticas Bayesianas para entrenar el bot. Lo podría entrenar para que emita saludos, preguntas, afirmaciones, despedidas, insultos etc. El bot podría usar una aproximación bayesiana para darse cuenta si el troll ha emitido una pregunta, o un insulto y responder como amerite.

La ventaja de la inferencia Bayesiana es que al analizar las palabras de un tuit, puede ir aumentando o disminuyendo la probabilidad que el tuit sea —por ejemplo— saludo o insulto. Asumamos que un tuit tenga las palabras «caviar + rojo» hay probabilidad que el troll esté insultando. Si además el tuit contiene signos de interrogación repetidos, existe alta probabilidad que este tuit sea un insulto. Los estadísticos bayesianos llaman a esto último «probabilidad posterior».

Idealmente el bot analizaría cada tuit y decidiría qué responder si la probabilidad posterior indica que he sido insultado. Tendría que hacer que mi bot se entrene leyendo los tuits que le endilgan los trolls a @rmapalacios.

Aquí hay un ejemplo de cómo sería una interacción entre un troll y mi tuitbot actual (en rojo las respuestas del bot).

>ola k ase
de Lima títere que el refrán: más allá esas calles. de su límite, de cucarachas. de la tía carnal; estas palabras:
>Que triste tu vida                               
esposa. de una vaca, de asiento, de la guitarra. de oro, de que le da colores--palabras que le sucede un tanto como hacemos
>mermelada que defiendes!!!                                                  
el reinado de la mazamorra, de grave en una mujer del rey. de nuestras abuelas eran una formidable invasión de plano.
>arriba alianza!
de la jerga franciscana. de la Monclova y el guardián del mando, de recibido varios de los jesuítas.
>matemáticamente podemos clasificar al mundial
de 1796 se plantaron en el Callao constituyó en su lado, de 1746, de aquel oportuno encarcelar, de una soberana paliza

Sección geek

Aqui les dejo el código completo del tuitbot. Requiere haber instalado un cliente de tuiter que se pueda usar desde una consola de comandos. En un post anterior detallé como usar el cliente llamado «t».

También requiere tener instalado Python. Y configurar el programa cron para que este tuitbot se active cada 30 minutos en búsqueda de tuits emitido por trolls (en este post explico como configurar cron).

Una vez que un troll es identificado, es necesario incluir el nombre de usuario en la lista de trolls para que el tuitbot sepa a quién dirigir su verbo florido.

Este es el programa que sirve para entrenar al bot. Se puede usar cualquier texto (de preferencia uno o más libros).


import pickle
import sys
# Modified from http://pythonism.wordpress.com/2010/04/18/a-simple-chatbot-in-python/
b = open('tradiciones_peruanas.txt')
text = []
for line in b:
line = line.strip()
for word in line.split():
text.append(word)
b.close()
textset = list(set(text))
follow={}
for w in range(len(text)-1):
check = text[w]
next_word = text[w+1]
print check
print next_word
if check[-1] not in '(),.?!':
if follow.has_key(check):
follow[check].append(next_word)
else:
follow[check] = [next_word]
a = open('lexicon-luke','wb')
pickle.dump(follow,a,2)
a.close()

Este es el programa que se encarga de recibir un mensaje y responder.


import pickle
import random
import sys
import re
# Modified from http://pythonism.wordpress.com/2010/04/18/a-simple-chatbot-in-python/
a = open('lexicon-luke','rb')
successorlist = pickle.load(a)
a.close()
avoid = ["a", "en", "el", "que", "la", "del", "esta", "de", "su", "con"]
def nextword(a):
if a in successorlist:
try:
return random.choice(successorlist[a])
except:
return ''
else:
return 'de'
def get_response(input):
response = ''
s = random.choice(input.split())
while True:
neword = nextword(s)
if neword != '':
response += neword + ' '
s = neword
if len(response) > 120:
for i in avoid:
regex = re.compile('\s%s\s*$'%i, re.I)
if regex.search(response):
response = regex.sub("", response).strip()
break
return response.strip()
if __name__ == "__main__":
speech = ''
while speech != 'quit':
speech = raw_input('>')
response = get_response(speech)
print response

view raw

lukebot.py

hosted with ❤ by GitHub

Este es el tuitbot que se encarga de leer lo que emiten los trolls y responderles via tuiter.


#!/usr/bin/env python
# -*- coding: UTF8 -*-
import codecs;
import os;
import datetime;
import re;
import bitly;
import subprocess;
import time;
import sys;
from random import choice;
import lukebot
debug = 0;
saved_tuits_file = "/data/projects/aniversario_peru/saved_tuits.txt"
# t update "mi primer tuit"
cmd2 = '/usr/local/bin/t set active AniversarioPeru'
p = subprocess.check_call(cmd2, shell=True);
def get_last_tuit(user):
if debug:
cmd = "cat debug_tuits.txt | grep -i " + user + " | head -n 1"
p = subprocess.check_output(cmd, shell=True);
else:
cmd = "/usr/local/bin/t mentions -l -c | grep -i " + user + " | head -n 1"
p = subprocess.check_output(cmd, shell=True);
if len(p) > 0:
p_ = p.split(",")
tuit_id = p_[0]
tuit_date = p_[1]
message = p.split(',"')[1]
message = message.replace('"', '')
message = re.sub("\s*@AniversarioPeru\s*", "", message, re.I)
return {
"tuit_id": tuit_id,
"tuit_date": tuit_date,
"user": user,
"message": message
}
return "none"
def is_new_tuit(tuit):
# file full of tuits
f = open(saved_tuits_file, "r")
file = f.readlines();
f.close()
is_new_tuit = "true"
for line in file:
line = line.strip()
line = line.split(",")
print line
if line[0] == tuit['tuit_id'] and line[2] == tuit['user']:
is_new_tuit = "false"
return is_new_tuit
def get_message(frases_to_reply):
return choice(frases_to_reply)
def reply(tuit):
#message = get_message(frases_to_reply)
message = lukebot.get_response(tuit['message'])
cmd = "/usr/local/bin/t reply " + tuit['tuit_id'] + " '" + message + "'"
p = subprocess.check_call(cmd, shell=True);
users = [
"addTrollUser"
]
for user in users:
tuit = get_last_tuit(user)
if tuit != "none":
# is the last tuit a new one?
if is_new_tuit(tuit) == "true":
reply(tuit)
# save tuit
f = open(saved_tuits_file, "a")
f.write(tuit['tuit_id'] + "," + tuit['tuit_date'] + "," + tuit['user'] + "\n")
f.close()
else:
print "we replied already"

view raw

tuit_chat.py

hosted with ❤ by GitHub