[Imc-tech] FYI: Indymedia improvements to mailman & infrastructure:
Sascha Meinrath
sascha at ucimc.org
Tue Nov 11 10:07:07 CST 2003
hi all,
this is a very interesting e-mail -- folks are working on multiple
interesting projects. some of this would be especially interesting for
anyone who's working on say, a community webhosting server...
--sascha
---------- Forwarded message ----------
Date: Mon, 10 Nov 2003 16:23:47 -0800 (PST)
From: listwork at lists.indymedia.org
To: sascha at ucimc.org
Subject: Listwork Newsletter Oct. 2003 | Boletn de Listwork Oct 2003
¡La traducción española está después del inglés!
LISTWORK NEWSLETTER TOPICS:
How Listwork Can Help You
New Mailing List for List Administrators
Why have my IMC list emails been delayed recently?
Dealing with SPAM
New features:
. List archive search engine
. Easier to remember URLs
. Discarding all pending messages
Take note! Upcoming Changes:
. New version of mailman
. Chinese language support
. off-site listings
. encrypted lists
. persistant URIs
. spam free archives, and better spam fighting
. minimizing downtime
. local city IMC control of @indymedia.org aliases
How Listwork Can Help You
Listwork is a working-group of IMC-tech, we work on the technical side
of making mailing lists work. We make new mailing lists when they are
[1]requested, we work on the software that runs the mailing lists and
the archives, we keep the server running, we make [2]changes to
@indymedia.org aliases, and we have a [4]mailing list where we plan
for the future of our essential communications medium and a [5]wiki
page where you can find policies and [6]FAQs., we change
passwords when people forget them, we change list administrators when
someone disappears (please don't do this), we fix problems you report.
We make your IMC email flow, we archive it, we block spam from bugging
you. We actually have a lot to do, and have a lot of things that we
are working on for the future, we work too hard already. But! You can
help us reduce that load:
. Removing sensitive information from archives is hard work, so
we like to limit how often we have to do this. If your list
archives are public (as most IMC lists are), please send a
message to your list subscribers reminding them of this. Also, in
the list administration panel for your list, click on the link at
the top "Edit the public HTML pages" and change the "General list
information page" so that it makes a note of this. Please see the
general list information page for [8]imc-sheffield or [9]imc-dc
for a great example that you can use to explain to your
subscribers list anonymity and other list information. Please
note that listwork is a public archive too!
. Look at the [6]FAQ before you ask us any questions.
. Please email [2]listwork to get help, and the
[1]newlist form to request new lists, for other things, we
strongly recommend that people either [2]email us for help or
fill out the [3]request form for all other assistance.
. Encourage your local IMC to participate actively in list
moderation, facilitation and maintainance. Some good starting
points are to spread list maintaince duties to multiple people
in your IMC, and rotate the duty -- it often consists of
mundane tasks like discarding spam, reminding users of
agreed-upon list policies, and adjusting the list configuation
to meet your group's needs. A list can have many
administrators or moderators! If you have questions about how
to make your list work best for your group, or you need help
configuring a list, clearing out a lot of old messages from a
queue, or when you no longer need a list, let [2]us know!
Here's an example for why active list administration is so
important: We noticed that a certain list was holding all
non-member mail for moderation, but no one was checking to see
about mail coming in. Back in July someone had emailed them
offering two donated Apple Studio Display monitors (very
expensive equipment!) but the email had never made it through!
. Join [4]listwork and help us!
1. http://newlist.indymedia.org
2. mailto: listwork-rt at indymedia.org
3. http://rt.indymedia.org
4. http://lists.indymedia.org/listwork
5. http://docs.indymedia.org/view/Sysadmin/ListWorkWorkingGroup
6. http://docs.indymedia.org/view/Sysadmin/ListWorkFAQ
7. mailto:listwork at lists.indymedia.org
8. http://lists.indymedia.org/mailman/listinfo/imc-sheffield
9. http://lists.indymedia.org/mailman/listinfo/imc-dc
New Mailing List for List Administrators
If you are an administrator for a mailing list, now there is a [10]place
where you can talk with other administrators of other IMC mailing
lists. A great place to share ideas, help each other out, and discuss
list administration issues.
10. http://lists.indymedia.org/list-admins
Whats the Delay? Or, why has my IMC mail been delayed recently?
As you may have realized, the server runnning behind most of the
Indymedia mailing lists, sarai.indymedia.org, went through some
downtime in the past few weeks. The server is hosted generously by a
small, friendly co-location facility, we need to support them more
(if you have DSL or dialup, you could switch to them to help offload
our costs, [7]email listwork if you are interested), the outage has
enabled us to resolve some things so that in the future less time
will occur down. Previous work we've done (such as backup mail
servers to queue messages sent) enabled us not to loose any mail that
you sent, it simply was delayed in delivery. Once we got the machine
running again, all the backed up mail took some time to process, we
are sorry for the delay!
To prevent this in the future we are currently cleaning things up.
We have several hundred megabytes of mailing list posts which are
being held for approval by list admins/moderators (some dating back to
2001!)
This is another good reason to have ACTIVE and REDUNDANT list
administrators!
A GREAT BIG THANKS to stefani, mtoups and micah who got things up!
Dealing with SPAM
We keep a close watch on spam, and are constantly trying to make
things better, it is a struggle, but people are working on it. We
have many layers of spam blocking that we apply to minimize spam that
you have to deal with. Spam is blocked when it first comes in, if it
comes from a known spam source, then it is [11]analyzed to see if it
is likely spam. If it is REALLY certain that it is, it is discarded,
ones that are probably spam, but we aren't absolutely positive are
given to list administrators in the queue as probable spam. Mtoups
recently [12]posted about some changes he made. By analyzing our logs
we show that in about two weeks time, we blocked a total of 69,022
spam totalling 336 Mbytes using SpamAssassin (with 38,839 messages
"clean"), and blocked an additional 48,389 messages through RBLs.
Using a combination of techniques (RBL blocking, spamassassin
[11]tests) out of 282,501 messages, we blocked 41.56% (117,411) of
them because they were spam, this is a pretty good percentage of spam
caught before it even gets to the list administration pending queue.
11. http://spamassassin.org/tests.html
12. http://lists.indymedia.org/pipermail/listwork/2003-October/017071.html
New Features:
- List archive search
If google doesn't work well enough for finding that post in
the archives, try out jb's [13]search, it works really well
for finding that email you KNOW you sent out 2 years ago...
13. http://sarai.indymedia.org/~jb/search.cgi
- Easier to remember URLs
You can now access your favorite lists by simply going to
http://lists.indymedia.org/listname (substitute listname
for the name of the list), previously you had to go to
http://lists.indymedia.org/mailman/listinfo/listname, you
can still do the longer, but shorter links are better on
the brain.
- Discarding all pending messages
Matze made some changes to mailman that now allow list admins
to discard all their pending messages all at once, thanks
matze! Becareful tat you aren't losing important email doing this!
Take note! Upcoming Changes:
- New version of mailman
We are working on upgrading to the most recent release of our
mailing list software in the next couple of weeks, this will
fix a number of outstanding bugs.
- Chinese language support
With the upgrade we will be adding Chinese language support to
the existing internationalization that the software has.
- Off-site listings
We used to list any mailing lists that were hosted on other
servers, but we lost the ability to do that in our move, we
will be replacing this (and all the off-site listings) soon.
- Encrypted lists
We are going to be applying this [14]patch to our software (written
by one of the portland IMC people!) to be able to offer encrypted
lists. Encrypted lists are more of an odd thing in IMC lists as
most of our archives are open and public, but there are some cases
where this is a valid caution to take.
- New archive software
We are looking at replacing our archive software with something
that can handle things a little better than the existing
one. This would enable us to ensure persistant URIs (so links
to the archive will NEVER change), better threading, better
searching, support of multiple character sets, cross-posting
enhancements, better attachment handling and an overall
better experience. One of the possibilities we are considering
is [15]lurker, and example can be seen [16]here. If you
have any opinions/experiences on this, please drop us a
line, we are open to suggestions!
14. http://www.nah6.nl/products/secure-list/
15. http://lurker.sourceforge.net/
16. http://people.debian.org/~terpstra/list/debian-devel.html
. Spam free archives, and better spam fighting
One thing we are planning to do, when we have the time, is
to go through the archives and weed out the spam, we are also
looking at applying the baysean statistical training method
to spamassassin to better our spam struggle.
. Minimizing downtime
In order to minimize downtime we are putting together a copy
of our list system on another system so we can do upgrades
there first, which allows us to break things before we break
them on the real machine, so that when we do upgrades, or fixes
they will be much more smoother, less downtime.
. Local city IMC control of @indymedia.org aliases
Epsas is writing a piece of software that is about 80% done that
will allow local IMCs to have control of their
@cityname.indymedia.org aliases! This will allow individuals
at their local IMC to add new aliases, or change their existing
ones... stay tuned!
espanol:
TITULARES DEL BOLETÍN DE LISTWORK:
De qué forma puede ayudarte listwork
Nueva lista de correo para administradores de listas
¿Por qué mis listas de correo de IMC se han retrasado recientemente?
Lidiando con el spam
Novedades:
. Motor de búsqueda para archivos de listas
. URLs más fáciles de recordar
. Descartar todos los mensajes pendientes
Tomen nota: próximos cambios
. Nueva versión de mailman
. Soporte para idioma chino
. Listas off-site
. Listas encriptadas
. URLs persistentes
. Archivos sin spam, y mejores formas de combatir el spam
. Para minimizar el tiempo sin servicio
. Control de los IMC locales de los alias @indymedia.org
De qué forma puede ayudarte listwork
Listwork es un grupo de trabajo de IMC-tech que trabaja con los
aspectos técnicos de hacer funcionar las listas de correo. Hacemos
nuevas listas de correo cuando [1]nos lo piden, trabajamos en el
software que hace correrlas listas de correo y los archivos,
mantenemos funcionando el servidor, hacemos los [2]cambios en los
alias @indymedia.org, y tenemos una [4]lista de correo donde hacemos
los planes de futuro para nuestro medio esencial de comunicación, y
una [5]página wiki donde se encuentran nuestras políticas y las
[6]FAQ (preguntas más frecuentes). Cambiamos las contraseñas cuando
la gente se las olvida, cambiamos l at s administradores de las listas
cuando alguien desaparece (por favor no hagan esto), arreglamos los
problemas que ustedes nos señalan. Hacemos fluir tu correo de IMC, lo
archivamos, impedimos que el spam te moleste. En realidad tenemos un
montón que hacer, y un montón de cosas en las que estamos trabajando
para el futuro, ya trabajamos demasiado duro. Pero ustedes pueden
ayudarnos a reducir esa carga:
. Sacar de los archivos la información "sensible" es mucho trabajo, y
nos gustaría hacerlo menos seguido. Si los archivos de tu lista son
públicos (como las listas de la mayoría de los IMC), por favor envía
un mensaje para recordárselo a las personas suscritas a tu lista. Otra
cosa, en el panel de administración de tu lista, pincha el enlace
arriba para "editar las páginas HTML públicas" [Edit the public HTML
pages] y cambia la página de información general sobre las listas
[General list information page] para que anote esto. Ver por favor la
página de información general de la lista de [8]imc-sheffield o [9]
imc-dc que estas buen ejemplos que puedes seguir. Por favor recuerda
que listwork es también un archivo público.
. Antes de hacernos cualquier pregunta, mira por favor las
[6]FAQ (preguntas más frecuentes).
. Por favor enviar una email a [2] listwork para ayuda, y el
formulario de [1]newlist para pedir listas nuevas.
Recomendamos fuertemente que gente cualquier [2]email
nosotros para la ayuda o completamos la [3]forma de la
petición para el resto de la ayuda.
. Anima a tu IMC local a participar activamente en la
moderación de la lista, en su acceso y mantenimiento. Una
buena forma de hacerlo es compartiendo las tareas de
mantenimiento de la lista con la gente de tu IMC
rotándolas, lo que suele consistir en tareas como eliminar
spam, recordar a los usuarios su concordancia con la
política de la lista o ajustando las configuraciones de la
lista a las necesidades de sus usuarios. Una lista puede
tener varias administradoras o moderadoras! Si tienes
dudas sobre como como hacer que la lista funcione mejor, o
si necesitas ayuda para configurarla, borrar un grupo de
mensajes antigüos, o cuando ya no la necesites más,
háznoslo [2] saber!
Sigue un ejemplo de porqué la administración activa de la
lista es tan importante: hemos sabido que cierta lista
estaba almacenando todo el correo pendiente de moderación
correspondiente a personas no inscritas, pero nadie se
ocupaba de comprobar la entrada de correo. El pasado julio
alguien les envió un correo ofreciéndose a donar dos
monitores Apple Studio Display (un material muy caro!)
pero el correo nunca llegó!
. ¡Suscríbete a [4]listwork y ayúdanos!
1. http://newlist.indymedia.org
2. mailto: listwork-rt at indymedia.org
3. http://rt.indymedia.org
4. http://lists.indymedia.org/listwork
5. http://docs.indymedia.org/view/Sysadmin/ListWorkWorkingGroup
6. http://docs.indymedia.org/view/Sysadmin/ListWorkFAQ
7. mailto:listwork at lists.indymedia.org
8. http://lists.indymedia.org/mailman/listinfo/imc-sheffield
9. http://lists.indymedia.org/mailman/listinfo/imc-dc
Nueva Lista de Correo para Administradores de Listas
Si eres administrador/a de una lista de correo, ahora hay un [10]lugar donde
puedes conversar con otr at s administradores de otras listas de correo de IMC. Es
un gran lugar para compartir ideas, ayudarnos mutuamente y discutir asuntos
relacionados con la administración de las listas.
8. http://lists.indymedia.org/list-admins
¿Qué es el retraso? O, ¿por qué mi correo de IMC se ha retrasado recientemente?
Como se habrán dado cuenta, el servidor detrás de la mayoría de las listas de
correo de Indymedia, sarai.indymedia.org, estuvo un tiempo caído hace unas
pocas semanas. El servidor ha sido generosamente alojado por una
pequeñaproveedoramiga, necesitamos apoyarlos más (si tienen DSL o acceso
discado, pueden conectarse a este proveedor, [7]escríbenos a listwork si te
interesa), durante el tiempo que no hubo servicio hemos podido resolver algunas
cosas, de modo que en el futuro el tiempo fuera de servicio sea menor. El
trabajo que habíamos hecho antes (como servidores de correo de respaldo para
poner en lista de espera los mensajes enviados) nos permitió no perder ningún
mensaje que se haya enviado, sino que simplemente se retrasó su entrega. Una
vez que tuvimos la máquina funcionando de nuevo, todos los mensajes respaldados
necesitaron un tiempito para ser procesados, pedimos disculpas por este
retraso.
Para evitar que esto suceda en el futuro, estamos ahora limpiando las cosas.
Tenemos varios cientos de megabytes de correo de moeración, y algunos mensajes
datan de 2001.
¡MUCHÍSIMAS GRACIAS a stefani, mtoups y micah, que levantaron la cosa!
Lidiando con el spam
Seguimos al spam de cerca, e intentamos constantemente mejorar las
cosas, es una lucha pero hay gente trabajando en esto. Tenemos muchas
capas de bloqueo de spam que aplicamos para reducir al mínimo el spam
con el que ustedes tienen que lidiar. El spam se bloquea cuando
recién llega, si viene de una fuente de spam conocida, y luego se
[11]analiza para ver si es probablemente spam. Si es REALMENTE seguro
que es spam, se descarta; los que son probablemente spam, pero no
tenemos la certeza absoluta, se pasan a l at s administradores de las
listas como spam probable. Mtoups [12]publicó no hace mucho algo
sobre unos cambios que hizo. Analizando nuestros registros
demostramos que en cerca de dos semanas tiempo, bloqueamos un total
de Spam 69.022 que sumaba 336 MBYTES usando SpamAssassin (con 38.839
mensajes "limpie"), y bloqueamos 48.389 mensajes adicionales con
RBLs. Usando una combinación de las técnicas (RBL que bloqueaba,
spamassassin [11]tests) fuera de 282.501 mensajes, bloqueamos 41,56%
(117.411) de ellos porque eran Spam, éste somos un porcentaje
bastante bueno del Spam cogido antes de que incluso consiga a la
coleta pendiente de la administración de la lista.
11. http://spamassassin.org/tests.html
12. http://lists.indymedia.org/pipermail/listwork/2003-October/017071.html
Novedades:
- Búsqueda en los archivos de las listas Si google no
funciona muy bien para encontrar un mensaje en los
archivos, prueba con la [9]búsqueda de jb, que funciona
realmente bien para encontrar ese mensaje que SABES que
enviaste hace dos años...
13. http://sarai.indymedia.org/~jb/search.cgi
- URL más fáciles de recordar
Ahora puedes acceder a tus listas
preferidas yendo a http://lists.indymedia.org/listname
(sustituir listname por el nombre de la lista), antes había que
ir a http://lists.indymedia.org/mailman/listinfo/listname,
puede usarse el camino más largo, pero los enlaces cortos
quedan en el cerebro más fácilmente.
- Descartar todos los mensajes pendientes
Matze hizo algunos cambios en mailman, que ahora permite a l at s
administradores de las listas descartar todos los mensajes
pendientes de una sola vez, ¡gracias matze!
¡Tomen nota! Próximos cambios:
- Nueva versión de mailman
Estamos trabajando en una actualizaciónde la versión más
reciente de nuestro software para listas de correo en las
próximas semanas; esto arreglará muchos bugs notorios.
- Soporte para idioma chino
Con la actualización añadiremos un soporte para chino, que se suma a la
internacionalización que el software ya tiene.
- Listas fuera de nuestro sitio
Solíamos tener la información de las listas de correo
alojadas en otros servidores, pero hemos perdido la capacidad
de hacerlo al mudarnos, pronto podremos volver a ponerla en
su sitio (con todos los otros listados de fuera del sitio).
- Listas encriptadas
Vamos a aplicar este [10]parche a nuestro software (¡escrito
por una persona de IMC portland!) para poder ofrecer listas
encriptadas. Las listas encriptadas son algo raro en las
listas de IMC, pues la mayoría de nuestros archivos son
abiertos y públicos, pero en algunos casos puede ser válido
tomar esta precaución.
- Nuevo software para archivos
Estamos viendo de remplazar nuestro software para archivos
con algo que maneje las cosas un poquito mejor que el que
existe ahora. Esto nos permitiría tener URL persistentes
(entonces los enlaces al archivo no cambiarán NUNCA), un
mejor hilo de mensajes, mejor búsqueda, soporte para
conjuntos de caracteres múltiples, mejoras en envíos
duplicados o simultáneos, mejor manejo de archivos adjuntos
y una experiencia general más positiva. Una de las
posibilidades que estamos considerando es [11]lurker, y se
puede ver un ejemplo [12]aquí. Si tienen alguna opinión
acerca de eso, por favor envíennos unas líneas.
14. http://www.nah6.nl/products/secure-list/
15. http://lurker.sourceforge.net/
16. http://people.debian.org/~terpstra/list/debian-devel.html
. Archivos sin spam, y mejores formas de combatir el spam
Una de las cosas que pensamos hacer cuando tengamos tiempo
es limpiar los archvios de spam. También estamos viendo de
aplicar el método estadístico bayseanal spamassassin para
mejorar nuestra lucha contra el spam.
. Para minimizar el tiempo sin servicio
Para minimizar el tiempo sin servicio estamos poniendo una
copia de nuestro sistema de listas en otro sistema, lo que
nos permite romper cosas antes de romperlas en la máquina
verdadera, para que cuando hagamos actualizaciones o
reparaciones, estas sean mucho más suaves, y el tiempo sin
servicio sea menor.
. Control de los IMC locales de los alias @indymedia.org
Epsas está casi terminando un software que permitirá a los IMC
locales controlar sus alias @ciudad.indymedia.org alias. Esto
permitirá a las personas añadir nuevos alias, o cambiar el que
tienen, en su IMC local... ¡estén atent at s!
More information about the Imc-tech
mailing list