Parsear ficheros en Bash

Estos días me veo obligado a estar viviendo en la terminal entre ficheros de log con objeto de detectar fallos y posibles mejoras de un importante procedimiento administrativo en el que andamos inmersos.

Entre las distintas operaciones que realizo sobre los ficheros se encuentra la necesidad de extraer cierta información de los logs para poder compararla con datos de otros ficheros o incluso de las bases de datos.

Considerando que podría ser de interés para algunos de vosotros he optado por compartir algunas formas de extraer información de un fichero de texto.

Datos de ejemplo

Supongamos que tenemos un fichero CSV con un contenido como el siguiente

que ha sido obtenido lanzando el siguiente comando en la terminal

for i in {1..15}; do  echo $i";Alumno $i;"$[ ( $RANDOM % 20 )  + 1 ] >> /tmp/lista.lst; done

nuestro objetivo será sacar el contenido de la primera columna que contiene una serie de números que sirven de identificador único de las distintas entradas.

El comando cut

Quizás sea el más sencillo de los dos métodos que vamos a ver.

cat /tmp/lista.lst | cut -d\; -f1

donde:

1. -d permite indicar el Delimitador o carácter que separa los distintos valores que aparecen en cada fila. Como los datos son un fichero CSV separados por ; y éste tiene sentido en las líneas de comandos Bash (es el separador de diferentes comandos en una pipe) le ponemos por delante la barra invertida (\) para que no lo interprete. Si el separador fuese : bastaría con utilizar en el comando cut un -d:.
2. -f1 indica la posición de la columna que nos interesa (es 1-index por lo que le estamos pidiendo el primer valor que es el que corresponde con el ID que queremos recuperar)

El comando awk

Aunque pueda resultar algo más engorroso extraer información con awk, presenta como principal ventaja el poder generar resultados más elaborados una vez que le pillas el truco a su sintaxis.

Limitándonos al ejemplo propuesto (obtener los valores de la columna de identificadores) deberíamos lanzar un

cat /tmp/lista.lst | awk -F\; '{ print $1 }'

donde

1. -F tiene la misma finalidad que el -d del comando cut (la barra invertida es por el mismo motivo)
2. $1 es equivalente al -f1 de cut.

Conclusión

Dos formas distintas de obtener el mismo resultado (extraer información de un fichero de texto en el que los datos están separador por determinado carácter).

El comando awk, aunque algo más engorroso de escribir nos permite resultados más complejos; sirva como pequeño ejemplo para despertar vuestro interés el siguiente fragmento de código

cat /tmp/lista.lst | awk -F\; '{ print "El ID es " $1 }'

Aunque existen editores de texto (y complementos de GEdit) que permiten la selección de datos por columnas (¿alguien me recomienda uno realmente bueno?)

• No siempre los delimitadores coinciden en las mismas posiciones por lo que resulta imposible hacerlo con el editor de textos
• Hacerlo gráficamente es viable cuando lo vamos a hacer una sola vez… si el proceso tenemos que repetirlo múltiples veces se vuelve una auténtica tortura 😉

Espero que el artículo os sea de utilidad.