import urllib2, sys, zipfile

tmp_path = '/tmp/'
doc_url = 'http://example.org/file.zip'

u = urllib2.urlopen(doc_url)
localFile = open(tmp_path + "/tmp-zip.zip" , 'w')
localFile.write(u.read())
localFile.close()

sourceZip = zipfile.ZipFile( tmp_path + "/tmp-zip.zip" ,  'r')
for name in sourceZip.namelist():
	print name
	sourceZip.extract(name, tmp_path + "/" + name )
sourceZip.close()

using System;
using System.Collections.Generic;
using System.Text;
using System.Net;
using System.IO;
namespace ExampleDownloadFile
{
    class Program
    {
        static void Main(string[] args)
        {
            try
            {
                WebClient webClient = new WebClient();
                webClient.DownloadFile("http://example.org/data.zip", @"c:/data.zip");
            }
            catch( Exception ex)
            {
                System.Console.WriteLine( "Problem: " + ex.Message );
            }
        }
    }
}

Toda la ciencia la realiza la el método DownloadFile, que permite descargar y guardar el archivo en forma sincrona.

Como en todo, hay varias formas, pero creo que la más sencilla es utilizar la función file_get_contents para realizar un simple GET y obtener el contenido del sitio web.

La función file_get_contents soporta varios wrappers, desde un archivo local (ejemplo /tmp/my-file) a una url http, pasando por ftp, scp, etc. (más información sobre wrappers).

Vamos a extraer la UF desde el sitio www.terra.cl/valores/

Al analizar el código fuente del sitio, podemos ver que la UF se encuentra en el siguiente trozo de código

<tr bgcolor="EFEBE7">
            <td align="right" class="texto2">UF : </td>

            <td class="texto2"><b>22.213,43</b></td>
</tr>

Solo nos queda realizar una expresión regular que sea capaz de representar al patrón del trozo de código y la sección que deseamos capturar.

<?php
// Example by deerme.org
$data = file_get_contents("http://www.terra.cl/valores/");

if ( preg_match('|<td align="right" class="texto2">UF : </td>\s+<td class="texto2"><b>(.*?)</b></td>|is' , $data , $cap ) )
{
	echo "UF ".$cap[1];
}

Si ejecutamos nuestro script (vía web o por consola) obtenemos la UF de hoy a través de Terra xD.

El siguiente ejemplo (muy sencillo y poco funcional xD), lee la entrada standard stdin y toma un par de acciones (de hecho solo dos, time y quit xD).

<?php
$p = fopen("php://stdin"."r");
if($p)
{
	while( !feof($p) )
	{
		$buff = trim( fgets($P , 4096) );
		if ( $buff == "time" )
			echo date("Y-m-d H:i:s")."\n";
		if ( $buff == "quit" )
		{
			echo "bye =)";
			exit();
		}
	}
}

Aveces es necesario levantar una screen con un determinado nombre y una aplicación (ejemplo, si deseamos levantar una screen desde un cron o desde un script con una aplicación corriendo en ella), si es así, podemos usar la siguiente sintaxis.

# Definimos el nombre myscreen y levantamos el script /opt/app/myapp.py
/usr/bin/screen -dmUS myscreen /opt/examples/myapp.py

Podemos consultar el listado de screen y ver si realmente se esta ejecutando nuestro script myapp.py

screen -ls
ps aux | grep SCREEN

En el screenshot, podemos ver que existe una screen llamada myscreen y en ella esta corriendo myapp.py

export HISTFILE=/dev/null

A sí, una vez que finalicemos la sesión, el sistema va a guardar el log en /dev/null xD

El siguiente ejemplo, pide la password por línea de comandos (getpass), auntentifica contra el servidor www.example.com, usuario ‘user’ y las password ingresada, finalmente guardar el archivo local /tmp/my.file en /www/upload/my.file (servidor).

#!/usr/bin/python
import ftplib
import getpass

try:
        passwd = getpass.getpass('Password: ')
        if not passwd:
                quit()
        try:
                s = ftplib.FTP('www.example.com','user', passwd)
                f = open('/tmp/my.file', 'rb')
                s.storbinary('STOR /www/upload/my.file', f)

                f.close()
                s.quit()
                print ": )"
        except:
                quit()

except:
        quit()

No es novedad, hace un par de años que existen alternativas como Prims (actualmente Mozilla Chromeless) que nos permiten encapsular el acceso de un sitio web en una aplicación de escritorio, solo es un render html o navegador “capado” para visitar una sola url.

¿Por qué no implementar nuestra solución con AIR Flex 3?
Hay un par de ventajas, como tener una aplicación multiplataforma (win, linux y osx), trabajar sobre un único motor de renderizado (Webkit), etc.

De hecho es sencillo, solo vamos a utilizar el elemento mx:HTML junto a un par de funciones para leer el fichero xml de configuración (url, tamaño de ventana, etc.), como dice el dicho, un código fuente vale más que mil palabras xD.

<?xml version="1.0" encoding="utf-8"?>
<mx:WindowedApplication xmlns:mx="http://www.adobe.com/2006/mxml" layout="absolute" creationComplete="callLater(init)">
	<mx:Script>
		<![CDATA[
			import mx.controls.Alert;
			private var appIcon:BitmapData;

			private function init():void
			{
				loadConfig();
			}

			private function loadConfig():void
			{
				try {
					var configLoader:URLLoader = new URLLoader();
					var configRequest:URLRequest = new URLRequest('config.xml');
					configLoader.load(configRequest);
					configLoader.addEventListener(Event.COMPLETE, applyConfig);
				}
				catch (e:Error)
				{
					Alert.show('Error al cargar la configuración.','ERROR');
					this.close();
				}
			}

			private function applyConfig(e:Event):void
			{
				// Icono de la aplicación
				// Configuraciones externas (config.xml)
				var data:XML = new XML(e.target.data);
				try {
					this.title = data.title;
					this.width = data.width;
					this.height = data.height;
					navigator.location = data.url;
					loadIcon(data.icon);
				}
				catch (e:Error)
				{
					Alert.show('Error al aplicar configuración','ERROR');
					this.close();
				}
			}

			private function loadIcon(iconSrc:String):void
			{
				var iconLoader:Loader = new Loader();
				iconLoader.load(new URLRequest(iconSrc));
				iconLoader.contentLoaderInfo.addEventListener(Event.COMPLETE, function(e:Event):void {
					appIcon = e.target.content.bitmapData;
					callLater(applyIcon);
				});
			}

			private function applyIcon():void
			{
				NativeApplication.nativeApplication.icon.bitmaps = [appIcon];
			}
		]]>
	</mx:Script>
	<mx:HTML id="navigator" width="100%" height="100%"/>
</mx:WindowedApplication>

Descarga el proyecto para Flex 3

Como no, en Java, disponemos de un package dedicado a las expresiones regulares, lo podemos “importar” desde java.util.regex.*.

Validación (match)

Es una de la tareas más fundamentales en cualquier sistema, consiste en validar si un dato (String) valida respecto a cierto patrón, ejemplo, representa a un número de teléfono, e-mail, etc.

El siguiente ejemplo, valida los elementos del arreglo contra el patrón fecha (pt_fecha), email (pt_email) y registro (pt_record) usando Pattern y Matcher.

package org.deerme.examples;
import java.io.BufferedInputStream;
import java.net.URL;
import java.util.regex.*;

public class EjemplosRegex {
    public static void main(String[] args) {
        String[] entradas = {"2011/10/17","deer@deerme.org","Soy un string xD","Jose Ignacio, 56975124554","Maria Jose, 56942641243","123 Soy un record incorrecto, 23523abc"};
        // Matcher
         Matcher mt;
        // Patrones
        Pattern pt_fecha = Pattern.compile("^d{4}/d{2}/d{2}");
        Pattern pt_email = Pattern.compile("^[w-.]{3,}@([w-]{2,}.)*([w-]{2,}.)[w-]{2,4}$");
        Pattern pt_record = Pattern.compile("^[A-Za-z ]+,[ 0-9]+");
        for(int i=0; i< entradas.length; i++)
        {
            // Fecha
            mt = pt_fecha.matcher( entradas[i] );
            if ( mt.find() )
            {
                System.out.println("El string '" + entradas[i]  + "' valida con el patrón de fecha.");
            }
            //Email
            mt = pt_email.matcher( entradas[i] );
            if ( mt.find() )
            {
                System.out.println("El string '" + entradas[i]  + "' valida con el patrón de e-mail.");
            }
            // Registro del tipo "Nombre, Número Teléfonico"
            mt = pt_record.matcher( entradas[i] );
            if ( mt.find() )
            {
                System.out.println("El string '" + entradas[i]  + "' valida con el patrón de registro.");
            }
        }
    }
}

El método find (del objeto Matcher) devuelve true, si el string ingresado válida respecto al patrón, en caso contrario, devuelve false.

Tambien podriamos utilizar el método matches de la clase String.

String email = "deer@deerme.org";
if ( email.matches("^[w-.]{3,}@([w-]{2,}.)*([w-]{2,}.)[w-]{2,4}$") )
{
     System.out.println("El email es lexicamente válido");
}

Extraer (extract)

La extración de datos es otra tarea muy común de resolver con las expresiones regulares. Vamos a realizar un pequeño ejemplo que extrae el tiempo de Santiago desde el sitio web www.cooperativa.cl.

Fuente

<td align="center" width="290"><span class="resalta"><a href="/prontus_nots/site/extra/webget/clima/clima.html">El Tiempo</a>:</span> Santiago,
 temperatura: 17 °C
 humedad: 52 %</td>

package org.deerme.examples;
import java.io.BufferedInputStream;
import java.net.URL;
import java.util.regex.*;

public class EjemplosRegex {
    public static void main(String[] args) {
        // Example of extraction of data from a web site
        String cooperativa_site = "";
        byte[] buff = new byte[4096];
        try
        {
            URL url = new URL( "http://www.cooperativa.cl" );
            BufferedInputStream bis = new BufferedInputStream(url.openStream());

            int bytesRead = 0;
            while ((bytesRead = bis.read(buff)) != -1)
            {
                cooperativa_site = cooperativa_site + new String(buff, 0, bytesRead);
            }
            bis.close();

        } catch (Exception ex)
        {
            System.out.println("Problem extracting data : ( ");
        }

        Pattern pt_tiempo = Pattern.compile("El Tiempo</a>:</span>(.*?)</td>", Pattern.DOTALL | Pattern.MULTILINE );
        Matcher mt_tiempo = pt_tiempo.matcher( cooperativa_site );       

        if ( mt_tiempo.find()  )
        {
            System.out.println( "Tiempo: "  +  mt_tiempo.group(1).replace("°C", "°c").trim() );
        }
    }
}

A diferenciar del ejemplo anterior, ahora utilizamos el método group para acceder al elemento definido en nuestro patrón.

Reemplazo (replace)

Finalmente, el reemplazo es otra tarea útil que podemos resolver con la ayuda de las expresiones regulares. Podemos utilizar el método replaceAll de la clase String o Matcher.

        // Replace using String.replaceAll
        String query = "SelEct title, comment, author from articles UNION sELEct title, comment, author from comments";
        System.out.println( query.replaceAll("((S|s){1}(E|e){1}(L|l){1}(E|e){1}(C|c){1}(T|t){1})", "SELECT")  );

        // Replace using Matcher.replaceAll
        Pattern pt_select = Pattern.compile("((S|s){1}(E|e){1}(L|l){1}(E|e){1}(C|c){1}(T|t){1})");
        Matcher mt_select = pt_select.matcher(query);

        System.out.println( mt_select.replaceAll("SELECT") );

Para realizar una conexión HTTP GET, podemos usar el método openStream (de URL) para obtener un clásico objeto InputStream, el resto es simplemente leer el Stream.

El siguiente ejemplo, realiza un HTTP GET a la URL “http://www.emol.com” para guardar el contenido en un String e imprimir el resultado.

package org.deerme.examples;
import java.io.*;
import java.net.*;
/**
 * It's just an example an HTTP GET
 * @author deerme.org
 */

public class ExampleHTTPGet {
    private String siteContent = "";

    public ExampleHTTPGet( String strUrl )
    {
        String content;
        try
         {
            byte[] buffer = new byte[4096];
            URL url = new URL( strUrl );

            BufferedInputStream bis = new BufferedInputStream(url.openStream());
            int bytesRead = 0;

            while ((bytesRead = bis.read(buffer)) != -1)
            {
                content = new String(buffer, 0, bytesRead);
                this.siteContent = this.siteContent + content;
            }
            bis.close();

            System.out.println( this.siteContent );

        } catch (Exception ex)
        {
            System.out.println("OMG, Houston, we have a exception  " + ex.getMessage() + " xD");
        }
    }

    public static void main(String[] args) {
        // In my case, I use a proxy
        System.setProperty("http.proxyHost", "localhost");
        System.setProperty("http.proxyPort", "44444");
        new ExampleHTTPGet("http://www.emol.com");
    }
}

Si no sales a través de un Proxy, debemes comentar las líneas System.setProperty,