Scrap all information came from "Consulta de Licitações" page

[moacirmoda]

• Scrap all informations from "Consulta de Licitações" page [1].
• To execute search filling only "Período de Publicação" and "Modalidades" fields.
  • To fill the first field with the same date in field from and until.
  • To fill the last field checking "Todas" box.
  • See image below

• After submiting the form, to scrap all information from each result in result page.
• Retrieve a dict with scrapped informations
• Maintain main language (portuguese) for all dict fields

[1] - http://comprasnet.gov.br/ConsultaLicitacoes/ConsLicitacao_Filtro.asp

[moacirmoda]

Sample:

1 Pirassununga- SP
MINISTÉRIO DA DEFESA
Comando do Exército
Comando Militar do Sudeste
2ªDivisão de Exército
11ªBrigada de Infantaria Blindada
13 Regimento de Cavalaria Mecanizado
Código da UASG: 160478

Pregão Eletrônico Nº 3/2018
Objeto: Objeto: Pregão Eletrônico - Contratação de empresa prestadora de Serviço Móvel Pessoal (SMP), área (019).
Edital a partir de: 11/05/2018 das 08:30 às 11:30 Hs e das 14:00 às 16:30 Hs
Endereço: Av Newton Prado, 2251 - Centro - Pirassununga - Sao Paulo - - Pirassununga (SP)
Telefone:
Fax:
Entrega da Proposta: a partir de 11/05/2018 às 08:30Hs
Abertura da Proposta: em 23/05/2018 às 08:30Hs, no endereço: www.comprasnet.gov.br

Dict:

{
	"cabecalho": [
			"MINISTÉRIO DA DEFESA",
			"Comando do Exército",
			"Comando Militar do Sudeste",
			"2ªDivisão de Exército",
			"11ªBrigada de Infantaria Blindada",
			"13 Regimento de Cavalaria Mecanizado",
		],
	"pregao-eletronico": "32018",
        "codigo-da-uasg": "160478",
        "cidade": "Pirassununga",
        "uf": "SP",
	"objeto": "Objeto: Pregão Eletrônico - Contratação de empresa prestadora de Serviço Móvel Pessoal (SMP), área (019)",
	"edital-a-partir-de-str": "11/05/2018 das 08:30 às 11:30 Hs e das 14:00 às 16:30 Hs",
	"edital-a-partir-de": datetime(2018, 5, 11),
	"endereco": "Av Newton Prado, 2251 - Centro - Pirassununga - Sao Paulo - - Pirassununga (SP)",
	"telefone": None,  
	"fax": None,  
	"entrega-da-proposta-str": "a partir de 11/05/2018 às 08:30Hs",
	"entrega-da-proposta": datetime(2018, 5, 11),
	"abertura-da-proposta-str": "em 23/05/2018 às 08:30Hs, no endereço: www.comprasnet.gov.br",
	"abertura-da-proposta": datetime(2018, 5, 23),
}