[R] XML and RCurl: problem with encoding (htmlTreeParse)

[Duncan Temple Lang]

Hi Lauri.

I am in the process of making some changes
to the encoding in the XML package. I'll take a look
over the next few days. (Not certain precisely when.)

 D.



Lauri Nikkinen wrote:
> Hi,
> 
> I'm trying to get data from web page and modify it in R. I have a
> problem with encoding. I'm not able to get
> encoding right in htmlTreeParse command. See below
> 
>> library(RCurl)
>> library(XML)
>>
>> site <- getURL("http://www.aarresaari.net/jobboard/jobs.html")
>> txt <- readLines(tc <- textConnection(site)); close(tc)
>> txt <- htmlTreeParse(txt, error=function(...){}, useInternalNodes = TRUE)
>>
>> g <- xpathSApply(txt, "//p", function(x) xmlValue(x))
>> head(grep(" ", g, value=T))
> 
> [1] "Â Â PART-TIME EXPORT SALES ASSOCIATES (ALSO SUMMER WORK) Â
> Valuatum Oy  Helsinki  Ilmoitus lisätty: 31.12.2009. Viimeinen
> hakupäivä: 28.02.2010"
> [2] "  MSN EDITOR / ONLINE PRODUCER  Manpower Oy  Espoo  Ilmoitus
> lisätty: 30.12.2009. Viimeinen hakupäivä: 15.1.2010"
> [3] "  MYYNTINEUVOTTELIJA  Rand Customer Contact Oy  Helsinki Â
> Ilmoitus lisätty: 30.12.2009. Viimeinen hakupäivä: 30.1.2010"
> [4] "Â Â HALUATKO IT-ARKKITEHDIKSI SHANGHAIHIN? Â HALUATKO
> IT-ARKKITEHDIKSI SHANGHAIHIN?  Shanghai, China  Ilmoitus lisätty:
> 30.12.2009. Viimeinen hakupäivä: 28.2.2010"
> [5] "  HALUATKO J2EE-OHJELMISTOKEHITTÄJÄKSI SHANGHAIHIN? Â
> HALUATKO J2EE-OHJELMISTOKEHITTÄJÄKSI SHANGHAIHIN?  Shanghai, China
>  Ilmoitus lisätty: 30.12.2009. Viimeinen hakupäivä: 28.2.2010"
> [6] "  Korkeakouluharjoittelija/ työelämävalmennettava  Suomen
> suurlähetystö Pristina, Kosovo  Pristina, Kosovo  Ilmoitus
> lisätty: 30.12.2009. Viimeinen hakupäivä: 20.1.2010"
> 
> This won't help:
> 
>> txt <- readLines(tc <- textConnection(site)); close(tc)
>> txt <- htmlTreeParse(txt, error=function(...){}, useInternalNodes = TRUE, encoding="latin1")
>> g <- xpathSApply(txt, "//p", function(x) xmlValue(x))
>> head(grep(" ", g, value=T))
> 
> [1] "Â Â PART-TIME EXPORT SALES ASSOCIATES (ALSO SUMMER WORK) Â
> Valuatum Oy  Helsinki  Ilmoitus lisätty: 31.12.2009. Viimeinen
> hakupäivä: 28.02.2010"
> [2] "  MSN EDITOR / ONLINE PRODUCER  Manpower Oy  Espoo  Ilmoitus
> lisätty: 30.12.2009. Viimeinen hakupäivä: 15.1.2010"
> [3] "  MYYNTINEUVOTTELIJA  Rand Customer Contact Oy  Helsinki Â
> Ilmoitus lisätty: 30.12.2009. Viimeinen hakupäivä: 30.1.2010"
> [4] "Â Â HALUATKO IT-ARKKITEHDIKSI SHANGHAIHIN? Â HALUATKO
> IT-ARKKITEHDIKSI SHANGHAIHIN?  Shanghai, China  Ilmoitus lisätty:
> 30.12.2009. Viimeinen hakupäivä: 28.2.2010"
> [5] "  HALUATKO J2EE-OHJELMISTOKEHITTÄJÄKSI SHANGHAIHIN? Â
> HALUATKO J2EE-OHJELMISTOKEHITTÄJÄKSI SHANGHAIHIN?  Shanghai, China
>  Ilmoitus lisätty: 30.12.2009. Viimeinen hakupäivä: 28.2.2010"
> [6] "  Korkeakouluharjoittelija/ työelämävalmennettava  Suomen
> suurlähetystö Pristina, Kosovo  Pristina, Kosovo  Ilmoitus
> lisätty: 30.12.2009. Viimeinen hakupäivä: 20.1.2010"
> 
> Any ideas?
> 
> Thanks,
> Lauri
> 
>> sessionInfo()
> R version 2.10.0 (2009-10-26)
> i386-pc-mingw32
> 
> locale:
> [1] LC_COLLATE=Finnish_Finland.1252  LC_CTYPE=Finnish_Finland.1252
> LC_MONETARY=Finnish_Finland.1252 LC_NUMERIC=C
> [5] LC_TIME=Finnish_Finland.1252
> 
> attached base packages:
> [1] grDevices datasets  splines   graphics  utils     grid      stats
>    methods   base
> 
> other attached packages:
>  [1] RDCOMClient_0.92-0 XML_2.6-0          RCurl_1.3-1
> Hmisc_3.7-0        survival_2.35-8    ggplot2_0.8.5      digest_0.4.2
>      reshape_0.8.3
>  [9] plyr_0.1.9         proto_0.3-8        gplots_2.7.4
> caTools_1.10       bitops_1.0-4.1     gtools_2.6.1
> gmodels_2.15.0     gdata_2.6.1
> [17] lattice_0.17-26
> 
> loaded via a namespace (and not attached):
> [1] cluster_1.12.1 MASS_7.3-4     tools_2.10.0
> 
> ______________________________________________
> R-help at r-project.org mailing list
> https://stat.ethz.ch/mailman/listinfo/r-help
> PLEASE do read the posting guide http://www.R-project.org/posting-guide.html
> and provide commented, minimal, self-contained, reproducible code.