python - Scrapy get all children / ignore <br>? -

i have piece of html , want extract text in 1 element scrapy.

<td class="infooffre">rue de trazegnies 41<br>6031&nbsp;       monceau sur sambre<br>belgique</td> 

when use xpath('.//td//text()').extract() 3 elements instead

you want xpath string() function:

>>> import scrapy >>> selector = scrapy.selector(text="""<td class="infooffre">rue de trazegnies 41<br>6031&nbsp; ...       monceau sur sambre<br>belgique</td>""") >>> selector.xpath('.//td//text()').extract() [u'rue de trazegnies 41', u'6031\xa0\n      monceau sur sambre', u'belgique'] >>> selector.xpath('string(.//td)').extract() [u'rue de trazegnies 416031\xa0\n      monceau sur sambrebelgique'] >>>  

or can join() each text node:

>>> " ".join(selector.xpath('.//td//text()').extract()) u'rue de trazegnies 41 6031\xa0\n      monceau sur sambre belgique' >>>  

---

edit after op's comment:

string() indeed works on first node in node set, either have more selective xpath have correct node (using [3] position predicates), or on elements, , apply string(.) on each.

for specific example, can use this:

(scrapy10)paul@paul$ scrapy shell "https://www.leforem.be/hotjob/servlet/joboffs.view?id=20729863&nexturl=" >>> t in response.xpath('.//table[@class="visualoffre"]'): ...     print t.xpath('string(.)').extract() ...  [u"nombre de postes demand\xe9s\xa0: 1cat\xe9gorie de m\xe9tier\xa0:soudeur\xa0\n              (4413201)\n              [personnel de la construction mecanique et du travail des metaux]secteur d'activit\xe9\xa0:fabrication d'autres machines d'usage sp\xe9cifiquelieu(x) de travail\xa0:charleroi [arrondissement](charleroi [arrondissement])\n          votre fonction\xa0:une soci\xe9t\xe9 du grand charleroi recherche un monteur soudeur. \uf02d\tlire et interpr\xe9ter des plans, effectuer un tra\xe7age,\uf02d\td\xe9couper des pi\xe8ces m\xe9talliques\uf02d\tusiner les diff\xe9rentes pi\xe8ces entrantes dans les ouvrages.\uf02d\tmettre en forme des pi\xe8ces m\xe9talliques. assembler les pi\xe8ces et raccorder ( semi et arc). .\uf02d\tmettre en couleur\uf02d\tcontr\xf4ler la conformit\xe9 par rapport aux sp\xe9cifications techniques.\uf02d\tmonter les structures fabriqu\xe9es (escaliers, portails, garde-fous, + constructions b\xe2timents industriels\uf02d\t r\xe9aliser des travaux d'ajustage, de montage et d'assemblage (forage, taraudage, filetage, soudage)."] [u"exp\xe9rience(s) professionnelle(s)\xa0:m\xe9tier\xa0:dur\xe9e\xa0:secteur\xa0:description\xa0:soudeur\n\t     \xa0\n      \n          \t\tsans importance\n          \t\xa0\n      fabrication d'autres machines d'usage sp\xe9cifique\xa0\n      \uf02d\tvous poss\xe9dez de l'exp\xe9rience comme soudeur (semi-) et comme monteurpermis de conduire\xa0:permis de conduiredescription[b] v\xe9hicules < 3,5 tonnes et 8 places maximumd\xe9placements possiblesqualification(s)\xa0:qualificationdescription\xa0brevet  vca de base--commentaire (qualifications)\xa0:\uf02ddescription libre\xa0:vous aimez et vous savez travailler en \xe9quipe\uf02d\tvous travaillez en atelier\uf02d\tvous supportez la chaleur et les intemp\xe9ries (pas de ch\xf4mage intemp\xe9ries)\uf02d\uf02d\tetre minutieux, pr\xe9cis et soucieux du travail bien fait"] [u'r\xe9gime de travail\xa0:temps plein de jourhoraire\xa0:du  lundi au jeudi de 7h \xe0 15h45 et le vendredi de 7h \xe0 14hcommentaire additionnel\xa0:ou pfi en fonction du profiltype\xa0:a dur\xe9e d\xe9termin\xe9esalaire\xa0:selon la cp 111 - 11,890eur brut/h'] [u"\n      modalit\xe9s de candidature :si vous correspondez aux crit\xe8res, faites nous parvenir votre cv et votre lettre de motivation \xe0 pascal.noel@mirec.net (ou par courrier ou par fax au 071/30.08.23)nom de l'entreprise\xa0:mirecnom de la personne\xa0:m.\xa0gauthier mulatin (responsable de projets)adresse\xa0:rue de trazegnies 416031\xa0\n      monceau sur sambrebelgiquee-mail\xa0:pascal.noel@mirec.neturl\xa0:www.mirec.net"] >>>