Aquesta és una revisió antiga del document

---

Webscraping amb python i capçaleres http d’Apache

Webscraping fa referència a les tècniques per a recuperar dades d'una web de manera automatitzada, i Python és un llenguatge de programació que té llibreries especialitzades que faciliten aquesta tasca.

Descarregar les imatges d’una web

Començarem per un script que es baixa totes les imatges que hi ha una web a partir de la seva url. Aquesta tècnica es pot aplicar per a qualsevol tag html i descarregar altres elements que ens puguin ser d’interès.

Primer, haurem d’instal·lar la llibreria lxml de Python per el tractament d’html.

Comandes:

$ pip install lxml

Collecting lxml
Downloading lxml-4.9.1-cp310-cp310-win_amd64.whl (3.6 MB)
   ---------------------------------------- 3.6/3.6 MB 9.9 MB/s eta 0:00:00
Installing collected packages: lxml
Successfully installed lxml-4.9.1

Script:

import os
import requests
from lxml import html

try:
  url = "https://agora.xtec.cat/iesesteveterradas/general/the-ieti-show-conquereix-terrassa"
  response = requests.get(url)
  parsed_body = html.fromstring(response.text)
  
  # Usem una expressió xpath per a trobar els tags d'imatges
  images_src = parsed_body.xpath("//img/@src")
  num_images = len(images_src)
  print("Trobade(s) " + str(num_images) + " imatge(s)")
  
  # Creem un directori per anar guardant les imatges
  nom_domini = url.replace("https://", "").replace("http://", "").split("/")[0]
  nom_domini = nom_domini.replace(".", "_")
  nom_directori = "imatges_" + nom_domini
  print("Guardant imatges al directori " + nom_directori)
  os.system("mkdir " + nom_directori)
  
  for image in images_src:
      download = False
      if image.startswith("http") and image!=url:
          downloaded_image = requests.get(image)
          download = True
      elif image.startswith("data:image") == False and (url+image)!=url:
          downloaded_image = requests.get(url + image)
          download = True
      #else: 
          # download base64 image
      if download:
          image_file_name_to_save = nom_directori + "/" + image.split("/")[-1]
          print(image_file_name_to_save)
          image_file = open(image_file_name_to_save, "wb")
          image_file.write(downloaded_image.content)
          image_file.close()
          
except Exception as e:
  print(e)
  pass

Sortida:

Trobade(s) 16 imatge(s)
Guardant imatges al directori imatges_agora_xtec_cat
imatges_agora_xtec_cat/013-Premi-03B-rc-1024x682.jpg
imatges_agora_xtec_cat/032-Grup-rc-1024x682.jpg
imatges_agora_xtec_cat/spinner.gif
imatges_agora_xtec_cat/unnamed-3-300x70.png
imatges_agora_xtec_cat/unnamed-1.png
imatges_agora_xtec_cat/unnamed-2.png
imatges_agora_xtec_cat/banner_web_centres-2.png
imatges_agora_xtec_cat/FSE.png
imatges_agora_xtec_cat/logo_gene.png
imatges_agora_xtec_cat/logo_xtec.png

Obtenir informació d’imatges

Amb les imatges baixades, mirarem si tenen informacio EXIF i l’extraurem.

L’EXIF és un estàndard que defineix informació específica relacionada amb una imatge capturada per una càmera digital.

Primer, haurem d’instal·lar la llibreria Pillow de Python pel tractament d’imatges.

Comandes:

$ pip install pillow

Collecting pillow
Downloading Pillow-9.2.0-cp310-cp310-win_amd64.whl (3.3 MB)
   ---------------------------------------- 3.3/3.3 MB 13.1 MB/s eta 0:00:00
Installing collected packages: pillow
Successfully installed pillow-9.2.0

Script:

from PIL import Image
from PIL import ExifTags

image = Image.open("C:/imatges_agora_xtec_cat/013-Premi-03B-rc-1024x682.jpg")

exif_info = image._getexif()

for tag, value in exif_info.items():
  decoded = ExifTags.TAGS.get(tag, tag)
  print(str(decoded) + ": " + str(value))

Sortida:

ImageWidth: 6720
ImageLength: 4480
BitsPerSample: (8, 8, 8)
PhotometricInterpretation: 2
ResolutionUnit: 2
ExifOffset: 288
Make: Canon
Model: Canon EOS 5D Mark IV
Software: Adobe Photoshop CC 2018 (Macintosh)
Orientation: 1
DateTime: 2022:06:22 11:18:01
SamplesPerPixel: 3
XResolution: 300.0
YResolution: 300.0
ExifVersion: b'0231'
ShutterSpeedValue: 11.643856
ApertureValue: 4.33985
DateTimeOriginal: 2022:06:21 18:11:54
DateTimeDigitized: 2022:06:21 18:11:54
ExposureBiasValue: 0.3333333333333333
MaxApertureValue: 4.0
MeteringMode: 5
ColorSpace: 65535
Flash: 16
FocalLength: 73.0
ExifImageWidth: 1772
ExifImageHeight: 1181
SceneCaptureType: 0
FocalPlaneXResolution: 1866.6666564941406
FocalPlaneYResolution: 1866.6666564941406
OffsetTime: +02:00
OffsetTimeOriginal: +00:00
OffsetTimeDigitized: +00:00
SubsecTimeOriginal: 03
SubsecTimeDigitized: 03
FocalPlaneResolutionUnit: 3
ExposureTime: 0.0003125
FNumber: 4.5
ExposureProgram: 3
CustomRendered: 0
ISOSpeedRatings: 5000
ExposureMode: 0
SensitivityType: 2
WhiteBalance: 0
RecommendedExposureIndex: 5000
BodySerialNumber: 013021004861
LensSpecification: (70.0, 200.0, nan, nan)
LensModel: EF70-200mm f/4L USM
LensSerialNumber: 0000000000

Aquest script és capaç d’obtenir les dades EXIF que hi ha en una foto, així, podem saber la data en que es va fer la foto, la càmara usada, i fins i tot, dades d’ubicació GPS si el dispositiu des de el qual es va fer té aquesta opció.