Introduction à zc.buildout




Jim Fulton, Zope Corporation

DZUG 2007

Contents

Qu'est-ce que zc.buildout?

construction de haut-niveau

Basé sur Python

Travailler avec des eggs

zc.buildout et les eggs

zc.buildout est basé sur setuptools and easy_install.

État actuel de zc.buildout

Les Eggs Python en résumé

Les Eggs sont simples !

Jargon des Eggs

Points d'entrée

Survol de Buildout

survol de Buildout (suite)

Brève introduction

Fichiers du projet zope.event

buildout.cfg pour zope.event

[buildout]
parts = test
develop = .

[test]
recipe = zc.recipe.testrunner
eggs = zope.event

Voyons ceci ligne par ligne.

[buildout]

définit la section buildout. C'est la seule section obligatoire du fichier de configuration. Ce sont les options de cette section qui permettent aux autres sections d'être utilisées.

parts = test

Chaque buildout doit définir obligatoirement une liste de parts, mais cette liste peut être vide. La liste indique ce qui doit être construit. Si l'une des parts de la liste dépend d'autre parts, les autres parts seront elles-aussi construites.

develop = .

L'option develop est utilisée pour définir un ou plusieurs répertoires à partir desquels on va créer des eggs en développement. Dans le cas présent, on indique qu'il faut utiliser le répertoire courant. Chacun de ces répertoires doit posséder un fichier de setup.

[test]

La section test est utilisée pour définir notre part servant aux tests.

recipe = zc.recipe.testrunner

chaque définition de part doit donner une recette. La recette contient le code Python avec la logique d'installation de la part. Une spécification de recette est une 'exigence' de distribution. L'exigence peut être suivie d'une virgule ou d'un nom de recette. Les eggs de recette peuvent contenir plusieurs recettes et peuvent définir une recette par défaut.

L'egg zc.recipe.testrunner définit une recette par défaut qui crée un lanceur de tests en utilisant le framework zope.testing.testrunner.

eggs = zope.event

La recette zc.recipe.testrunnner possède une option eggs pour indiquer quels eggs doivent être testés. Le script de test généré chargera ces eggs ainsi que leurs dépendances.

Pour obtenir des détails sur la recette zc.recipe.testrunner, consultez la page http://www.python.org/pypi/zc.recipe.testrunner.

Étapes du Buildout

Exercice 1

Nous n'aurons pas le temps d'interrompre la présentation pendant que vous faites les exercices. Si vous pouvez jouer et écouter en même temps, vous pouvez essayer de les faire pendant que je parle. Sinon je vous recommande de les faire plus tard dans la semaine. N'hésitez pas à poser des questions si vous avez des problèmes.

On essaye le buildout de zope.event

Organisation du buildout

Certaines personnes trouvent l'organisation du buildout surprenant, car elle n'est pas semblable à l'organisation des répertoires d'un système unix. Cette organisation a été guidée par la règle « Mieux vaut plat qu'imbriqué ». ("Shallow is better than nested")

Si vous préférez un arrangement différent, vous pouvez en spécifier un autre avec des options de buildout. Vous pouvez régler ces options de manière globale de façon que tous vos buildouts aient la même organisation.

Cas d'utilisation courants de buildout

Création d'eggs

Trois niveaux de développement d'egg

Un setup.py minimal ou de développement

from setuptools import setup
setup(
    name='foo',
    package_dir = {'':'src'},
    )

Si un paquet ne doit être utilisé que comme un egg en développement, on a juste besoin de donner le nom de projet et, s'il y a un répertoire séparé pour les sources, l'emplacement de ce répertoire.

Il faudrait aussi préciser les points d'entrée le cas échéant. Nous verrons ceci dans un exemple plus tard.

Consultez la doc de setuptools et de distutils pour avoir plus d'infos.

setup.py distribuable

from setuptools import setup, find_packages
name='zope.event'
setup(
    name=name,
    version='3.3.0',
    url='http://www.python.org/pypi/'+name,
    author='Zope Corporation and Contributors',
    author_email='zope3-dev@zope.org',
    package_dir = {'': 'src'},
    packages=find_packages('src'),
    namespace_packages=['zope',],
    include_package_data = True,
    install_requires=['setuptools'],
    zip_safe = False,
    )

Si on veut être capable de créer une distribution, il faut ajouter beaucoup plus d'informations.

Les options utilisées sont expliquées dans la documentation de distutils ou de setuptools. La plupart sont relativement évidentes.

On doit spécifier les paquets python utilisés. La fonction find_packages peut faire ce boulot à notre place, bien que c'est souvent assez facile de le faire soi-même. Par exemple on pourrait avoir spécifié

packages=['zope', 'zope.event'],

Le paquet zope est un paquet correspondant à un espace de nom. Cela signifie qu'il n'existe qu'en tant que conteneur pour d'autre paquets. Il ne contient aucun fichier ni module en soi. Il contient seulement un module __init__ avec:

pkg_resources.declare_namespace(__name__)

ou, peut-être

# this is a namespace package
try:
    import pkg_resources
    pkg_resources.declare_namespace(__name__)
except ImportError:
    import pkgutil
    __path__ = pkgutil.extend_path(__path__, __name__)

Les paquets d'espace de nom doivent être déclarés, comme on l'a fait ici.

Nous avons toujours intérêt à inclure les données du paquet.

Comme le module __init__ utilise setuptools, on le déclare comme dépendance, en utilisant install_requires.

On a aussi intérêt à préciser si le paquet est « zip safe ». Un paquet « zip safe » ne tente pas d'accéder au paquet comme à un répertoire. Dans le doute, mettez False. Si vous ne spécifiez rien, setuptools jouera aux devinettes.

setup.py soigné (1/3)

import os
from setuptools import setup, find_packages

def read(*rnames):
    return open(os.path.join(os.path.dirname(__file__), *rnames)).read()

long_description=(
        read('README.txt')
        + '\n' +
        'Detailed Documentation\n'
        '**********************\n'
        + '\n' +
        read('src', 'zope', 'event', 'README.txt')
        + '\n' +
        'Download\n'
        '**********************\n'
        )

open('documentation.txt', 'w').write(long_description)

Dans la version soignée, on étoffe un peu plus les meta-données.

Quand je crée une distribution que je considère prête à être utilisée par plus de monde et que je la téléverse sur PyPI, j'aime bien inclure la documentation complète dans la description longue de façon que PyPI puisse la présenter.

setup.py soigné (2/3)

name='zope.event'
setup(
    name=name,
    version='3.3.0',
    url='http://www.python.org/pypi/'+name,
    license='ZPL 2.1',
    description='Zope Event Publication',
    author='Zope Corporation and Contributors',
    author_email='zope3-dev@zope.org',
    long_description=long_description,

    packages=find_packages('src'),
    package_dir = {'': 'src'},
    namespace_packages=['zope',],
    include_package_data = True,
    install_requires=['setuptools'],
    zip_safe = False,
    )

Extras

name = 'zope.component'
setup(name=name,
      ...
      namespace_packages=['zope',],
      install_requires=['zope.deprecation', 'zope.interface',
                        'zope.deferredimport', 'zope.event',
                        'setuptools', ],
      extras_require = dict(
          service = ['zope.exceptions'],
          zcml = ['zope.configuration', 'zope.security', 'zope.proxy',
                  'zope.i18nmessageid',
                  ],
          test = ['zope.testing', 'ZODB3',
                  'zope.configuration', 'zope.security', 'zope.proxy',
                  'zope.i18nmessageid',
                  'zope.location', # should be depenency of zope.security
                  ],
          hook = ['zope.hookable'],
          persistentregistry = ['ZODB3'],
          ),
      )

Les extras fournissent un moyen d'aider à la gestion des dépendances.

Une utilisation courante des extras est de séparer les dépendances des tests des dépendances normales. Un paquet peut fournir des fonctionnalités optionnelles qui créent des dépendances supplémentaires. Par exemple, le module zcml de zope.component ajoute de nombreuses dépendances qu'on ne veut pas imposer aux gens qui ne les utilisent pas.

zc.recipe.egg

Un ensemble de recettes pour:

Consultez : http://www.python.org/pypi/zc.recipe.egg.

Installation d'eggs

[buildout]
parts = some-eggs

[some-eggs]
recipe = zc.recipe.egg:eggs
eggs = docutils
       ZODB3 <=3.8
       zope.event

L'option eggs accepte une ou plusieurs exigences de distribution. Comme les exigences peuvent contenir des espaces, on les place sur des lignes séparées. Ici, on a utilisé l'option egg pour spécifier les eggs qu'on veut.

Toutes les dépendances des eggs nommés seront également installées.

Installation de scripts

[buildout]
parts = rst2

[rst2]
recipe = zc.recipe.egg:scripts
eggs = zc.rst2

Si l'un des eggs nommés possède un point d'entrée console_script, les scripts seront générés à partir des points d'entrée.

Si une distribution n'utilise pas setuptools, elle peut ne pas déclarer ses points d'entrée. Dans ce cas, vous pouvez spécifier les points d'entrée dans les données de la recette.

Initialisation des scripts

[buildout]
develop = codeblock
parts = rst2
find-links = http://sourceforge.net/project/showfiles.php?group_id=45693

[rst2]
recipe = zc.recipe.egg
eggs = zc.rst2
       codeblock
initialization =
    sys.argv[1:1] = (
      's5 '
      '--stylesheet ${buildout:directory}/zope/docutils.css '
      '--theme-url file://${buildout:directory}/zope'
      ).split()
scripts = rst2=s5

Dans cet exemple, on a omis le nom du point d'entrée de la recette car la recette de scripts est la recette par défaut pour l'egg zc.recipe.egg.

L'option d'initialisation nous permet de spécifier du code python à inclure.

Avec l'option 'scripts' on peut contrôler quels scripts sont installés et quels sont leur nom. Dans cet exemple, on a utilisé l'option 'scripts' pour demander un script nommé s5 depuis le point d'entrée rst2.

Interpréteurs personnalisés

La recette 'script' permet de créer un script interpréteur.

[buildout]
parts = mypy

[mypy]
recipe = zc.recipe.egg:script
eggs = zope.component
interpreter = py

Ceci entraînera la création d'un script bin/py.

Les interpréteurs personnalisés peuvent être utilisés pour obtenir une invite python avec les eggs spécifiés et leurs dépendances dans le sys.path.

Vous pouvez aussi utiliser des interpréteurs personnalisés pour lancer des scripts, comme vous feriez avec l'interpréteur python habituel. Il suffit d'appeler l'interpréteur avec le chemin du script et ses arguments.

Exercice 2

Construction d'egg personnalisé

[buildout]
parts = spreadmodule

[spreadtoolkit]
recipe = zc.recipe.cmmi
url = http://yum.zope.com/buildout/spread-src-3.17.1.tar.gz

[spreadmodule]
recipe = zc.recipe.egg:custom
egg = SpreadModule ==1.4
find-links = http://www.python.org/other/spread/
include-dirs = ${spreadtoolkit:location}/include
library-dirs = ${spreadtoolkit:location}/lib
rpath = ${spreadtoolkit:location}/lib

Parfois une distribution a des modules d'extension qui ont besoin d'être compilés avec des options spéciales, comme l'emplacement des fichiers et des bibliothèques d'inclusion. La recette personnalisée prend ceci en charge. Les eggs résultants sont placés dans le répertoire develop-eggs car les eggs sont spécifiques au buildout.

Cet exemple illustre l'utilisation de la recette zc.recipe.cmmi qui autorise l'installation de programmes qui utilisent configure, make, make install. Ici, nous avons utilisé cette recette pour installer la boîte à outils Spread, qui est installée dans le répertoire parts

Dépendances d'une part

Dans l'exemple précédent, on a utilisé l'emplacement de spreadtoolkit dans la définition de la part spreadmodule. Cette référence est suffisante pour que spreadtoolkit deviennent une dépendance de la part spreadmodule et soit installé en premier.

Personnalisation des Eggs en développement

[buildout]
parts = zodb

[zodb]
recipe = zc.recipe.egg:develop
setup = zodb
define = ZODB_64BIT_INTS

On peut également préciser des options de construction personnalisées pour les eggs en développement. Ici on a utilisé un egg en développement uniquement pour être sûr que notre construction personnalisé de la ZODB soit prioritaire devant les eggs normaux de la ZODB situés dans le dossier des eggs partagés.

Écriture de recettes

Recettes d'installation

mkdirrecipe.py:

import logging, os, zc.buildout

class Mkdir:

    def __init__(self, buildout, name, options):
        self.name, self.options = name, options
        options['path'] = os.path.join(
                              buildout['buildout']['directory'],
                              options['path'],
                              )
        if not os.path.isdir(os.path.dirname(options['path'])):
            logging.getLogger(self.name).error(
                'Cannot create %s. %s is not a directory.',
                options['path'], os.path.dirname(options['path']))
            raise zc.buildout.UserError('Invalid Path')

suite de mkdirrecipe.py

def install(self):
    path = self.options['path']
    logging.getLogger(self.name).info(
        'Creating directory %s', os.path.basename(path))
    os.mkdir(path)
    return path

def update(self):
    pass

Une recette bien écrite enregistre ce qu'elle fait.

La méthode update est souvent vide, comme ici.

Recettes de désinstallation

servicerecipe.py:

import os

class Service:

    def __init__(self, buildout, name, options):
        self.options = options

    def install(self):
        os.system("chkconfig --add %s" % self.options['script'])
        return ()

    def update(self):
        pass

def uninstall_service(name, options):
    os.system("chkconfig --del %s" % options['script'])

Les recettes de désinstallation sont des objets pouvant être appelés et à qui l'ont transmet le nom de la part et les options d'origine.

Points d'entrée de Buildout

setup.py:

from setuptools import setup

entry_points = """
[zc.buildout]
mkdir = mkdirrecipe:Mkdir
service = servicerecipe:Service
default = mkdirrecipe:Mkdir

[zc.buildout.uninstall]
service = servicerecipe:uninstall_service
"""

setup(name='recipes', entry_points=entry_points)

Exercice 3

Options de la ligne de commande

Ligne de commande buildout :

bin/buildout -U -c rpm.cfg install zrs

Les paramètres d'option sont de la forme suivante:

section:option=value

Une option qu'on peut définir dans le fichier de configuration peut toujours être définie depuis la ligne de commandes. Les paramètres d'option précisés sur la ligne de commande sont prioritaires par rapport à celles des fichiers de configuration.

Il existe quelques options en ligne de commande, comme -c pour spécifier un fichier de configuration ou -U pour désactiver la lecture des réglages par défaut de l'utilisateur.

Consultez la documentation de buildout ou utilisez l'option -h pour obtenir une liste des options disponibles.

Modes de Buildout

Par défaut, buildout essaie toujours de trouver les distributions les plus récentes qui satisfassent les exigences. La recherche de nouvelles distributions peut prendre beaucoup de temps. De nombreuses personnes auront intérêt à utiliser l'option -N pour désactiver cette recherche. On verra plus loin comment modifier ce comportement par défaut.

Si vous n'êtes pas connecté à un réseau, vous avez intérêt à utiliser le mode offline, -o.

~/.buildout/default.cfg

Fournit des réglages par défaut pour buildout (à moins que l'option -U soit activée) :

[buildout]
# Shared eggs directory:
eggs-directory = /home/jim/.eggs
# Newest mode off, reenable with -n
newst = false

[python24]
executabe = /usr/local/python/2.4/bin/python

[python25]
executabe = /usr/local/python/2.5/bin/python

À moins que l'option -U ne soit utilisée sur la ligne de commande, les réglages par défaut de l'utilisateur sont lus avant les fichiers classiques de configuration. Ces réglages par défaut sont lus dans le fichier default.cfg du sous-répertoire .buildout du répertoire donné par la variable d'environnement HOME si elle existe.

Dans cet exemple :

Extension des configurations

L'option extends permet à un fichier de configuration d'en étendre un autre

Par exemple :

Amorçage depuis un buildout existant

Exemple : répertoire ~/bin

[buildout]
parts = rst2 buildout24 buildout25
bin-directory = .

[rst2]
recipe = zc.recipe.egg
eggs = zc.rst2

[buildout24]
recipe = zc.recipe.egg
eggs = zc.buildout
scripts = buildout=buildout24
python = python24

[buildout25]
recipe = zc.recipe.egg
eggs = zc.buildout
scripts = buildout=buildout25
python = python25

De nombreuses personnes ont un répertoire de scripts personnel.

J'ai converti le mien en buildout en utilisant une configuration de buildout qui ressemble à celle ci-dessus.

J'ai surchargé l'emplacement pour bin-directory de façon que les scripts soient installés directement dans le répertoire du buildout.

J'ai précisé que je veux que la distribution zc.rst2 soit installée. La distribution rst2 dispose d'une version généralisée des scripts de traitement du « restructured text » sous une forme qui peut être installée par buildout (ou easy_install).

J'ai précisé que je veux avoir les scripts de buildout pour Python 2.4 et 2.5. (Dans mon buildout, j'en crée aussi un pour Python 2.3). Ces scripts de buildout me permettent d'amorcer rapidement des buildouts ou de lancer des fichiers de setup pour une version donnée de python. Par exemple, pour amorcer un buildout avec python 2.4, je lance:

buildout24 bootstrap

dans le répertoire contenant le buildout. Ceci peut aussi être utilisé pour convertir un répertoire en buildout, en créant le fichier buildout.cfg s'il n'existe pas.

Exemple: zc.sharing (1/2)

[buildout]
develop = . zc.security
parts = instance test
find-links = http://download.zope.org/distribution/

[instance]
recipe = zc.recipe.zope3instance
database = data
user = jim:123
eggs = zc.sharing
zcml =
  zc.resourcelibrary zc.resourcelibrary-meta
  zc.sharing-overrides:configure.zcml zc.sharing-meta
  zc.sharing:privs.zcml zc.sharing:zope.manager-admin.zcml
  zc.security zc.table zope.app.securitypolicy-meta zope.app.twisted
  zope.app.authentication

C'est un court exemple du cas d'utilisation « assemblage de système ». Dans ce cas, on définit une instance Zope 3 et un script de test.

Vous pouvez ignorer en grande partie les détails de la recette pour l'instance Zope 3. Si vous n'êtes pas un utilisateur de Zope, vous n'avez pas besoin de les connaître. Si vous êtes utilisateur de Zope, vous devez savoir que de bien meilleures recettes sont développées.

Ce projet utilise plusieurs répertoire sources, le répertoire courant et le répertoire zc.security qui est une référence subversion externe vers un projet n'ayant pas sa propre distribution. Les deux ont été listées dans l'option develop.

On a demandé les parts instance et test. Des parts supplémentaires seront installées à cause des dépendances de la part instance. En particulier, on va obtenir un checkout de Zope3 parce que la recette instance fait référence à la part zope3. On va obtenir une part database à cause de la référence de la recette instance dans l'option database.

Le buildout va chercher des distributionsn à l'adresse http://download.zope.org/distribution/.

Exemple: zc.sharing (2/2)

[zope3]
recipe = zc.recipe.zope3checkout
url = svn://svn.zope.org/repos/main/Zope3/branches/3.3

[data]
recipe = zc.recipe.filestorage

[test]
recipe = zc.recipe.testrunner
defaults = ['--tests-pattern', 'f?tests$']
eggs = zc.sharing
       zc.security
extra-paths = ${zope3:location}/src

Ici on peut voir la définition des parts restantes.

La part test possède des options qu'on n'a pas encore vues.

Source ou Binaire

Expériences avec RPM

Travaux initiaux de création de RPMs pour le déploiement dans nos environnements d'hébergement:

Notre philosophie est de séparer le logiciel et sa configuration. On installe des programmes avec RPM. Ensuite on configure l'utilisation de ces programmes à l'aide d'une base de donnée centralisée de configuration.

Je vais brièvement présenter la procédure de construction RPM plus bas. Le côté intéressant est que ça illustre certains problèmes.

fichier de spec pour ZRS (1/3)

%define python zpython
%define svn_url svn+ssh://svn.zope.com/repos/main/ZRS-buildout/trunk
requires: zpython
Name: zrs15
Version: 1.5.1
Release: 1
Summary: Zope Replication Service
URL: http://www.zope.com/products/zope_replication_services.html

Copyright: ZVSL
Vendor: Zope Corporation
Packager: Zope Corporation <sales@zope.com>
Buildroot: /tmp/buildroot
Prefix: /opt
Group: Applications/Database
AutoReqProv: no

La plupart des options ci-dessus sont plus ou moins brutes de décoffrage.

On indique le Python qu'on va utiliser comme dépendance. On construit nos RPMs python de façon à contrôler ce qu'ils contiennent. Les mainteneurs de paquets systèmes on tendance à être trop créatifs pour nous.

Habituellement, pendant la construction, RPM installe les fichiers dans leur emplacement réel de fonctionnement. Ceci n'est pas acceptable pour de nombreuses raisons. J'ai ici utilisé le mécanisme build-root de RPM pour que les fichiers soient construits dans une arborescence temporaire..

Comme l'emplacement de la construction est différent de l'installation finale, les chemins écrits par le buildout, comme ceux des eggs dans les scripts, sont faux. Il existe deux moyens de pallier ce problème :

Modifier les chemins au moment de la construction signifie que les emplacements d'installation ne peuvent pas être contrôlés à l'installation. Cela compliquerait aussi toutes les recettes qui doivent gérer des chemins. Ajuster les chemins à l'installation nécessite juste de relancer certaines des recettes pour générer les chemins.

Pour renforcer ce dernier choix, le RPM a été rendu relocalisable en utilisant l'option prefix.

fichier de spec pour ZRS (2/3)

%description
%{summary}

%build
rm -rf $RPM_BUILD_ROOT
mkdir $RPM_BUILD_ROOT
mkdir $RPM_BUILD_ROOT/opt
mkdir $RPM_BUILD_ROOT/etc
mkdir $RPM_BUILD_ROOT/etc/init.d
touch $RPM_BUILD_ROOT/etc/init.d/%{name}
svn export %{svn_url} $RPM_BUILD_ROOT/opt/%{name}
cd $RPM_BUILD_ROOT/opt/%{name}
%{python} bootstrap.py -Uc rpm.cfg
bin/buildout -Uc rpm.cfg buildout:installed= \
   bootstrap:recipe=zc.rebootstrap

Je ne suis pas un expert de RPM, et de vrais experts en RPM auraient peut-être une contraction de l'estomac en voyant mon fichier de spec. RPM spécifie normalement plusieurs étapes de construction que j'ai contractées en une seule.

fichier de spec pour ZRS (3/3)

%post
cd $RPM_INSTALL_PREFIX/%{name}
%{python} bin/bootstrap -Uc rpmpost.cfg
bin/buildout -Uc rpmpost.cfg \
   buildout:offline=true buildout:find-links= buildout:installed= \
   mercury:name=%{name} mercury:recipe=buildoutmercury
chmod -R -w .

%preun
cd $RPM_INSTALL_PREFIX/%{name}
chmod -R +w .
find . -name \*.pyc | xargs rm -f

%files
%attr(-, root, root) /opt/%{name}
%attr(744, root, root) /etc/init.d/%{name}

On spécifie un script de post-installation qui:

On a un script de pré-désinstallation qui nettoie les fichiers « .pyc ».

On spécifie les fichiers à installer. Il s'agit juste du répertoire de buildout et d'un script de configuration.

Répétabilité

On veut avoir la possibilité d'intégrer une certaine configuration dans le svn puis d'être capable de l'extraire et de la reproduire..

Problèmes de déploiement

disponibilité de PyPI

Un problème particulièrement sensible est la disponibilité de PyPI. PyPI est parfois indisponible pendant quelques minutes ou même quelques heures. Ceci peut rendre buildout inutilisable.

Pour avoir plus d'informations

Consultez http://www.python.org/pypi/zc.buildout

Traduction basée sur la version SVN 82275 : Christophe Combelles <ccomb@free.fr>