fetch/wget.py: Fix wget fetching of urls with parameters specified (from Poky)

fetch/hg.py: Fix hg checkouts of specific revisions (from Poky)

[bb] Fix the tests by setting a debug level at start

In preparation for python3.0 make sure our test cases are working
again.

Fix rdepends in graphviz graph generation.

Signed-off-by: Roman Khimov <roman@khimov.ru>
Signed-off-by: Chris Larson <clarson@mvista.com>

bb.fetch.go: iterate over SRC_URI, not urldata.

urldata can contain urls other than just what's in SRC_URI.  The urls of
mirrors, premirrors, stashes, etc can end up in there as well, and we don't
want bb.fetch.go to be fetching those things directly.

Signed-off-by: Chris Larson <clarson@mvista.com>

bb.fetch.git: make empty host pass a file uri to git.

Signed-off-by: Tom Rini <trini@embeddedalley.com>
Signed-off-by: Chris Larson <clarson@mvista.com>

bb.fetch: make try_mirror go through the dispatcher rather than using wget directly.

Signed-off-by: Chris Larson <clarson@mvista.com>

Make the bbpath change for includes temporary rather than permanent.

We currently modify BBPATH so that an include/require looks in the current
working directory before it looks elsewhere.  Modifying it permanently
doesn't gain anything, just polluting it with locations that don't need to
stay there.

Signed-off-by: Chris Larson <clarson@mvista.com>

BBMASK: survive a non-existant path and don't keep the dir after globbing.

Signed-off-by: Chris Larson <clarson@mvista.com>

BBPKGS: act as a default that can be overridden via the cmdline.

Signed-off-by: Chris Larson <clarson@mvista.com>

Clean up by Otavio Salvador

cache.py: Fix whitespace damage

cache.py: Simplfy logic (from Poky)

BBHandler: Move handler finalisation code into a separate function

utils.py: Add bb.utils.prune_suffix function

Tag BitBake 1.8.12 (update versions, MANIFEST, ChangeLog)

utils.py: Add empty_environment() function and call this from the cooker instead of hiding in data.py (from Poky)

fetch/__init__.py: export more variables to the fetcher commands to allow ssh checkouts and checkouts through proxies to work better. Also allow user and pswd options in urls globally and improve proxy handling when using mirrors (from Poky)

cooker.py: Update to improve handling of the trytaltconfigs option (from Poky)

wget.py: Add support for HTTP_PROXY and HTTP_PROXY_IGNORE variables to the wget fetcher

utils.py: Add clean_environment() function and call where appropriate (from Poky)

BBHandler: Improve file not fuond error message

git.py: Add username handling to the git fetcher (Robert Bragg from Poky)

utils.py: Improve lock file function error handling (from Poky)

providers.py: Fix typos and add some further debug which can occassionaly be useful for debugging problems

Add tryaltconfigs option to control whether bitbake trys using alternative providers to fulfil failed dependencies. It defaults to off, changing the default since this behaviour confuses many users and isn't often useful (from Poky).

When SRCREV autorevisioning for a recipe is in use, don't cache the recipe (from Poky)

Add osc fetcher (from Joshua Lock in Poky)

[svn] Add @rev to svn checkout command

Patch by borgcube@gmx.li

Svn tries to be smart about revisions. So, when you check out an older revision of a file it goes to the latest revision (HEAD) and tries to go back to the old file. In this case it was impossible, since the whole thing was moved outside of svn's scope, so svn can't find the file in the HEAD revision.

Svn treats this situation as an exception and provides the "peg-revision"-syntax for that. So where you would normally do
svn co -r1337 http://url/to/somewhere/module module

you would now have to do
svn co -r1337 http://url/to/somewhere/module@1337 module,
the @1337 telling svn to go start looking at revision 1337 instead of HEAD.

taskdata: improved error message when BitBake is called with not existing target

cache: not existing cache file is not out of date

fetch/hg.py: Properly format the command if the user URI parameter is empty.

runqueue.py: Fix nostamp flag handling (from Poky)

[fetch] Always add PN to the _revision_key we get from the fetcher
    This is extending r1101 to always append something to the
    _revision_key of the fetcher. alphaone spotted that it was missing
    for the latest_revision case.

[git] Do not run git-rev-list everytime to increase the speed
    Cache the result of git-rev-list for a repo and hash. This
    speeds up do_package of the linux kernel tremendously.

[git] Optionally use git-rev-list to get a sortable revision
    With setting BB_GIT_CLONE_FOR_SRCREV="1" you can get a sensible
    and global (per repository with only fast forwards) revision. The downsides
    are you will have to have a repository at parse time which means you will
    git-clone certain trees you don't even use. This is also the reason why
    this is optional. This also means you might need to download your git
    checkouts to get this feature working.

[git] Do not git-fetch if we already have the rev we want
    When not having internet do not fail on a not needed git-fetch

[git] Disable downloading of checkouts.
    Instead of calling try_mirror check if we have a local checkout
    already. This code fetched a new checkout even if you had a local
    repository which is rather bad if you don't have internet but a full
    repository. And the overhead of a full checkout vs. repository is not
    too big anyway.

Allow to conditionally implement sortable revision in the fetcher

Make the revision key unique by adding the PN
    If two different recipes (e.g. linux-openmoko and linux-openmoko-devel)
    use the same git repository but with different SRCREVs the count just
    incremented on each parsing. By adding PN to the key we keep the count on
    a per package level. Spotted by Graeme.

[bb.utils] Make prunedir cope with symlinks to directories

2008-10-07  Julian Chu  <Julian_Chu@openmoko.com>

        Reviewed by Holger.

        The packagekit git repository contains a symlink and on fetching the
        pruning failed as "packagekit" is not a directory but a symlink to a
        directory.

        * lib/bb/utils.py:

fetch/perforce.py: Fix to use commandline options instead of being overriden by the environment from Martyn Welch

utils.py: Fix error message (from Joshua Lock)

bin/bitbake: Add better environmental variable handling. By default it will now only pass certain whitelisted variables into the data store. If BB_PRESERVE_ENV is set bitbake will use all variable from the environment. If BB_ENV_WHITELIST is set, that whitelist will be used instead of the internal bitbake one. Alternatively, BB_ENV_EXTRAWHITE can be used to extend the internal whitelist.

cooker.py: Add parseConfiguration() function and move inheritFromOS call outside the parser and into cooker

cooker.py: Rename __depends to __base_depends after configuration parsing so we don't recheck the validity of the config files time after time. Also bump the cache revision to match the format change (from poky)

AUTHORS: update my email address

parse/__init__.py: Fix missing update_mtime function causing shell reparsing breakage (from poky)

providers.py: Fix PACKAGES_DYNAMIC handling of packages with '++' in the name (from poky)

BBHandler.py: Backport a small optimisation in PATH handling from trunk

fetch/hg.py: Fix hg fetcher username/password handling and fix crash

fetch/__init__.py: Raise an exception if SRCREV == 'INVALID' (from Poky)

utils.py:  Move prunedir function to utils.py and add explode_dep_versions function

[cvs] Allow to checkout by date and time
    With putting YYYYYMMDDHHmm into the SRCDATE bitbake will checkout
    using "-D YYYYMMDD HH:mm UTC". Be careful when you switch from SRCDATE
    with time and without to always get updatable packages.

providers.py: Fix indentation errors

providers.py: When a regexp fails to compile for PACKAGES_DYNAMIC, print a more useful error (#4444)

Revert the '-' character fix in class names since it breaks things

build.py: Make sure expandKeys has been called on the data dictonary before running tasks fixing various strange issues (from poky). Correctly add a task override in the form task-TASKNAME which whilst a change in behaviour shouldn't matter since the original approach didn't work at all

manuals: Add missing options documentation (thanks to zecke for noticing and the patch)

BBHandler.py: Correctly handle '-' characters in class names (#2958)

cooker.py: Make sure Build Completed events are generated even when tasks fail

utils.py:  Add md5 and sha256 checksum generation functions from Ross Burton (via Poky)

Allow to store the PersistData in a PERSISTENT_DIR.

If PERSISTENT_DIR is used wiping the tmpdir will not wipe the PersistData
which sometines is wanted (e.g. for git SRCREVs).

Acked-By: Richard

runqueue.py: Add bb.runqueue.check_stamp_fn() for use by packaged-staging, also improve check_stamp_task debug output

runqueue/taskdata.py: Make sure recrdeps tasks include all inter-task dependencies of a given fn

runqueue.py: Flush stdout/stderr before forking to fix duplicate console output

providers.py: No longer weight providers on the basis of a package being "already staged". This leads to builds being non-deterministic.

runqueue.py: Fix default whitelist variable value

runqueue.py: Add BB_STAMP_WHITELIST option which contains a list of stamps to ignore when checking stamp dependencies and using a BB_STAMP_POLICY of 'whitelist'. Useful for packaged-staging

providers.py: Improve runtime PREFERRED_PROVIDERS warning messages to be more user friendly

fetchers: Tweak the new checkstatus code to handle some corner cases better

lib/bb/fetch: Add ability to fetchers to check URL validity without downloading

Patch from John Lee to always use UTC time for checking out files.

I would suggest set cvs fetch in bitbake to always use UTC+0 for this
matter and we set the min and max date according to UTC+0 instead of
our own timezone.  Enclosed please find the patch to the bitbake 1.8
branch.

Pretty sane.

fetch/__init__.py: Improve runfetchcmd so errors are seen and various GIT variables are exported

fetch/cvs.py Add proxy support to CVS fetcher (patch from Cyril Chemparathy/Poky)

cache.py: Fix a bug where changed files weren't getting spotted and an invalid cache was being used

git.py:  Work around refs/HEAD issues with git over http (fixes #3410)

cache.py: Ignore cache load errors and always just rebuild

cache.py: Improve the way various data structures are handled to speed up the hot cache data path

cooker.py: Fix a typo breaking -b -c -f combiantion of options

runqueue.py: Fix problems with recrdeptask handling where some idepends weren't handled correctly

runqueue.py: Switch to check_stamp code since its simpler than check_stamps and accounts for tasks which adjust other stamps in the system such as packaged staging. The drawback is we can't 'accelerate' task numbers to get an accurate idea of how many tasks will run

runqueue.py: Fix check_stamps function

1.8.x/cooker: backport -f and -b fix from trunk

taskdata.py: When handling build target failures make sure idepends are checked and failed where needed. Fixes --continue mode crashes.

cache.py: Bump the cache version since digraph was removed and mayb still be present in old cache files

build.py: Fix task variable expansion issue

runqueue.py: Add BB_SCHEDULER and BB_STAMP_POLICY variables

runqueue.py: Fix recursive looping issue

fetch/__init__.py: Make fetcher timestamp updating non-fatal when permissions don't allow updates

Remove digraph and switch to new stamp checking code.

Convert -b option to use taskdata/runqueue

runqueue.py: Add StampUpdate event

shell.py: Update to use cooker.buildFile()

utils.py: Tweak explode_deps function to remove unused manipulation

build.py: Remove uneeded mkdirhiercall

build.py: Convert exec_task to use getVarFlags

cooker:Remove a debug message from the parsing loop to lower overhead

cache: Optmise cache handling by more quickly detecting an invalid cache, only saving the cache when its changed, moving the cache validity check into the parsing loop and factoring some getVar calls outside a for loop.

data_smart: Fix getVarFlags bug in data_smart