[parser] Prepare to cease out getFunc

getFunc is now a method of the data node, hopefully we can kill the other
version soon.

[parser] Preserve include vs. require behaviour

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

[parser] Firs set of AST nodes with construction and eval

First set of ConfHandling with AST nodes. The include can
use a speed up and things might need to be migrated... into
this class.

[parser] Add documentation about usage of this code

[parser] Move the finalise into the ast as well

[parser] Cary a Statement Node through the parsing

When parsing we will collect a number of statements
that can be evaluated...The plan is to be evaluate
things twice (old+new) and then compare the result,
it should be the same.

[parser] Move evaluating into the ast class...

providers.py: sort eligible providers by DEFAULT_PREFERENCE

Signed-off-by: Bernhard Reutner-Fischer <rep.dot.nop@gmail.com>

runqueue.py: improve printing dependent tasks

Print names instead of Task-IDs (and not mentioning they're task ids).

Previously we printed e.g.:
Dependency loop #1 found:
  Task 89 (/there/src/oe/openembedded/recipes/busybox/busybox-native_1.15.2.bb, do_configure) (depends: Set([88, 282, 92, 87]))

Now we say
Dependency loop #1 found:
  Task 89 (/there/src/oe/openembedded/recipes/busybox/busybox-native_1.15.2.bb, do_configure) (dependent Task-IDs ['busybox-native, do_patch', 'update-rc.d, do_populate_staging', 'busybox-native, do_populate_staging', 'shasum-native.bb, do_populate_staging', 'busybox-native, do_unpack'])

Signed-off-by: Bernhard Reutner-Fischer <rep.dot.nop@gmail.com>

taskdata.py: fix typo in debug message

Signed-off-by: Bernhard Reutner-Fischer <rep.dot.nop@gmail.com>

providers.py: commentary typo fix

Signed-off-by: Bernhard Reutner-Fischer <rep.dot.nop@gmail.com>

build.py: No need for this gross hack now (from Poky)

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

BBHandler: pass lineno and fn to handleMethod

* lineno and fn are needed in handleMethod
  to restore the functionality as it was before.

Signed-off-by: Khem Raj <raj.khem@gmail.com>
Signed-off-by: Chris Larson <clarson@kergoth.com>

bitbake: Don't import xmlrpc server unless needed

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

setup.py: remove removed bbimage from installed scripts

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

parse_py/ConfHandler.py: missing colon after else

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

bin/bitbake: Add import server

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

cooker: Drop unneeded import

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

bbimage: Drop, nobody should be using that now as its pointless

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

bitbake: Fix UI failure exception handling with python 2.6

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

knotty: Improve task failure message handling using the uihelper code

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

runqueue.py: Use fcntl to make the worker pipes non-blocking

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

contrib/vim: Update with the changes from Ricardo Salveti and other fixes.

Signed-off-by: Khem Raj <raj.khem@gmail.com>
Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

bitbake/event: If the server disappears, we just exit too

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

runqueue: When a task fails, make sure the server still processes events from other workers

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

ConfHandler: Fix require vs. include behaviour

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

[parser] Move more stuff out the feeder

[parse] Move inherit handling to method

[parsers] Move out more functions

[parser] Move more stuff out to separate methods...

[parser] Move the handling of a method to a function

We want to convert this into a proper AST. So move all
such operations to methods... Later change them to generate
a node... and create that node from here.

[parse] Unify opening a file...

[parser] Kill obtain/localpath from the parser

With obtain it was possible to use an existing fetcher to
download a bb or config file. In practive no one has used it
and it was likely broken in regard to depends_cache... Remove
it for now, simplfiy the code.

usermanual.xml: Add section for ?= var setting.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Fix bb.plain and bb.warn function, initial patch from Petri Lehtinen <petri.lehtinen+bitbake-dev@inoi.fi>

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

git: remove repodir usage after 57b3a9a86bf8c6940187c6a899cedbbbb484884a

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

runqueue: Fix typo

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Improve BBCLASSEXTEND handling for skipped packages and report better parsing statistics

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

taskdata: Improve error message if incorrectly formatted tasks are found (from poky)

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

data_smart.py: Fix error where update-rc.d would not get added to the dependency tree (from Poky)

If there was a variable such as:

X_${Y}_append = "Z" The "Z" would be lost if X_${Y} was unset. This was due to a bug in the renameVar
function used by expandKeys().

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

BBHandler: Only add do_ prefix to tasks if its not already present (from Poky)

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

providers: Apply modified version of a patch from Martin Jansa <martin.jansa@gmail.com> to allow wildcards at the end of PREFERRED_VERSION strings

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Drop version requirement to 2.5 apart from XMLRPC mode

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

fetch: Add GIT_PROXY_COMMAND to runfetchcmd function

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

bitdoc: Fixup against recent core changes

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

runqueue.py: Improve IPC between worker threads and the server allowing proper event handling

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

ui: Convert remaining event handlers to use isinstance

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

event.py: Convert to using pickle for events and isinstance in knotty UI handler

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

server/xmlrpc: Fix idle timeout handling and missing parameter

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

event.py: Drop unused events

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

event.py: Pass the datastore to the fire command, don't build it into events

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

server: Improve idle handling timeouts

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Add none server type to avoid xmlrpc in the default case

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Merge branch 'contrib-rday' of ssh://git@git.openembedded.net/bitbake

Conflicts:
doc/bitbake.1

Fix a couple copy-and-paste errors in fetcher comments.

"pserver" is not a valid type for a CVS fetch, it's now a possible
method instead.  This just gets rid of a historical holdover.

Fix an obvious copy-and-paste error in the documentation for a
local fetch, and remove the option for a "patch" type URL, since
patches use a "file" type URL.

Fix a number of obvious documentation typoes.

Remove the now-obsolete reference to "bbread".

Fix typoes

Correct a number of misspellings of "seperate".

Signed-off-by: Robert P. J. Day <rpjday@crashcourse.ca>

Solidify server class creation

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

.gitignore: Ignore backup files

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Move xmlrpcserver.py into lib/bb/server as xmlrpc.py

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

fetch: Clean up debug

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Enable --ignore-deps options to access regular expression string

1. Add a function named re_match_strings(target,strings), to match
   target using the string in strings which can be regular expression

git: Allow fetching a single subdirectory from a git repository

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

fetch/__init__.py: Remove uneeded debug

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

git.py: Trap empty return values and error (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

fetch/git.py: Add fullclone parameter to allow WORKDIRs to contain full git repositories (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

fetch/git.py: Move variable init into the localpath function

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

cooker.py: Fix variable name: targets doesn't exist, should be item

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

fetch/git.py: BB_GIT_CLONE_FOR_SRCREV updates

Based on a patch from Martin Jansa <Martin.Jansa@gmail.com>:

* Add a _sortable_buildindex attribute and return the index separate from
  the revision
* This means the git.py internal cache is no longer needed
* Adds the returned value to the cache so if the mechanism for
  selecting the index changes, the values increase.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

fetch/__init__.py: Replace _sortable_revision_valid attribute with an init call for fetchers to clean up logic

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Optional LOCALCOUNT for recipe

* Instead of autoincrement from persistent cache when srcrev is changed.
* Should be used by distributions with multiple builders, where consistent
  PV is needed.
* Can be used instead of PR bump in PVs like this "0.0+${PR}+gitr${SRCPV}"
* BB_LOCALCOUNT_OVERRIDE to enable setting LOCALCOUNT for recipe
* This way LOCALCOUNTs can be specified directly in recipes instead of
  separated distro config (as not all want to use them). And will be
  used only when BB_LOCALCOUNT_OVERRIDE set in distro config.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

utils.py: add special handling for version delimiters

Make version comparison work properly for pre-releases and release-candidates,
when there is an extra suffix in the field, such as:
PV = "2.6.29+2.6.30-rc5-${PR}+gitr${SRCREV}"

More details: http://thread.gmane.org/gmane.comp.handhelds.openembedded/26691

Signed-off-by: Denys Dmytriyenko <denis@denix.org>
Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

fetch/__init__.py: Allow SRC_URI to be overridden in fetcher go() function

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

providers.py: Fix package sorting order to reflect priorities

I found that the code that sorts packages does not respect the priority
order.

By iterating over sortpkg_pn.keys() instead of pkg_pn.keys(), it
produces the expected order based on the priorities I have set.

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

git.py: Search mirrors for tarballs before fetching, not just local directories

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

fetch/__init__.py: Try and make the sortable_revision code mode readable

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

BBHandler.py: Use exec_func, not exec_func_python

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

Improve anonymous python function handling sp functions use the methodpool and are no longer concatenated

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

fetch/svk: Fix up breakage. Evidently nobody uses svk

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

build.py: Make sure the logfile exists before checking its size. Previously this broke upon recursive calls.

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

Add hg fetcher auto revisioning, patch from Carl Simonson <simonsonc@gmail.com>

Signed-off-by: Richard Purdie <rpurdie@linux.intel.com>

fetch/__init__.py: Fix a bug where errors could corrupt bitbake internal state wrt SRCREVINACTION (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

fetch/__init__.py: Remove hardcoded use of SRC_URI - OE.dev was adjusted for this a long time ago (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

BBHandler: Drop unused internal __functions__ variable

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

knotty: Add new event from compare reivions code

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

build.py: Optimisation to remove zero sized log files (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

runqueue.py: Small optimisation in set creation removing an update call (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

cache.py: Add check for leakage of SRCREVINACTION variable (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

Add a compare-versions command which returns whether the SRCREV versions have changed since bitbake was last run (from Poky)

Signed-off-by: Richard Purdie <rpurdie@rpsys.net>

shell: Add install command

Add an install command similiar to the other existing commands.

Signed-off-by: Holger Hans Peter Freyther <zecke@selfish.org>

cache: only invalidate for non-existent depends if they used to exist.

Previously, if a file listed in the cached __depends did not exist, it would
always invalidate the cache.  Now it only does so if the cached version
existed, and the current does not.  In this way, we can support storing
entries in __depends for files which may or may not exist, and ensure that
creating such a file results in cache invalidation.  Specifically, this is for
the amend.inc implementation.

Signed-off-by: Chris Larson <clarson@mvista.com>

Only print python exception tracebacks if debugging is enabled.

Uses sys.excepthook to replace the toplevel exception handler with a version
that obeys the debug level of the 'default' messaging domain.  A non-zero
value there will result in displaying the full traceback.

Signed-off-by: Chris Larson <clarson@mvista.com>

Add a RecipeParsed event, which can be used as an alternative to anonymous functions.

Signed-off-by: Chris Larson <clarson@mvista.com>

daemonize: Kill the forcing of umask to 0 in our children.

It forces the daemon umask to the module level UMASK variable, which defaults
to 0, so the bitbake daemons end up with a umask of 0.  Fixed by setting UMASK
to None and making it only run umask when it's not None, so our children will
inherit the parent umask

Signed-off-by: Chris Larson <clarson@mvista.com>

Initial switch from distutils to setuptools.

Signed-off-by: Chris Larson <clarson@kergoth.com>

AUTHORS: update my email