bitbake: Unbuffer stdout for log files
[bitbake.git] / bin / bitbake
1 #!/usr/bin/env python
2 # ex:ts=4:sw=4:sts=4:et
3 # -*- tab-width: 4; c-basic-offset: 4; indent-tabs-mode: nil -*-
4 #
5 # Copyright (C) 2003, 2004  Chris Larson
6 # Copyright (C) 2003, 2004  Phil Blundell
7 # Copyright (C) 2003 - 2005 Michael 'Mickey' Lauer
8 # Copyright (C) 2005        Holger Hans Peter Freyther
9 # Copyright (C) 2005        ROAD GmbH
10 # Copyright (C) 2006        Richard Purdie
11 #
12 # This program is free software; you can redistribute it and/or modify
13 # it under the terms of the GNU General Public License version 2 as
14 # published by the Free Software Foundation.
15 #
16 # This program is distributed in the hope that it will be useful,
17 # but WITHOUT ANY WARRANTY; without even the implied warranty of
18 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 # GNU General Public License for more details.
20 #
21 # You should have received a copy of the GNU General Public License along
22 # with this program; if not, write to the Free Software Foundation, Inc.,
23 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
24
25 import os
26 import sys, logging
27 sys.path.insert(0, os.path.join(os.path.dirname(os.path.dirname(__file__)),
28                                 'lib'))
29
30 import optparse
31 import warnings
32 from traceback import format_exception
33 try:
34     import bb
35 except RuntimeError as exc:
36     sys.exit(str(exc))
37 from bb import event
38 import bb.msg
39 from bb import cooker
40 from bb import ui
41 from bb import server
42
43 __version__ = "1.15.3"
44 logger = logging.getLogger("BitBake")
45
46 # Unbuffer stdout to avoid log truncation in the event
47 # of an unorderly exit as well as to provide timely
48 # updates to log files for use with tail
49 try:
50     if sys.stdout.name == '<stdout>':
51         sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', 0)
52 except:
53     pass
54
55 class BBConfiguration(object):
56     """
57     Manages build options and configurations for one run
58     """
59
60     def __init__(self, options):
61         for key, val in options.__dict__.items():
62             setattr(self, key, val)
63         self.pkgs_to_build = []
64
65
66 def get_ui(config):
67     if not config.ui:
68         # modify 'ui' attribute because it is also read by cooker
69         config.ui = os.environ.get('BITBAKE_UI', 'knotty')
70
71     interface = config.ui
72
73     try:
74         # Dynamically load the UI based on the ui name. Although we
75         # suggest a fixed set this allows you to have flexibility in which
76         # ones are available.
77         module = __import__("bb.ui", fromlist = [interface])
78         return getattr(module, interface).main
79     except AttributeError:
80         sys.exit("FATAL: Invalid user interface '%s' specified.\n"
81                  "Valid interfaces: depexp, goggle, ncurses, hob, knotty [default]." % interface)
82
83
84 # Display bitbake/OE warnings via the BitBake.Warnings logger, ignoring others"""
85 warnlog = logging.getLogger("BitBake.Warnings")
86 _warnings_showwarning = warnings.showwarning
87 def _showwarning(message, category, filename, lineno, file=None, line=None):
88     if file is not None:
89         if _warnings_showwarning is not None:
90             _warnings_showwarning(message, category, filename, lineno, file, line)
91     else:
92         s = warnings.formatwarning(message, category, filename, lineno)
93         warnlog.warn(s)
94
95 warnings.showwarning = _showwarning
96 warnings.filterwarnings("ignore")
97 warnings.filterwarnings("default", module="(<string>$|(oe|bb)\.)")
98 warnings.filterwarnings("ignore", category=PendingDeprecationWarning)
99 warnings.filterwarnings("ignore", category=ImportWarning)
100 warnings.filterwarnings("ignore", category=DeprecationWarning, module="<string>$")
101 warnings.filterwarnings("ignore", message="With-statements now directly support multiple context managers")
102
103
104 def main():
105     parser = optparse.OptionParser(
106         version = "BitBake Build Tool Core version %s, %%prog version %s" % (bb.__version__, __version__),
107         usage = """%prog [options] [package ...]
108
109 Executes the specified task (default is 'build') for a given set of BitBake files.
110 It expects that BBFILES is defined, which is a space separated list of files to
111 be executed.  BBFILES does support wildcards.
112 Default BBFILES are the .bb files in the current directory.""")
113
114     parser.add_option("-b", "--buildfile", help = "execute the task against this .bb file, rather than a package from BBFILES. Does not handle any dependencies.",
115                action = "store", dest = "buildfile", default = None)
116
117     parser.add_option("-k", "--continue", help = "continue as much as possible after an error. While the target that failed, and those that depend on it, cannot be remade, the other dependencies of these targets can be processed all the same.",
118                action = "store_false", dest = "abort", default = True)
119
120     parser.add_option("-a", "--tryaltconfigs", help = "continue with builds by trying to use alternative providers where possible.",
121                action = "store_true", dest = "tryaltconfigs", default = False)
122
123     parser.add_option("-f", "--force", help = "force run of specified cmd, regardless of stamp status",
124                action = "store_true", dest = "force", default = False)
125
126     parser.add_option("-c", "--cmd", help = "Specify task to execute. Note that this only executes the specified task for the providee and the packages it depends on, i.e. 'compile' does not implicitly call stage for the dependencies (IOW: use only if you know what you are doing). Depending on the base.bbclass a listtasks tasks is defined and will show available tasks",
127                action = "store", dest = "cmd")
128
129     parser.add_option("-C", "--clear-stamp", help = "Invalidate the stamp for the specified cmd such as 'compile' and run the default task for the specified target(s)",
130                 action = "store", dest = "invalidate_stamp")
131
132     parser.add_option("-r", "--read", help = "read the specified file before bitbake.conf",
133                action = "append", dest = "prefile", default = [])
134
135     parser.add_option("-R", "--postread", help = "read the specified file after bitbake.conf",
136                       action = "append", dest = "postfile", default = [])
137
138     parser.add_option("-v", "--verbose", help = "output more chit-chat to the terminal",
139                action = "store_true", dest = "verbose", default = False)
140
141     parser.add_option("-D", "--debug", help = "Increase the debug level. You can specify this more than once.",
142                action = "count", dest="debug", default = 0)
143
144     parser.add_option("-n", "--dry-run", help = "don't execute, just go through the motions",
145                action = "store_true", dest = "dry_run", default = False)
146
147     parser.add_option("-S", "--dump-signatures", help = "don't execute, just dump out the signature construction information",
148                action = "store_true", dest = "dump_signatures", default = False)
149
150     parser.add_option("-p", "--parse-only", help = "quit after parsing the BB files (developers only)",
151                action = "store_true", dest = "parse_only", default = False)
152
153     parser.add_option("-s", "--show-versions", help = "show current and preferred versions of all recipes",
154                action = "store_true", dest = "show_versions", default = False)
155
156     parser.add_option("-e", "--environment", help = "show the global or per-package environment (this is what used to be bbread)",
157                action = "store_true", dest = "show_environment", default = False)
158
159     parser.add_option("-g", "--graphviz", help = "emit the dependency trees of the specified packages in the dot syntax, and the pn-buildlist to show the build list",
160                 action = "store_true", dest = "dot_graph", default = False)
161
162     parser.add_option("-I", "--ignore-deps", help = """Assume these dependencies don't exist and are already provided (equivalent to ASSUME_PROVIDED). Useful to make dependency graphs more appealing""",
163                 action = "append", dest = "extra_assume_provided", default = [])
164
165     parser.add_option("-l", "--log-domains", help = """Show debug logging for the specified logging domains""",
166                 action = "append", dest = "debug_domains", default = [])
167
168     parser.add_option("-P", "--profile", help = "profile the command and print a report",
169                action = "store_true", dest = "profile", default = False)
170
171     parser.add_option("-u", "--ui", help = "userinterface to use",
172                action = "store", dest = "ui")
173
174     parser.add_option("-t", "--servertype", help = "Choose which server to use, none, process or xmlrpc",
175                action = "store", dest = "servertype")
176
177     parser.add_option("", "--revisions-changed", help = "Set the exit code depending on whether upstream floating revisions have changed or not",
178                action = "store_true", dest = "revisions_changed", default = False)
179
180     parser.add_option("", "--server-only", help = "Run bitbake without UI,  the frontend can connect with bitbake server itself",
181                action = "store_true", dest = "server_only", default = False)
182
183     parser.add_option("-B", "--bind", help = "The name/address for the bitbake server to bind to",
184                action = "store", dest = "bind", default = False)
185     parser.add_option("", "--no-setscene", help = "Do not run any setscene tasks, forces builds",
186                action = "store_true", dest = "nosetscene", default = False)
187     options, args = parser.parse_args(sys.argv)
188
189     configuration = BBConfiguration(options)
190     configuration.pkgs_to_build.extend(args[1:])
191
192     ui_main = get_ui(configuration)
193
194     # Server type can be xmlrpc, process or none currently, if nothing is specified,
195     # the default server is process
196     if configuration.servertype:
197         server_type = configuration.servertype
198     else:
199         server_type = 'process'
200
201     try:
202         module = __import__("bb.server", fromlist = [server_type])
203         server = getattr(module, server_type)
204     except AttributeError:
205         sys.exit("FATAL: Invalid server type '%s' specified.\n"
206                  "Valid interfaces: xmlrpc, process [default], none." % servertype)
207
208     if configuration.server_only:
209         if configuration.servertype != "xmlrpc":
210             sys.exit("FATAL: If '--server-only' is defined, we must set the servertype as 'xmlrpc'.\n")
211         if not configuration.bind:
212             sys.exit("FATAL: The '--server-only' option requires a name/address to bind to with the -B option.\n")
213
214     if configuration.bind and configuration.servertype != "xmlrpc":
215         sys.exit("FATAL: If '-B' or '--bind' is defined, we must set the servertype as 'xmlrpc'.\n")
216
217     # Save a logfile for cooker into the current working directory. When the
218     # server is daemonized this logfile will be truncated.
219     cooker_logfile = os.path.join(os.getcwd(), "cooker.log")
220
221     bb.msg.init_msgconfig(configuration.verbose, configuration.debug,
222                          configuration.debug_domains)
223
224     # Ensure logging messages get sent to the UI as events
225     handler = bb.event.LogHandler()
226     logger.addHandler(handler)
227
228     # Before we start modifying the environment we should take a pristine
229     # copy for possible later use
230     initialenv = os.environ.copy()
231     # Clear away any spurious environment variables. But don't wipe the
232     # environment totally. This is necessary to ensure the correct operation
233     # of the UIs (e.g. for DISPLAY, etc.)
234     bb.utils.clean_environment()
235
236     server = server.BitBakeServer()
237     if configuration.bind:
238         server.initServer((configuration.bind, 0))
239     else:
240         server.initServer()
241
242     idle = server.getServerIdleCB()
243
244     cooker = bb.cooker.BBCooker(configuration, idle, initialenv)
245     cooker.parseCommandLine()
246
247     server.addcooker(cooker)
248     server.saveConnectionDetails()
249     server.detach(cooker_logfile)
250
251     # Should no longer need to ever reference cooker
252     del cooker
253
254     logger.removeHandler(handler)
255
256     if not configuration.server_only:
257         # Setup a connection to the server (cooker)
258         server_connection = server.establishConnection()
259
260         try:
261             return server.launchUI(ui_main, server_connection.connection, server_connection.events)
262         finally:
263             bb.event.ui_queue = []
264             server_connection.terminate()
265     else:
266         print("server address: %s, server port: %s" % (server.serverinfo.host, server.serverinfo.port))
267
268     return 1
269
270 if __name__ == "__main__":
271     try:
272         ret = main()
273     except Exception:
274         ret = 1
275         import traceback
276         traceback.print_exc(5)
277     sys.exit(ret)
278