bitbake/fetch2/git: Fix broken variable reference
[bitbake.git] / lib / bb / fetch2 / git.py
1 # ex:ts=4:sw=4:sts=4:et
2 # -*- tab-width: 4; c-basic-offset: 4; indent-tabs-mode: nil -*-
3 """
4 BitBake 'Fetch' git implementation
5
6 """
7
8 #Copyright (C) 2005 Richard Purdie
9 #
10 # This program is free software; you can redistribute it and/or modify
11 # it under the terms of the GNU General Public License version 2 as
12 # published by the Free Software Foundation.
13 #
14 # This program is distributed in the hope that it will be useful,
15 # but WITHOUT ANY WARRANTY; without even the implied warranty of
16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17 # GNU General Public License for more details.
18 #
19 # You should have received a copy of the GNU General Public License along
20 # with this program; if not, write to the Free Software Foundation, Inc.,
21 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
22
23 import os
24 import bb
25 from   bb    import data
26 from   bb.fetch2 import FetchMethod
27 from   bb.fetch2 import runfetchcmd
28 from   bb.fetch2 import logger
29
30 class Git(FetchMethod):
31     """Class to fetch a module or modules from git repositories"""
32     def init(self, d):
33         #
34         # Only enable _sortable revision if the key is set
35         #
36         if bb.data.getVar("BB_GIT_CLONE_FOR_SRCREV", d, True):
37             self._sortable_buildindex = self._sortable_buildindex_disabled
38     def supports(self, url, ud, d):
39         """
40         Check to see if a given url can be fetched with git.
41         """
42         return ud.type in ['git']
43
44     def urldata_init(self, ud, d):
45         """
46         init git specific variable within url data
47         so that the git method like latest_revision() can work
48         """
49         if 'protocol' in ud.parm:
50             ud.proto = ud.parm['protocol']
51         elif not ud.host:
52             ud.proto = 'file'
53         else:
54             ud.proto = "rsync"
55
56         ud.nocheckout = False
57         if 'nocheckout' in ud.parm:
58             ud.nocheckout = True
59
60         branches = ud.parm.get("branch", "master").split(',')
61         if len(branches) != len(ud.names):
62             raise bb.fetch2.ParameterError("The number of name and branch parameters is not balanced", ud.url)
63         ud.branches = {}
64         for name in ud.names:
65             branch = branches[ud.names.index(name)]
66             ud.branches[name] = branch
67
68         gitsrcname = '%s%s' % (ud.host, ud.path.replace('/', '.'))
69         ud.mirrortarball = 'git2_%s.tar.gz' % (gitsrcname)
70         ud.clonedir = os.path.join(data.expand('${GITDIR}', d), gitsrcname)
71
72         ud.basecmd = data.getVar("FETCHCMD_git", d, True) or "git"
73
74         for name in ud.names:
75             # Ensure anything that doesn't look like a sha256 checksum/revision is translated into one
76             if not ud.revisions[name] or len(ud.revisions[name]) != 40  or (False in [c in "abcdef0123456789" for c in ud.revisions[name]]):
77                 ud.revisions[name] = self.latest_revision(ud.url, ud, d, name)
78
79         ud.localfile = ud.clonedir
80
81     def localpath(self, url, ud, d):
82         return ud.clonedir
83
84     def need_update(self, u, ud, d):
85         if not os.path.exists(ud.clonedir):
86             return True
87         os.chdir(ud.clonedir)
88         for name in ud.names:
89             if not self._contains_ref(ud.revisions[name], d):
90                 return True
91         return False
92
93     def try_premirror(self, u, ud, d):
94         # If we don't do this, updating an existing checkout with only premirrors
95         # is not possible
96         if bb.data.getVar("BB_FETCH_PREMIRRORONLY", d, True) is not None:
97             return True
98         if os.path.exists(ud.clonedir):
99             return False
100         return True
101
102     def download(self, loc, ud, d):
103         """Fetch url"""
104
105         if ud.user:
106             username = ud.user + '@'
107         else:
108             username = ""
109
110         repofile = os.path.join(data.getVar("DL_DIR", d, True), ud.mirrortarball)
111
112         ud.repochanged = not os.path.exists(repofile)
113
114         # If the checkout doesn't exist and the mirror tarball does, extract it
115         if not os.path.exists(ud.clonedir) and os.path.exists(repofile):
116             bb.mkdirhier(ud.clonedir)
117             os.chdir(ud.clonedir)
118             runfetchcmd("tar -xzf %s" % (repofile), d)
119
120         # If the repo still doesn't exist, fallback to cloning it
121         if not os.path.exists(ud.clonedir):
122             bb.fetch2.check_network_access(d, "git clone --bare %s%s" % (ud.host, ud.path))
123             runfetchcmd("%s clone --bare %s://%s%s%s %s" % (ud.basecmd, ud.proto, username, ud.host, ud.path, ud.clonedir), d)
124
125         os.chdir(ud.clonedir)
126         # Update the checkout if needed
127         needupdate = False
128         for name in ud.names:
129             if not self._contains_ref(ud.revisions[name], d):
130                 needupdate = True
131         if needupdate:
132             bb.fetch2.check_network_access(d, "git fetch %s%s" % (ud.host, ud.path))
133             try: 
134                 runfetchcmd("%s remote prune origin" % ud.basecmd, d) 
135                 runfetchcmd("%s remote rm origin" % ud.basecmd, d) 
136             except bb.fetch2.FetchError:
137                 logger.debug(1, "No Origin")
138             
139             runfetchcmd("%s remote add origin %s://%s%s%s" % (ud.basecmd, ud.proto, username, ud.host, ud.path), d)
140             runfetchcmd("%s fetch --all -t" % ud.basecmd, d)
141             runfetchcmd("%s prune-packed" % ud.basecmd, d)
142             runfetchcmd("%s pack-redundant --all | xargs -r rm" % ud.basecmd, d)
143             ud.repochanged = True
144
145     def build_mirror_data(self, url, ud, d):
146         # Generate a mirror tarball if needed
147         repofile = os.path.join(data.getVar("DL_DIR", d, True), ud.mirrortarball)
148
149         os.chdir(ud.clonedir)
150         mirror_tarballs = data.getVar("BB_GENERATE_MIRROR_TARBALLS", d, True)
151         if mirror_tarballs != "0" and ud.repochanged:
152             logger.info("Creating tarball of git repository")
153             runfetchcmd("tar -czf %s %s" % (repofile, os.path.join(".") ), d)
154
155     def unpack(self, ud, destdir, d):
156         """ unpack the downloaded src to destdir"""
157
158         subdir = ud.parm.get("subpath", "")
159         if subdir != "":
160             readpathspec = ":%s" % (subdir)
161         else:
162             readpathspec = ""
163
164         destdir = os.path.join(destdir, "git/")
165         if os.path.exists(destdir):
166             bb.utils.prunedir(destdir)
167
168         runfetchcmd("git clone -s -n %s %s" % (ud.clonedir, destdir), d)
169         if not ud.nocheckout:
170             os.chdir(destdir)
171             runfetchcmd("%s read-tree %s%s" % (ud.basecmd, ud.revisions[ud.names[0]], readpathspec), d)
172             runfetchcmd("%s checkout-index -q -f -a" % ud.basecmd, d)
173         return True
174
175     def supports_srcrev(self):
176         return True
177
178     def _contains_ref(self, tag, d):
179         basecmd = data.getVar("FETCHCMD_git", d, True) or "git"
180         output = runfetchcmd("%s log --pretty=oneline -n 1 %s -- 2> /dev/null | wc -l" % (basecmd, tag), d, quiet=True)
181         return output.split()[0] != "0"
182
183     def _revision_key(self, url, ud, d, name):
184         """
185         Return a unique key for the url
186         """
187         return "git:" + ud.host + ud.path.replace('/', '.') + ud.branches[name]
188
189     def _latest_revision(self, url, ud, d, name):
190         """
191         Compute the HEAD revision for the url
192         """
193         if ud.user:
194             username = ud.user + '@'
195         else:
196             username = ""
197
198         bb.fetch2.check_network_access(d, "git ls-remote %s%s %s" % (ud.host, ud.path, ud.branches[name]))
199         basecmd = data.getVar("FETCHCMD_git", d, True) or "git"
200         cmd = "%s ls-remote %s://%s%s%s %s" % (basecmd, ud.proto, username, ud.host, ud.path, ud.branches[name])
201         output = runfetchcmd(cmd, d, True)
202         if not output:
203             raise bb.fetch2.FetchError("The command %s gave empty output unexpectedly" % cmd, url)
204         return output.split()[0]
205
206     def _build_revision(self, url, ud, d, name):
207         return ud.revisions[name]
208
209     def _sortable_buildindex_disabled(self, url, ud, d, rev):
210         """
211         Return a suitable buildindex for the revision specified. This is done by counting revisions
212         using "git rev-list" which may or may not work in different circumstances.
213         """
214
215         cwd = os.getcwd()
216
217         # Check if we have the rev already
218
219         if not os.path.exists(ud.clonedir):
220             print("no repo")
221             self.download(None, ud, d)
222             if not os.path.exists(ud.clonedir):
223                 logger.error("GIT repository for %s doesn't exist in %s, cannot get sortable buildnumber, using old value", url, ud.clonedir)
224                 return None
225
226
227         os.chdir(ud.clonedir)
228         if not self._contains_ref(rev, d):
229             self.download(None, ud, d)
230
231         output = runfetchcmd("%s rev-list %s -- 2> /dev/null | wc -l" % (ud.basecmd, rev), d, quiet=True)
232         os.chdir(cwd)
233
234         buildindex = "%s" % output.split()[0]
235         logger.debug(1, "GIT repository for %s in %s is returning %s revisions in rev-list before %s", url, ud.clonedir, buildindex, rev)
236         return buildindex