unify mirror support and make it independant of the fetcher
[bitbake.git] / lib / bb / fetch / git.py
1 # ex:ts=4:sw=4:sts=4:et
2 # -*- tab-width: 4; c-basic-offset: 4; indent-tabs-mode: nil -*-
3 """
4 BitBake 'Fetch' git implementation
5
6 """
7
8 #Copyright (C) 2005 Richard Purdie
9 #
10 # This program is free software; you can redistribute it and/or modify
11 # it under the terms of the GNU General Public License version 2 as
12 # published by the Free Software Foundation.
13 #
14 # This program is distributed in the hope that it will be useful,
15 # but WITHOUT ANY WARRANTY; without even the implied warranty of
16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17 # GNU General Public License for more details.
18 #
19 # You should have received a copy of the GNU General Public License along
20 # with this program; if not, write to the Free Software Foundation, Inc.,
21 # 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
22
23 import os
24 import bb
25 from   bb    import data
26 from   bb.fetch import Fetch
27 from   bb.fetch import runfetchcmd
28
29 class Git(Fetch):
30     """Class to fetch a module or modules from git repositories"""
31     def init(self, d):
32         #
33         # Only enable _sortable revision if the key is set
34         #
35         if bb.data.getVar("BB_GIT_CLONE_FOR_SRCREV", d, True):
36             self._sortable_buildindex = self._sortable_buildindex_disabled
37     def supports(self, url, ud, d):
38         """
39         Check to see if a given url can be fetched with git.
40         """
41         return ud.type in ['git']
42
43     def localpath(self, url, ud, d):
44
45         if 'protocol' in ud.parm:
46             ud.proto = ud.parm['protocol']
47         elif not ud.host:
48             ud.proto = 'file'
49         else:
50             ud.proto = "rsync"
51
52         ud.branch = ud.parm.get("branch", "master")
53
54         gitsrcname = '%s%s' % (ud.host, ud.path.replace('/', '.'))
55         ud.mirrortarball = 'git_%s.tar.gz' % (gitsrcname)
56         ud.clonedir = os.path.join(data.expand('${GITDIR}', d), gitsrcname)
57
58         tag = Fetch.srcrev_internal_helper(ud, d)
59         if tag is True:
60             ud.tag = self.latest_revision(url, ud, d)   
61         elif tag:
62             ud.tag = tag
63
64         if not ud.tag or ud.tag == "master":
65             ud.tag = self.latest_revision(url, ud, d)   
66
67         subdir = ud.parm.get("subpath", "")
68         if subdir != "":
69             if subdir.endswith("/"):
70                 subdir = subdir[:-1]
71             subdirpath = os.path.join(ud.path, subdir);
72         else:
73             subdirpath = ud.path;
74
75         if 'fullclone' in ud.parm:
76             ud.localfile = ud.mirrortarball
77         else:
78             ud.localfile = data.expand('git_%s%s_%s.tar.gz' % (ud.host, subdirpath.replace('/', '.'), ud.tag), d)
79
80         return os.path.join(data.getVar("DL_DIR", d, True), ud.localfile)
81
82     def go(self, loc, ud, d):
83         """Fetch url"""
84
85         if ud.user:
86             username = ud.user + '@'
87         else:
88             username = ""
89
90         repofile = os.path.join(data.getVar("DL_DIR", d, 1), ud.mirrortarball)
91
92         coname = '%s' % (ud.tag)
93         codir = os.path.join(ud.clonedir, coname)
94
95         if not os.path.exists(ud.clonedir):
96             try:
97                 Fetch.try_mirrors(ud.mirrortarball)
98                 bb.mkdirhier(ud.clonedir)
99                 os.chdir(ud.clonedir)
100                 runfetchcmd("tar -xzf %s" % (repofile), d)
101             except:
102                 runfetchcmd("git clone -n %s://%s%s%s %s" % (ud.proto, username, ud.host, ud.path, ud.clonedir), d)
103
104         os.chdir(ud.clonedir)
105         # Remove all but the .git directory
106         if not self._contains_ref(ud.tag, d):
107             runfetchcmd("rm * -Rf", d)
108             runfetchcmd("git fetch %s://%s%s%s %s" % (ud.proto, username, ud.host, ud.path, ud.branch), d)
109             runfetchcmd("git fetch --tags %s://%s%s%s" % (ud.proto, username, ud.host, ud.path), d)
110             runfetchcmd("git prune-packed", d)
111             runfetchcmd("git pack-redundant --all | xargs -r rm", d)
112
113         os.chdir(ud.clonedir)
114         mirror_tarballs = data.getVar("BB_GENERATE_MIRROR_TARBALLS", d, True)
115         if mirror_tarballs != "0" or 'fullclone' in ud.parm: 
116             bb.msg.note(1, bb.msg.domain.Fetcher, "Creating tarball of git repository")
117             runfetchcmd("tar -czf %s %s" % (repofile, os.path.join(".", ".git", "*") ), d)
118
119         if 'fullclone' in ud.parm:
120             return
121
122         if os.path.exists(codir):
123             bb.utils.prunedir(codir)
124
125         subdir = ud.parm.get("subpath", "")
126         if subdir != "":
127             if subdir.endswith("/"):
128                 subdirbase = os.path.basename(subdir[:-1])
129             else:
130                 subdirbase = os.path.basename(subdir)
131         else:
132             subdirbase = ""
133
134         if subdir != "":
135             readpathspec = ":%s" % (subdir)
136             codir = os.path.join(codir, "git")
137             coprefix = os.path.join(codir, subdirbase, "")
138         else:
139             readpathspec = ""
140             coprefix = os.path.join(codir, "git", "")
141
142         bb.mkdirhier(codir)
143         os.chdir(ud.clonedir)
144         runfetchcmd("git read-tree %s%s" % (ud.tag, readpathspec), d)
145         runfetchcmd("git checkout-index -q -f --prefix=%s -a" % (coprefix), d)
146
147         os.chdir(codir)
148         bb.msg.note(1, bb.msg.domain.Fetcher, "Creating tarball of git checkout")
149         runfetchcmd("tar -czf %s %s" % (ud.localpath, os.path.join(".", "*") ), d)
150
151         os.chdir(ud.clonedir)
152         bb.utils.prunedir(codir)
153
154     def suppports_srcrev(self):
155         return True
156
157     def _contains_ref(self, tag, d):
158         output = runfetchcmd("git log --pretty=oneline -n 1 %s -- 2> /dev/null | wc -l" % tag, d, quiet=True)
159         return output.split()[0] != "0"
160
161     def _revision_key(self, url, ud, d):
162         """
163         Return a unique key for the url
164         """
165         return "git:" + ud.host + ud.path.replace('/', '.')
166
167     def _latest_revision(self, url, ud, d):
168         """
169         Compute the HEAD revision for the url
170         """
171         if ud.user:
172             username = ud.user + '@'
173         else:
174             username = ""
175
176         cmd = "git ls-remote %s://%s%s%s %s" % (ud.proto, username, ud.host, ud.path, ud.branch)
177         output = runfetchcmd(cmd, d, True)
178         if not output:
179             raise bb.fetch.FetchError("Fetch command %s gave empty output\n" % (cmd))
180         return output.split()[0]
181
182     def _build_revision(self, url, ud, d):
183         return ud.tag
184
185     def _sortable_buildindex_disabled(self, url, ud, d, rev):
186         """
187         Return a suitable buildindex for the revision specified. This is done by counting revisions 
188         using "git rev-list" which may or may not work in different circumstances.
189         """
190
191         cwd = os.getcwd()
192
193         # Check if we have the rev already
194
195         if not os.path.exists(ud.clonedir):
196             print "no repo"
197             self.go(None, ud, d)
198             if not os.path.exists(ud.clonedir):
199                 bb.msg.error(bb.msg.domain.Fetcher, "GIT repository for %s doesn't exist in %s, cannot get sortable buildnumber, using old value" % (url, ud.clonedir))
200                 return None
201
202
203         os.chdir(ud.clonedir)
204         if not self._contains_ref(rev, d):
205             self.go(None, ud, d)
206
207         output = runfetchcmd("git rev-list %s -- 2> /dev/null | wc -l" % rev, d, quiet=True)
208         os.chdir(cwd)
209
210         buildindex = "%s" % output.split()[0]
211         bb.msg.debug(1, bb.msg.domain.Fetcher, "GIT repository for %s in %s is returning %s revisions in rev-list before %s" % (url, ud.clonedir, buildindex, rev))
212         return buildindex        
213