Angstrom feed sorter: add sheevaplug
[openembedded.git] / contrib / angstrom / sort.sh
1 #!/bin/bash
2
3 # Angstrom feed sorting script
4 # This must be run in unsorted/ directory 
5
6 if [ $(basename $PWD) != "unsorted" ] ; then
7         echo "Not in feed dir! Exiting"
8         exit 1
9 fi      
10
11 if [ $(find . -name "*.ipk" | wc -l) -gt 0 ] ; then
12         echo "Unsorted packages found"
13 else
14         echo "No unsorted packages found. Exiting"
15         exit 1
16 fi
17
18 rm Packages* >& /dev/null
19
20 # Find ipkg files in unsorted/ and remove stale ones
21 echo "Deleting morgue directories "
22 find . -name morgue | xargs rm -rf 
23 echo "Moving packages to the top level directory"
24 find */ -name  "*.ipk" -exec mv  '{}'  ./ \;
25
26 # Make a list of ipkg files already present in feeds and in unsorted
27 echo "Making a list of unsorted packages"
28 for i in $(find . -name "*.ipk") ; do basename $i ; done > files-unsorted
29 # Make a list of duplicates and delete those
30 echo "Finding duplicate packages in unsorted"
31 cat files-sorted files-unsorted | sort | uniq -d > files-duplicate
32 echo "Removing duplicate packages in unsorted"
33 cat files-duplicate | xargs rm -f
34
35 # Log remaining packages to a file 
36 find . -name "*.ipk" |grep -v dbg | grep -v -- -dev | grep -v -- -doc | grep -v angstrom-version | grep -v locale > new-files.txt
37 for newfile in $(cat new-files.txt | sed s:./::g) ; do
38     echo "$(date -u +%s) $newfile $(basename ${PWD})" >> ../upload-full.txt
39 done    
40 tail -n 100 ../upload-full.txt > ../upload.txt
41
42 do_sort() {
43 archdir=$arch
44
45 case "$arch" in
46         "arm-oabi")
47                         machines="h3600 h3800 collie simpad htcwallaby" ;;
48         "armv4t")
49                         machines="ep93xx h6300 om-gta01 om-gta02 fic-gta01 fic-gta02" ;;
50         "armv5te")
51                         machines="sheevaplug dm355-leopard n2100 dns323 mv2120 kuropro lspro tsx09 ts409 davinci-dvevm davinci-sffsdr neuros-osd neuros-osd2 gumstix-connex gumstix-verdex gumstix e680 a780 a1200 at91sam9263ek rokre6 rokre2 rokr-e2 akita c7x0 h2200 h3900 h4000 h5000 htcapache htctornado htcblueangel htcuniversal hx4700 nslu2le hx2000 ixp4xxle magician netbook-pro nokia770 palmt650 palmt680 palmld palmtx palmtt3 palmz72 qemuarm omap5912osk poodle spitz tosa" ;;
52         "armv5teb")
53                         machines="ixp4xxbe nslu2be" ;;
54         "armv6-novfp")
55                         machines="htcdiamond htckaiser htcpolaris htcraphael htcvogue" ;;       
56         "armv6")        
57                         machines="mx31ads nokia800 " ;;
58         "armv7")
59                         machines="" ;;
60         "armv7a")
61                         machines="beagleboard omap3evm omap3-pandora omapzoom overo" ;;
62         "avr32")
63                         machines="atngw100 at32stk1000" ;;
64         "bfin")
65                         archdir="blackfin"
66                         machines="adsp-bf537-stamp" ;;
67         "geode")
68                         machines="alix" ;;
69         "i486")
70                         machines="x86" ;;
71         "i586")
72                         machines="epia qemux86" ;;
73         "i686")
74                         machines="guinness progear" ;;
75         "iwmmxt")
76                         machines="" ;;
77         "ppc405")       
78                         machines="dht-walnut" ;;
79         "ppc603e")
80                         machines="lsppchd lsppchg efika n1200" ;;
81         "ppce300c3")
82                         machines="mpc8313e-rdb mpc8315e-rdb" ;;
83         "sparc")
84                         machines="" ;;
85 esac
86
87 echo "Sorting $arch"
88 for i in `find . -name  "*.ipk"| grep $arch` ; do mkdir -p ../$archdir/base/ || true ;mv $i ../$archdir/base/ ; done
89         for machine in $machines ; do
90                 for i in `find . -name  "*_$machine.ipk"| grep $machine` ; do mkdir -p ../$archdir/machine/$machine || true ;mv $i ../$archdir/machine/$machine ; done
91         done
92 ( mkdir -p ../$archdir ; cd ../$archdir && do_index )
93
94 }
95
96 do_index() {
97 ipkg_tools_path="/home/angstrom/bin"
98 echo "Processing $(basename $PWD) packages...."
99
100 BPWD=`pwd`
101
102 mkdir -p base
103 cd base
104
105 mkdir -p ../debug ../perl ../python ../gstreamer ../locales/en || true
106
107 #split the feeds based on names
108 mv python* ../python/ >& /dev/null
109 mv perl* ../perl/ >& /dev/null
110 mv *-dbg* ../debug/ >& /dev/null
111 mv gst* ../gstreamer >& /dev/null
112
113 for i in ../* ; do
114   if [ -d $i ]; then
115       cd $i
116       echo -n "building index for $i:" |sed s:\.\./::
117       ${ipkg_tools_path}/ipkg-make-index -p Packages -l Packages.filelist  -m -L ../locales  . >& /tmp/index-log
118       echo " DONE"
119   fi
120 done
121 mkdir -p  ${BPWD}/machine
122 cd ${BPWD}/machine
123
124 for i in ./* ; do
125   if [ -d $i ]; then
126      cd $i
127      echo -n "building index for machine $i:"
128      ${ipkg_tools_path}/ipkg-make-index -p Packages -l Packages.filelist  -m  . >& /dev/null
129      echo " DONE"
130      cd ../
131   fi
132 done
133
134 mkdir -p ${BPWD}/locales/en/
135 cd ${BPWD}/locales/en/
136 echo -n "building index for locales:"
137 for i in ../* ; do
138   if [ -d $i ]; then
139    echo -n " $i" |sed s:\.\./::
140    ${ipkg_tools_path}/ipkg-make-index -p Packages -l Packages.filelist  -m . >& /dev/null;
141    cd $i
142   fi
143  done
144 echo " DONE"
145 cd ${BPWD}
146
147 }
148
149 echo "Processing 'all' feed"
150 for i in `find . -name  "*.ipk"| grep _all` ; do mkdir -p ../all/ || true ;mv $i ../all/ ; done
151  (mkdir -p ../all ; cd ../all && ipkg-make-index -p Packages -m . >& /dev/null ; touch Packages.sig )  
152
153 for arch in arm-oabi armv4t armv5teb armv5te armv6-novfp armv6 armv7a armv7 avr32 bfin geode i486 i586 i686 iwmmxt ppc405 ppc603e sparc ; do 
154         do_sort
155 done
156
157 if [ "$1" != "--skip-sorted-list" ]; then
158     echo "Updating list of sorted packages (takes long)"
159     for i in $(find ../ -name "*.ipk"| grep -v unsorted) ; do basename $i ; done > files-sorted
160 fi
161
162 ( cd ~/website/repo-updater ; php update.php ; rm ../repo/feeds.db* ; cp feeds.db* ../repo )
163
164 echo -n "Stripping source lines from Package files"
165 for i in `find .. -name Packages` ; do grep -v ^Source: $i|gzip -c9>$i.gz ;gunzip -c $i.gz>$i ; touch $i.sig ; done
166 echo " DONE"
167
168