source: Jenkinsfile

Last change on this file was f466d6b, checked in by Peter A. Buhr <pabuhr@…>, 7 weeks ago

temporarily turn off x86 in full build because of problems

  • Property mode set to 100644
File size: 13.1 KB
Line 
1#!groovy
2
3import groovy.transform.Field
4
5//===========================================================================================================
6// Main loop of the compilation
7//===========================================================================================================
8
9// Globals
10BuildDir  = null
11SrcDir    = null
12Settings  = null
13Tools     = null
14
15// Local variables
16def err = null
17def log_needed = false
18
19currentBuild.result = "SUCCESS"
20
21try {
22        node {
23                //Wrap build to add timestamp to command line
24                wrap([$class: 'TimestamperBuildWrapper']) {
25                        Settings = prepare_build()
26                }
27        }
28
29        node(Settings.Architecture.node) {
30                //Wrap build to add timestamp to command line
31                wrap([$class: 'TimestamperBuildWrapper']) {
32                        BuildDir  = pwd tmp: true
33                        SrcDir    = pwd tmp: false
34                        currentBuild.description = "${currentBuild.description} on ${env.NODE_NAME}"
35
36                        Tools.Clean()
37
38                        Tools.Checkout()
39
40                        build()
41
42                        test()
43
44                        benchmark()
45
46                        build_doc()
47
48                        publish()
49                }
50        }
51}
52
53//If an exception is caught we need to change the status and remember to
54//attach the build log to the email
55catch (Exception caughtError) {
56        // Store the result of the build log
57        currentBuild.result = "FAILURE"
58
59        // An error has occured, the build log is relevent
60        log_needed = true
61
62        // rethrow error later
63        err = caughtError
64
65        // print the error so it shows in the log
66        echo err.toString()
67}
68
69finally {
70        //Send email with final results if this is not a full build
71        email(log_needed)
72
73        echo 'Build Completed'
74
75        /* Must re-throw exception to propagate error */
76        if (err) {
77                throw err
78        }
79}
80//===========================================================================================================
81// Main compilation routines
82//===========================================================================================================
83def build() {
84        debug = true
85        release = Settings.RunAllTests || Settings.RunBenchmark
86        Tools.BuildStage('Build : configure', true) {
87                // Configure must be run inside the tree
88                dir (SrcDir) {
89                        // Generate the necessary build files
90                        sh './autogen.sh'
91                }
92
93                // Build outside of the src tree to ease cleaning
94                dir (BuildDir) {
95                        //Configure the compilation (Output is not relevant)
96                        //Use the current directory as the installation target so nothing escapes the sandbox
97                        //Also specify the compiler by hand
98                        targets=""
99                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
100                                targets="--with-target-hosts='host:debug,host:nodebug'"
101                        } else {
102                                targets="--with-target-hosts='host:debug'"
103                        }
104
105                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} AR=gcc-ar RANLIB=gcc-ranlib ${targets} --quiet --prefix=${BuildDir}"
106
107                        // Configure libcfa
108                        sh 'make -j $(nproc) --no-print-directory configure-libcfa'
109                }
110        }
111
112        Tools.BuildStage('Build : cfa-cpp', true) {
113                // Build outside of the src tree to ease cleaning
114                dir (BuildDir) {
115                        // Build driver
116                        sh 'make -j $(nproc) --no-print-directory -C driver'
117
118                        // Build translator
119                        sh 'make -j $(nproc) --no-print-directory -C src'
120                }
121        }
122
123        Tools.BuildStage('Build : libcfa(debug)', debug) {
124                // Build outside of the src tree to ease cleaning
125                dir (BuildDir) {
126                        sh "make -j \$(nproc) --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
127                }
128        }
129
130        Tools.BuildStage('Build : libcfa(nodebug)', release) {
131                // Build outside of the src tree to ease cleaning
132                dir (BuildDir) {
133                        sh "make -j \$(nproc) --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
134                }
135        }
136
137        Tools.BuildStage('Build : install', true) {
138                // Build outside of the src tree to ease cleaning
139                dir (BuildDir) {
140                        sh 'make -j $(nproc) --no-print-directory install'
141                }
142        }
143}
144
145def test() {
146        try {
147                // Print potential limits before testing
148                // in case jenkins messes with them
149                sh 'free -h'
150                sh 'ulimit -a'
151
152                jopt = '-j $(nproc)'
153
154                Tools.BuildStage('Test: Debug', true) {
155                        dir (BuildDir) {
156                                //Run the tests from the tests directory
157                                sh """make ${jopt} --no-print-directory -C tests timeout=600 global-timeout=14400 tests debug=yes archive-errors=${BuildDir}/tests/crashes/full-debug"""
158                        }
159                }
160
161                Tools.BuildStage('Test: Release', Settings.RunAllTests) {
162                        dir (BuildDir) {
163                                //Run the tests from the tests directory
164                                sh """make ${jopt} --no-print-directory -C tests timeout=600 global-timeout=14400 tests debug=no archive-errors=${BuildDir}/tests/crashes/full-nodebug"""
165                        }
166                }
167        }
168        catch (Exception err) {
169                echo "Archiving core dumps"
170                dir (BuildDir) {
171                        def exists = fileExists 'tests/crashes'
172                        if( exists ) {
173                                sh """${SrcDir}/tools/jenkins/archive-gen.sh"""
174                                archiveArtifacts artifacts: "tests/crashes/**/*,lib/**/lib*.so*,setup.sh", fingerprint: true
175                        }
176                }
177                throw err
178        }
179}
180
181def benchmark() {
182        Tools.BuildStage('Benchmark', Settings.RunBenchmark) {
183                dir (BuildDir) {
184                        //Append bench results
185                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
186                }
187        }
188}
189
190def build_doc() {
191        Tools.BuildStage('Documentation', Settings.BuildDocumentation) {
192                dir ('doc/user') {
193                        make_doc()
194                }
195
196                dir ('doc/refrat') {
197                        make_doc()
198                }
199        }
200}
201
202def publish() {
203        Tools.BuildStage('Publish', true) {
204
205                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
206        }
207}
208
209//===========================================================================================================
210//Routine responsible of sending the email notification once the build is completed
211//===========================================================================================================
212//Standard build email notification
213def email(boolean log) {
214        node {
215                //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
216                //Configurations for email format
217                echo 'Notifying users of result'
218
219                def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
220                def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
221                def email_body = """<p>This is an automated email from the Jenkins build machine. It was
222generated because of a git hooks/post-receive script following
223a ref change which was pushed to the C\u2200 repository.</p>
224
225<p>- Status --------------------------------------------------------------</p>
226
227<p>BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}</p>
228<p>Check console output at ${env.BUILD_URL} to view the results.</p>
229""" + Tools.GitLogMessage()
230
231                def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
232
233                if( Settings && !Settings.Silent ) {
234                        //send email notification
235                        emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
236                } else {
237                        echo "Would send email to: ${email_to}"
238                        echo "With title: ${email_subject}"
239                        echo "Content: \n${email_body}"
240                }
241        }
242}
243
244//===========================================================================================================
245// Helper classes/variables/routines
246//===========================================================================================================
247//Description of a compiler (Must be serializable since pipelines are persistent)
248class CC_Desc implements Serializable {
249        public String name
250        public String CXX
251        public String CC
252        public String lto
253
254        CC_Desc(String name, String CXX, String CC, String lto) {
255                this.name = name
256                this.CXX = CXX
257                this.CC  = CC
258                this.lto = lto
259        }
260}
261
262//Description of an architecture (Must be serializable since pipelines are persistent)
263class Arch_Desc implements Serializable {
264        public String name
265        public String flags
266        public String node
267
268        Arch_Desc(String name, String flags, String node) {
269                this.name  = name
270                this.flags = flags
271                this.node  = node
272        }
273}
274
275class BuildSettings implements Serializable {
276        public final CC_Desc Compiler
277        public final Arch_Desc Architecture
278        public final Boolean RunAllTests
279        public final Boolean RunBenchmark
280        public final Boolean BuildDocumentation
281        public final Boolean Publish
282        public final Boolean Silent
283        public final Boolean IsSandbox
284        public final String DescLong
285        public final String DescShort
286
287        public String GitNewRef
288        public String GitOldRef
289
290        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
291                switch( param.Compiler ) {
292                        // case 'gcc-4.9':
293                        //      this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9', '-flto=auto')
294                        // break
295                        // case 'gcc-5':
296                        //      this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5', '-flto=auto')
297                        // break
298                        // case 'gcc-6':
299                        //      this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6', '-flto=auto')
300                        // break
301                        case 'gcc-7':
302                                this.Compiler = new CC_Desc('gcc-7', 'g++-7', 'gcc-7', '-flto=auto')
303                        break
304                        case 'gcc-8':
305                                this.Compiler = new CC_Desc('gcc-8', 'g++-8', 'gcc-8', '-flto=auto')
306                        break
307                        case 'gcc-9':
308                                this.Compiler = new CC_Desc('gcc-9', 'g++-9', 'gcc-9', '-flto=auto')
309                        break
310                        case 'gcc-10':
311                                this.Compiler = new CC_Desc('gcc-10', 'g++-10', 'gcc-10', '-flto=auto')
312                        break
313                        case 'gcc-11':
314                                this.Compiler = new CC_Desc('gcc-11', 'g++-11', 'gcc-11', '-flto=auto')
315                        break
316                        case 'gcc-12':
317                                this.Compiler = new CC_Desc('gcc-12', 'g++-12', 'gcc-12', '-flto=auto')
318                        break
319                        case 'clang':
320                                this.Compiler = new CC_Desc('clang', 'clang++-10', 'gcc-10', '-flto=thin -flto-jobs=0')
321                        break
322                        default :
323                                error "Unhandled compiler : ${cc}"
324                }
325
326                switch( param.Architecture ) {
327                        case 'x64':
328                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
329                        break
330                        //case 'x86':
331                        //      this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
332                        //break
333                        // case 'arm64':
334                        //      this.Architecture = new Arch_Desc('arm64', '--host=aarch64', 'arm64')
335                        // break
336                        default :
337                                error "Unhandled architecture : ${arch}"
338                }
339
340                this.IsSandbox          = (branch == "jenkins-sandbox")
341                this.RunAllTests        = param.RunAllTests
342                this.RunBenchmark       = param.RunBenchmark
343                this.BuildDocumentation = param.BuildDocumentation
344                this.Publish            = param.Publish
345                this.Silent             = param.Silent
346
347                def full = param.RunAllTests ? " (Full)" : ""
348                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
349
350                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
351Architecture            : ${ this.Architecture.name }
352Arc Flags               : ${ this.Architecture.flags }
353Run All Tests           : ${ this.RunAllTests.toString() }
354Run Benchmark           : ${ this.RunBenchmark.toString() }
355Build Documentation     : ${ this.BuildDocumentation.toString() }
356Publish                 : ${ this.Publish.toString() }
357Silent                  : ${ this.Silent.toString() }
358"""
359
360                this.GitNewRef = ''
361                this.GitOldRef = ''
362        }
363}
364
365def prepare_build() {
366        // prepare the properties
367        properties ([                                                                           \
368                buildDiscarder(logRotator(                                                      \
369                        artifactDaysToKeepStr: '',                                              \
370                        artifactNumToKeepStr: '',                                               \
371                        daysToKeepStr: '730',                                                   \
372                        numToKeepStr: '1000'                                                    \
373                )),                                                                             \
374                [$class: 'ParametersDefinitionProperty',                                        \
375                        parameterDefinitions: [                                                 \
376                                [$class: 'ChoiceParameterDefinition',                           \
377                                        description: 'Which compiler to use',                   \
378                                        name: 'Compiler',                                       \
379                                        choices: 'gcc-7\ngcc-8\ngcc-9\ngcc-10\ngcc-11\ngcc-12\nclang',  \
380                                        defaultValue: 'gcc-9',                                  \
381                                ],                                                              \
382                                [$class: 'ChoiceParameterDefinition',                           \
383                                        description: 'The target architecture',                 \
384                                        name: 'Architecture',                                   \
385                                        choices: 'x64\nx86\narm64',                             \
386                                        defaultValue: 'x64',                                    \
387                                ],                                                              \
388                                [$class: 'BooleanParameterDefinition',                          \
389                                        description: 'If false, the test suite is only ran in debug',   \
390                                        name: 'RunAllTests',                                    \
391                                        defaultValue: false,                                    \
392                                ],                                                              \
393                                [$class: 'BooleanParameterDefinition',                          \
394                                        description: 'If true, jenkins also runs benchmarks',   \
395                                        name: 'RunBenchmark',                                   \
396                                        defaultValue: false,                                    \
397                                ],                                                              \
398                                [$class: 'BooleanParameterDefinition',                          \
399                                        description: 'If true, jenkins also builds documentation', \
400                                        name: 'BuildDocumentation',                             \
401                                        defaultValue: true,                                     \
402                                ],                                                              \
403                                [$class: 'BooleanParameterDefinition',                          \
404                                        description: 'If true, jenkins also publishes results', \
405                                        name: 'Publish',                                        \
406                                        defaultValue: false,                                    \
407                                ],                                                              \
408                                [$class: 'BooleanParameterDefinition',                          \
409                                        description: 'If true, jenkins will not send emails',   \
410                                        name: 'Silent',                                         \
411                                        defaultValue: false,                                    \
412                                ],                                                              \
413                        ],
414                ]])
415                                        // choices: 'gcc-4.9\ngcc-5\ngcc-6\ngcc-7\ngcc-8\ngcc-9\ngcc-10\ngcc-11\nclang',
416                                        // defaultValue: 'gcc-8',
417
418        // It's unfortunate but it looks like we need to checkout the entire repo just to get
419        // - the pretty git printer
420        // - Jenkins.tools
421        checkout scm
422
423        Tools = load "Jenkins/tools.groovy"
424
425        final settings = new BuildSettings(params, env.BRANCH_NAME)
426
427        currentBuild.description = settings.DescShort
428        echo                       settings.DescLong
429
430        return settings
431}
432
433def make_doc() {
434        def err = null
435        try {
436                sh 'make clean > /dev/null'
437                sh 'make > /dev/null 2>&1'
438        }
439        catch (Exception caughtError) {
440                err = caughtError //rethrow error later
441                sh 'cat build/*.log'
442        }
443        finally {
444                if (err) throw err // Must re-throw exception to propagate error
445        }
446}
Note: See TracBrowser for help on using the repository browser.