source: Jenkinsfile @ aa96fba

arm-ehjacob/cs343-translationjenkins-sandboxnew-astnew-ast-unique-expr
Last change on this file since aa96fba was aa96fba, checked in by Thierry Delisle <tdelisle@…>, 20 months ago

Jenkins now artifacts libcfa.so and libcfathread.so on errors

  • Property mode set to 100644
File size: 16.6 KB
Line 
1#!groovy
2
3import groovy.transform.Field
4
5// For skipping stages
6import org.jenkinsci.plugins.pipeline.modeldefinition.Utils
7
8//===========================================================================================================
9// Main loop of the compilation
10//===========================================================================================================
11
12node('master') {
13        // Globals
14        BuildDir  = pwd tmp: true
15        SrcDir    = pwd tmp: false
16        Settings  = null
17        StageName = ''
18
19        // Local variables
20        def err = null
21        def log_needed = false
22
23        currentBuild.result = "SUCCESS"
24
25        try {
26                //Wrap build to add timestamp to command line
27                wrap([$class: 'TimestamperBuildWrapper']) {
28
29                        Settings = prepare_build()
30
31                        node(Settings.Architecture.node) {
32                                BuildDir  = pwd tmp: true
33                                SrcDir    = pwd tmp: false
34
35                                clean()
36
37                                checkout()
38
39                                build()
40
41                                test()
42
43                                benchmark()
44
45                                build_doc()
46
47                                publish()
48                        }
49
50                        // Update the build directories when exiting the node
51                        BuildDir  = pwd tmp: true
52                        SrcDir    = pwd tmp: false
53                }
54        }
55
56        //If an exception is caught we need to change the status and remember to
57        //attach the build log to the email
58        catch (Exception caughtError) {
59                //rethrow error later
60                err = caughtError
61
62                echo err.toString()
63
64                //An error has occured, the build log is relevent
65                log_needed = true
66
67                //Store the result of the build log
68                currentBuild.result = "${StageName} FAILURE".trim()
69        }
70
71        finally {
72                //Send email with final results if this is not a full build
73                email(log_needed)
74
75                echo 'Build Completed'
76
77                /* Must re-throw exception to propagate error */
78                if (err) {
79                        throw err
80                }
81        }
82}
83//===========================================================================================================
84// Main compilation routines
85//===========================================================================================================
86def clean() {
87        build_stage('Cleanup', true) {
88                // clean the build by wipping the build directory
89                dir(BuildDir) {
90                        deleteDir()
91                }
92        }
93}
94
95//Compilation script is done here but environnement set-up and error handling is done in main loop
96def checkout() {
97        build_stage('Checkout', true) {
98                //checkout the source code and clean the repo
99                final scmVars = checkout scm
100                Settings.GitNewRef = scmVars.GIT_COMMIT
101                Settings.GitOldRef = scmVars.GIT_PREVIOUS_COMMIT
102
103                echo GitLogMessage()
104
105                // This is a complete hack but it solves problems with automake thinking it needs to regenerate makefiles
106                // We fudged automake/missing to handle that but automake stills bakes prints inside the makefiles
107                // and these cause more problems.
108                sh 'find . -name Makefile.in -exec touch {} +'
109        }
110}
111
112def build() {
113        debug = true
114        release = Settings.RunAllTests || Settings.RunBenchmark
115        build_stage('Build : configure', true) {
116                // Build outside of the src tree to ease cleaning
117                dir (BuildDir) {
118                        //Configure the conpilation (Output is not relevant)
119                        //Use the current directory as the installation target so nothing escapes the sandbox
120                        //Also specify the compiler by hand
121                        targets=""
122                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
123                                targets="--with-target-hosts='host:debug,host:nodebug'"
124                        } else {
125                                targets="--with-target-hosts='host:debug'"
126                        }
127
128                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} AR=gcc-ar RANLIB=gcc-ranlib ${targets} --quiet --prefix=${BuildDir}"
129
130                        // Configure libcfa
131                        sh 'make -j 8 --no-print-directory configure-libcfa'
132                }
133        }
134
135        build_stage('Build : cfa-cpp', true) {
136                // Build outside of the src tree to ease cleaning
137                dir (BuildDir) {
138                        // Build driver
139                        sh 'make -j 8 --no-print-directory -C driver'
140
141                        // Build translator
142                        sh 'make -j 8 --no-print-directory -C src'
143                }
144        }
145
146        build_stage('Build : libcfa(debug)', debug) {
147                // Build outside of the src tree to ease cleaning
148                dir (BuildDir) {
149                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
150                }
151        }
152
153        build_stage('Build : libcfa(nodebug)', release) {
154                // Build outside of the src tree to ease cleaning
155                dir (BuildDir) {
156                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
157                }
158        }
159
160        build_stage('Build : install', true) {
161                // Build outside of the src tree to ease cleaning
162                dir (BuildDir) {
163                        sh "make -j 8 --no-print-directory install"
164                }
165        }
166}
167
168def test() {
169        try {
170                build_stage('Test: short', !Settings.RunAllTests) {
171                        dir (BuildDir) {
172                                //Run the tests from the tests directory
173                                sh "make --no-print-directory -C tests archiveerrors=${BuildDir}/tests/crashes/short"
174                        }
175                }
176
177                build_stage('Test: full', Settings.RunAllTests) {
178                        dir (BuildDir) {
179                                        //Run the tests from the tests directory
180                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=yes archiveerrors=${BuildDir}/tests/crashes/full-debug"""
181                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=no  archiveerrors=${BuildDir}/tests/crashes/full-nodebug"""
182                        }
183                }
184        }
185        catch (Exception err) {
186                echo "Archiving core dumps"
187                dir (BuildDir) {
188                        archiveArtifacts artifacts: "tests/crashes/**/*,lib/*", fingerprint: true
189                }
190                throw err
191        }
192}
193
194def benchmark() {
195        build_stage('Benchmark', Settings.RunBenchmark) {
196                dir (BuildDir) {
197                        //Append bench results
198                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
199                }
200        }
201}
202
203def build_doc() {
204        build_stage('Documentation', Settings.BuildDocumentation) {
205                dir ('doc/user') {
206                        make_doc()
207                }
208
209                dir ('doc/refrat') {
210                        make_doc()
211                }
212        }
213}
214
215def publish() {
216        build_stage('Publish', true) {
217
218                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
219
220                def groupCompile = new PlotGroup('Compilation', 'duration (s) - lower is better', true)
221                def groupConcurrency = new PlotGroup('Concurrency', 'duration (n) - lower is better', false)
222
223                //Then publish the results
224                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile'        , groupCompile    , false, 'Compilation')
225                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile.diff'   , groupCompile    , true , 'Compilation (relative)')
226                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch'      , groupConcurrency, false, 'Context Switching')
227                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch.diff' , groupConcurrency, true , 'Context Switching (relative)')
228                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex'          , groupConcurrency, false, 'Mutual Exclusion')
229                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex.diff'     , groupConcurrency, true , 'Mutual Exclusion (relative)')
230                do_plot(Settings.RunBenchmark && Settings.Publish, 'scheduling'     , groupConcurrency, false, 'Internal and External Scheduling')
231                do_plot(Settings.RunBenchmark && Settings.Publish, 'scheduling.diff', groupConcurrency, true , 'Internal and External Scheduling (relative)')
232        }
233}
234
235//===========================================================================================================
236//Routine responsible of sending the email notification once the build is completed
237//===========================================================================================================
238@NonCPS
239def SplitLines(String text) {
240        def list = []
241
242        text.eachLine {
243                list += it
244        }
245
246        return list
247}
248
249def GitLogMessage() {
250        if (!Settings || !Settings.GitOldRef || !Settings.GitNewRef) return "\nERROR retrieveing git information!\n"
251
252        def oldRef = Settings.GitOldRef
253        def newRef = Settings.GitNewRef
254
255        def revText = sh(returnStdout: true, script: "git rev-list ${oldRef}..${newRef}").trim()
256        def revList = SplitLines( revText )
257
258        def gitUpdate = ""
259        revList.each { rev ->
260                def type = sh(returnStdout: true, script: "git cat-file -t ${rev}").trim()
261                gitUpdate = gitUpdate + "       via  ${rev} (${type})"
262        }
263
264        def rev = oldRef
265        def type = sh(returnStdout: true, script: "git cat-file -t ${rev}").trim()
266        gitUpdate = gitUpdate + "      from  ${rev} (${type})"
267
268        def gitLog    = sh(returnStdout: true, script: "git rev-list --format=short ${oldRef}...${newRef}").trim()
269
270        def gitDiff   = sh(returnStdout: true, script: "git diff --stat --color ${newRef} ${oldRef}").trim()
271        gitDiff = gitDiff.replace('[32m', '<span style="color: #00AA00;">')
272        gitDiff = gitDiff.replace('[31m', '<span style="color: #AA0000;">')
273        gitDiff = gitDiff.replace('[m', '</span>')
274
275        return """
276<pre>
277The branch ${env.BRANCH_NAME} has been updated.
278${gitUpdate}
279</pre>
280
281<p>Check console output at ${env.BUILD_URL} to view the results.</p>
282
283<p>- Status --------------------------------------------------------------</p>
284
285<p>BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}</p>
286
287<p>- Log -----------------------------------------------------------------</p>
288
289<pre>
290${gitLog}
291</pre>
292
293<p>-----------------------------------------------------------------------</p>
294<pre>
295Summary of changes:
296${gitDiff}
297</pre>
298"""
299}
300
301//Standard build email notification
302def email(boolean log) {
303        //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
304        //Configurations for email format
305        echo 'Notifying users of result'
306
307        def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
308        def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
309        def email_body = """<p>This is an automated email from the Jenkins build machine. It was
310generated because of a git hooks/post-receive script following
311a ref change which was pushed to the C\u2200 repository.</p>
312""" + GitLogMessage()
313
314        def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
315
316        if( Settings && !Settings.Silent ) {
317                //send email notification
318                emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
319        } else {
320                echo "Would send email to: ${email_to}"
321                echo "With title: ${email_subject}"
322                echo "Content: \n${email_body}"
323        }
324}
325
326//===========================================================================================================
327// Helper classes/variables/routines
328//===========================================================================================================
329//Description of a compiler (Must be serializable since pipelines are persistent)
330class CC_Desc implements Serializable {
331        public String name
332        public String CXX
333        public String CC
334        public String lto
335
336        CC_Desc(String name, String CXX, String CC, String lto) {
337                this.name = name
338                this.CXX = CXX
339                this.CC  = CC
340                this.lto = lto
341        }
342}
343
344//Description of an architecture (Must be serializable since pipelines are persistent)
345class Arch_Desc implements Serializable {
346        public String name
347        public String flags
348        public String node
349
350        Arch_Desc(String name, String flags, String node) {
351                this.name  = name
352                this.flags = flags
353                this.node  = node
354        }
355}
356
357class BuildSettings implements Serializable {
358        public final CC_Desc Compiler
359        public final Arch_Desc Architecture
360        public final Boolean RunAllTests
361        public final Boolean RunBenchmark
362        public final Boolean BuildDocumentation
363        public final Boolean Publish
364        public final Boolean Silent
365        public final Boolean IsSandbox
366        public final String DescLong
367        public final String DescShort
368
369        public String GitNewRef
370        public String GitOldRef
371
372        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
373                switch( param.Compiler ) {
374                        case 'gcc-9':
375                                this.Compiler = new CC_Desc('gcc-9', 'g++-9', 'gcc-9', '-flto=auto')
376                        break
377                        case 'gcc-8':
378                                this.Compiler = new CC_Desc('gcc-8', 'g++-8', 'gcc-8', '-flto=auto')
379                        break
380                        case 'gcc-7':
381                                this.Compiler = new CC_Desc('gcc-7', 'g++-7', 'gcc-7', '-flto=auto')
382                        break
383                        case 'gcc-6':
384                                this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6', '-flto=auto')
385                        break
386                        case 'gcc-5':
387                                this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5', '-flto=auto')
388                        break
389                        case 'gcc-4.9':
390                                this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9', '-flto=auto')
391                        break
392                        case 'clang':
393                                this.Compiler = new CC_Desc('clang', 'clang++-6.0', 'gcc-6', '-flto=thin -flto-jobs=0')
394                        break
395                        default :
396                                error "Unhandled compiler : ${cc}"
397                }
398
399                switch( param.Architecture ) {
400                        case 'x64':
401                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
402                        break
403                        case 'x86':
404                                this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
405                        break
406                        default :
407                                error "Unhandled architecture : ${arch}"
408                }
409
410                this.IsSandbox          = (branch == "jenkins-sandbox")
411                this.RunAllTests        = param.RunAllTests
412                this.RunBenchmark       = param.RunBenchmark
413                this.BuildDocumentation = param.BuildDocumentation
414                this.Publish            = param.Publish
415                this.Silent             = param.Silent
416
417                def full = param.RunAllTests ? " (Full)" : ""
418                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
419
420                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
421Architecture            : ${ this.Architecture.name }
422Arc Flags               : ${ this.Architecture.flags }
423Run All Tests           : ${ this.RunAllTests.toString() }
424Run Benchmark           : ${ this.RunBenchmark.toString() }
425Build Documentation     : ${ this.BuildDocumentation.toString() }
426Publish                 : ${ this.Publish.toString() }
427Silent                  : ${ this.Silent.toString() }
428"""
429
430                this.GitNewRef = ''
431                this.GitOldRef = ''
432        }
433}
434
435class PlotGroup implements Serializable {
436        public String name
437        public String unit
438        public boolean log
439
440        PlotGroup(String name, String unit, boolean log) {
441                this.name = name
442                this.unit = unit
443                this.log = log
444        }
445}
446
447def prepare_build() {
448        // prepare the properties
449        properties ([                                                                                                   \
450                [$class: 'ParametersDefinitionProperty',                                                                \
451                        parameterDefinitions: [                                                                         \
452                                [$class: 'ChoiceParameterDefinition',                                           \
453                                        description: 'Which compiler to use',                                   \
454                                        name: 'Compiler',                                                                       \
455                                        choices: 'gcc-9\ngcc-8\ngcc-7\ngcc-6\ngcc-5\ngcc-4.9\nclang',                                   \
456                                        defaultValue: 'gcc-8',                                                          \
457                                ],                                                                                              \
458                                [$class: 'ChoiceParameterDefinition',                                           \
459                                        description: 'The target architecture',                                 \
460                                        name: 'Architecture',                                                           \
461                                        choices: 'x64\nx86',                                                            \
462                                        defaultValue: 'x64',                                                            \
463                                ],                                                                                              \
464                                [$class: 'BooleanParameterDefinition',                                                  \
465                                        description: 'If false, only the quick test suite is ran',              \
466                                        name: 'RunAllTests',                                                            \
467                                        defaultValue: false,                                                            \
468                                ],                                                                                              \
469                                [$class: 'BooleanParameterDefinition',                                                  \
470                                        description: 'If true, jenkins also runs benchmarks',           \
471                                        name: 'RunBenchmark',                                                           \
472                                        defaultValue: false,                                                            \
473                                ],                                                                                              \
474                                [$class: 'BooleanParameterDefinition',                                                  \
475                                        description: 'If true, jenkins also builds documentation',              \
476                                        name: 'BuildDocumentation',                                                     \
477                                        defaultValue: true,                                                             \
478                                ],                                                                                              \
479                                [$class: 'BooleanParameterDefinition',                                                  \
480                                        description: 'If true, jenkins also publishes results',                 \
481                                        name: 'Publish',                                                                        \
482                                        defaultValue: false,                                                            \
483                                ],                                                                                              \
484                                [$class: 'BooleanParameterDefinition',                                                  \
485                                        description: 'If true, jenkins will not send emails',           \
486                                        name: 'Silent',                                                                         \
487                                        defaultValue: false,                                                            \
488                                ],                                                                                              \
489                        ],
490                ]])
491
492        // It's unfortunate but it looks like we need to checkout the entire repo just to get the pretty git printer
493        checkout scm
494
495        final settings = new BuildSettings(params, env.BRANCH_NAME)
496
497        currentBuild.description = settings.DescShort
498        echo                       settings.DescLong
499
500        return settings
501}
502
503def build_stage(String name, boolean run, Closure block ) {
504        StageName = name
505        echo " -------- ${StageName} -------- "
506        if(run) {
507                stage(name, block)
508        } else {
509                stage(name) { Utils.markStageSkippedForConditional(STAGE_NAME) }
510        }
511}
512
513def make_doc() {
514        def err = null
515        try {
516                sh 'make clean > /dev/null'
517                sh 'make > /dev/null 2>&1'
518        }
519        catch (Exception caughtError) {
520                err = caughtError //rethrow error later
521                sh 'cat build/*.log'
522        }
523        finally {
524                if (err) throw err // Must re-throw exception to propagate error
525        }
526}
527
528def do_plot(boolean new_data, String file, PlotGroup group, boolean relative, String title) {
529
530        if(new_data) {
531                echo "Publishing new data"
532        }
533
534        def series = new_data ? [[
535                                file: "${file}.csv",
536                                exclusionValues: '',
537                                displayTableFlag: false,
538                                inclusionFlag: 'OFF',
539                                url: ''
540                        ]] : [];
541
542        echo "file is ${BuildDir}/benchmark/${file}.csv, group ${group}, title ${title}"
543        dir("${BuildDir}/benchmark/") {
544                plot csvFileName: "cforall-${env.BRANCH_NAME}-${file}.csv",
545                        csvSeries: series,
546                        group: "${group.name}",
547                        title: "${title}",
548                        style: 'lineSimple',
549                        exclZero: false,
550                        keepRecords: false,
551                        logarithmic: !relative && group.log,
552                        numBuilds: '120',
553                        useDescr: true,
554                        yaxis: group.unit,
555                        yaxisMaximum: '',
556                        yaxisMinimum: ''
557        }
558}
Note: See TracBrowser for help on using the repository browser.