source: Jenkinsfile @ c95fdc9

ADTarm-ehast-experimentalenumforall-pointer-decayjacob/cs343-translationjenkins-sandboxnew-astnew-ast-unique-exprpthread-emulationqualifiedEnum
Last change on this file since c95fdc9 was c95fdc9, checked in by Thierry Delisle <tdelisle@…>, 5 years ago

Trying relative artifact paths

  • Property mode set to 100644
File size: 14.9 KB
RevLine 
[a63ad80]1#!groovy
2
[7a230fd]3import groovy.transform.Field
4
[8ecb590]5// For skipping stages
6import org.jenkinsci.plugins.pipeline.modeldefinition.Utils
7
[29f4fe62]8//===========================================================================================================
[9beae23]9// Main loop of the compilation
[29f4fe62]10//===========================================================================================================
[56a9ce6]11
[5307c33]12node('master') {
[5b8413b4]13        // Globals
[4c55047]14        BuildDir  = pwd tmp: true
15        SrcDir    = pwd tmp: false
[5b8413b4]16        Settings  = null
17        StageName = ''
18
19        // Local variables
[9beae23]20        def err = null
21        def log_needed = false
[0ef06b6]22
23        currentBuild.result = "SUCCESS"
24
[9beae23]25        try {
[95fdb0a]26                //Wrap build to add timestamp to command line
27                wrap([$class: 'TimestamperBuildWrapper']) {
[23a14d86]28
[c431138]29                        Settings = prepare_build()
[7aebc62]30
[5307c33]31                        node(Settings.Architecture.node) {
[bf9d323]32                                BuildDir  = pwd tmp: true
33                                SrcDir    = pwd tmp: false
34
[5307c33]35                                clean()
[0dc3ac3]36
[5307c33]37                                checkout()
[fde808df]38
[5307c33]39                                build()
[95fdb0a]40
[5307c33]41                                test()
[95fdb0a]42
[5307c33]43                                benchmark()
[95fdb0a]44
[5307c33]45                                build_doc()
[7359098]46
[5307c33]47                                publish()
48                        }
[9beae23]49
[4c55047]50                        // Update the build directories when exiting the node
51                        BuildDir  = pwd tmp: true
52                        SrcDir    = pwd tmp: false
[9beae23]53                }
[738cf8f]54        }
55
[9beae23]56        //If an exception is caught we need to change the status and remember to
57        //attach the build log to the email
[738cf8f]58        catch (Exception caughtError) {
59                //rethrow error later
60                err = caughtError
61
[e966ec0]62                echo err.toString()
63
[9beae23]64                //An error has occured, the build log is relevent
65                log_needed = true
66
67                //Store the result of the build log
[5b8413b4]68                currentBuild.result = "${StageName} FAILURE".trim()
[738cf8f]69        }
70
71        finally {
[9beae23]72                //Send email with final results if this is not a full build
[13c98a4]73                email(log_needed)
[9beae23]74
[734891d]75                echo 'Build Completed'
76
[738cf8f]77                /* Must re-throw exception to propagate error */
78                if (err) {
79                        throw err
80                }
81        }
82}
[29f4fe62]83//===========================================================================================================
[9beae23]84// Main compilation routines
[29f4fe62]85//===========================================================================================================
[0dc3ac3]86def clean() {
[6c55a3d]87        build_stage('Cleanup', true) {
[0dc3ac3]88                // clean the build by wipping the build directory
[5b8413b4]89                dir(BuildDir) {
[d4cd491]90                        deleteDir()
[ece8a80]91                }
[620dd2b]92        }
[95fdb0a]93}
[29f4fe62]94
[0dc3ac3]95//Compilation script is done here but environnement set-up and error handling is done in main loop
96def checkout() {
[6c55a3d]97        build_stage('Checkout', true) {
[0dc3ac3]98                //checkout the source code and clean the repo
[a336d46]99                final scmVars = checkout scm
100                Settings.GitNewRef = scmVars.GIT_COMMIT
101                Settings.GitOldRef = scmVars.GIT_PREVIOUS_COMMIT
[d3a4564]102
[a336d46]103                echo GitLogMessage()
[0dc3ac3]104        }
105}
106
[95fdb0a]107def build() {
[e507c11]108        debug = true
109        release = Settings.RunAllTests || Settings.RunBenchmark
110        build_stage('Build : configure', true) {
[50f2cfc]111                // Build outside of the src tree to ease cleaning
[5b8413b4]112                dir (BuildDir) {
[50f2cfc]113                        //Configure the conpilation (Output is not relevant)
114                        //Use the current directory as the installation target so nothing escapes the sandbox
115                        //Also specify the compiler by hand
[3fc5f010]116                        targets=""
[d4510ea]117                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
[6bde81d]118                                targets="--with-target-hosts='host:debug,host:nodebug'"
[3fc5f010]119                        } else {
[6bde81d]120                                targets="--with-target-hosts='host:debug'"
[3fc5f010]121                        }
122
[93fe3154]123                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} ${targets} --quiet"
[f253e4a]124
125                        // Configure libcfa
[e70e54e]126                        sh 'make -j 8 --no-print-directory configure-libcfa'
[e507c11]127                }
128        }
129
130        build_stage('Build : cfa-cpp', true) {
131                // Build outside of the src tree to ease cleaning
132                dir (BuildDir) {
133                        // Build driver
134                        sh 'make -j 8 --no-print-directory -C driver'
135
136                        // Build translator
137                        sh 'make -j 8 --no-print-directory -C src'
138                }
139        }
[1752d0e]140
[e507c11]141        build_stage('Build : libcfa(debug)', debug) {
142                // Build outside of the src tree to ease cleaning
143                dir (BuildDir) {
144                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
145                }
146        }
147
148        build_stage('Build : libcfa(nodebug)', release) {
149                // Build outside of the src tree to ease cleaning
150                dir (BuildDir) {
151                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
[50f2cfc]152                }
[620dd2b]153        }
[95fdb0a]154}
[24eecab]155
[95fdb0a]156def test() {
[4c1b9ea8]157        try {
158                build_stage('Test: short', !Settings.RunAllTests) {
159                        dir (BuildDir) {
[3e93c00]160                                //Run the tests from the tests directory
[4c51aca]161                                sh "make --no-print-directory -C tests archiveerrors=${BuildDir}/tests/crashes/short"
[3e93c00]162                        }
[4c1b9ea8]163                }
164
165                build_stage('Test: full', Settings.RunAllTests) {
166                        dir (BuildDir) {
167                                        //Run the tests from the tests directory
[4c51aca]168                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=yes archiveerrors=${BuildDir}/tests/crashes/full-debug"""
169                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=no  archiveerrors=${BuildDir}/tests/crashes/full-nodebug"""
[143e6f3]170                        }
[9beae23]171                }
[620dd2b]172        }
[4c1b9ea8]173        catch (Exception err) {
174                echo "Archiving core dumps"
[c95fdc9]175                dir (BuildDir) {
176                        archiveArtifacts artifacts: "tests/crashes/**/*", fingerprint: true
177                }
[4c1b9ea8]178                throw err
179        }
[95fdb0a]180}
181
182def benchmark() {
[6c55a3d]183        build_stage('Benchmark', Settings.RunBenchmark) {
[5b8413b4]184                dir (BuildDir) {
[0dc3ac3]185                        //Append bench results
[c6f1f3e]186                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
[0dc3ac3]187                }
[620dd2b]188        }
[9beae23]189}
[efd60d67]190
[95fdb0a]191def build_doc() {
[6c55a3d]192        build_stage('Documentation', Settings.BuildDocumentation) {
[9beae23]193                dir ('doc/user') {
194                        make_doc()
195                }
196
197                dir ('doc/refrat') {
198                        make_doc()
199                }
[620dd2b]200        }
[9beae23]201}
202
[95fdb0a]203def publish() {
[6c55a3d]204        build_stage('Publish', true) {
[95fdb0a]205
[1b3eef8]206                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
[95fdb0a]207
[3221a2b]208                def groupCompile = new PlotGroup('Compilation', 'duration (s) - lower is better', true)
209                def groupConcurrency = new PlotGroup('Concurrency', 'duration (n) - lower is better', false)
[a2a0065]210
[3898392]211                //Then publish the results
[3221a2b]212                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile'       , groupCompile    , false, 'Compilation')
213                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile.diff'  , groupCompile    , true , 'Compilation (relative)')
214                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch'     , groupConcurrency, false, 'Context Switching')
215                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch.diff', groupConcurrency, true , 'Context Switching (relative)')
216                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex'         , groupConcurrency, false, 'Mutual Exclusion')
217                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex.diff'    , groupConcurrency, true , 'Mutual Exclusion (relative)')
218                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal'        , groupConcurrency, false, 'Internal and External Scheduling')
219                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal.diff'   , groupConcurrency, true , 'Internal and External Scheduling (relative)')
[620dd2b]220        }
[95fdb0a]221}
222
[29f4fe62]223//===========================================================================================================
224//Routine responsible of sending the email notification once the build is completed
225//===========================================================================================================
[a336d46]226def GitLogMessage() {
227        if (!Settings || !Settings.GitOldRef || !Settings.GitNewRef) return "\nERROR retrieveing git information!\n"
[e8a22a7]228
[9f5bb817]229        sh "${SrcDir}/tools/PrettyGitLogs.sh ${SrcDir} ${BuildDir} ${Settings.GitOldRef} ${Settings.GitNewRef}"
[6e31c43]230
[eda8175]231        def gitUpdate = readFile("${BuildDir}/GIT_UPDATE")
232        def gitLog    = readFile("${BuildDir}/GIT_LOG")
233        def gitDiff   = readFile("${BuildDir}/GIT_DIFF")
[7a927ed0]234
[a336d46]235        return """
[13c98a4]236<pre>
[848fb00]237The branch ${env.BRANCH_NAME} has been updated.
[7a927ed0]238${gitUpdate}
[13c98a4]239</pre>
240
241<p>Check console output at ${env.BUILD_URL} to view the results.</p>
[7b1a604]242
[13c98a4]243<p>- Status --------------------------------------------------------------</p>
[7b1a604]244
[13c98a4]245<p>BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}</p>
[7b1a604]246
[13c98a4]247<p>- Log -----------------------------------------------------------------</p>
[e8a22a7]248
[13c98a4]249<pre>
[7a927ed0]250${gitLog}
[13c98a4]251</pre>
252
253<p>-----------------------------------------------------------------------</p>
254<pre>
[7b1a604]255Summary of changes:
[7a927ed0]256${gitDiff}
[13c98a4]257</pre>
[7b1a604]258"""
[a336d46]259}
260
261//Standard build email notification
[13c98a4]262def email(boolean log) {
[a336d46]263        //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
264        //Configurations for email format
265        echo 'Notifying users of result'
266
267        def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
268        def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
[13c98a4]269        def email_body = """<p>This is an automated email from the Jenkins build machine. It was
[a336d46]270generated because of a git hooks/post-receive script following
[986e260]271a ref change which was pushed to the C\u2200 repository.</p>
[a336d46]272""" + GitLogMessage()
[e8a22a7]273
[13c98a4]274        def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
[e8a22a7]275
[13c98a4]276        if( Settings && !Settings.Silent ) {
[094a42c]277                //send email notification
278                emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
279        } else {
280                echo "Would send email to: ${email_to}"
281                echo "With title: ${email_subject}"
282                echo "Content: \n${email_body}"
283        }
[e8a22a7]284}
[5b8413b4]285
286//===========================================================================================================
287// Helper classes/variables/routines
288//===========================================================================================================
289//Description of a compiler (Must be serializable since pipelines are persistent)
290class CC_Desc implements Serializable {
[93fe3154]291        public String name
292        public String CXX
[6ebc13f]293        public String CC
[93fe3154]294
[6ebc13f]295        CC_Desc(String name, String CXX, String CC) {
[93fe3154]296                this.name = name
297                this.CXX = CXX
[6ebc13f]298                this.CC = CC
[5b8413b4]299        }
300}
301
302//Description of an architecture (Must be serializable since pipelines are persistent)
303class Arch_Desc implements Serializable {
304        public String name
305        public String flags
[5307c33]306        public String node
[5b8413b4]307
[5307c33]308        Arch_Desc(String name, String flags, String node) {
[5b8413b4]309                this.name  = name
310                this.flags = flags
[5307c33]311                this.node  = node
[5b8413b4]312        }
313}
314
315class BuildSettings implements Serializable {
316        public final CC_Desc Compiler
317        public final Arch_Desc Architecture
318        public final Boolean RunAllTests
319        public final Boolean RunBenchmark
320        public final Boolean BuildDocumentation
321        public final Boolean Publish
322        public final Boolean Silent
323        public final Boolean IsSandbox
324        public final String DescLong
325        public final String DescShort
326
[a336d46]327        public String GitNewRef
328        public String GitOldRef
329
[490cb3c]330        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
[5b8413b4]331                switch( param.Compiler ) {
332                        case 'gcc-6':
333                                this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6')
334                        break
335                        case 'gcc-5':
336                                this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5')
337                        break
338                        case 'gcc-4.9':
339                                this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9')
340                        break
341                        case 'clang':
342                                this.Compiler = new CC_Desc('clang', 'clang++', 'gcc-6')
343                        break
344                        default :
345                                error "Unhandled compiler : ${cc}"
346                }
347
348                switch( param.Architecture ) {
349                        case 'x64':
[a3e8281]350                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
[5b8413b4]351                        break
352                        case 'x86':
[a3e8281]353                                this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
[5b8413b4]354                        break
355                        default :
356                                error "Unhandled architecture : ${arch}"
357                }
358
[f95e8f0]359                this.IsSandbox          = (branch == "jenkins-sandbox")
[5b8413b4]360                this.RunAllTests        = param.RunAllTests
[7a230fd]361                this.RunBenchmark       = param.RunBenchmark
[5b8413b4]362                this.BuildDocumentation = param.BuildDocumentation
[7a230fd]363                this.Publish            = param.Publish
[5b8413b4]364                this.Silent             = param.Silent
365
366                def full = param.RunAllTests ? " (Full)" : ""
[490cb3c]367                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
[5b8413b4]368
[93fe3154]369                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
[5b8413b4]370Architecture            : ${ this.Architecture.name }
371Arc Flags               : ${ this.Architecture.flags }
372Run All Tests           : ${ this.RunAllTests.toString() }
373Run Benchmark           : ${ this.RunBenchmark.toString() }
374Build Documentation     : ${ this.BuildDocumentation.toString() }
375Publish                 : ${ this.Publish.toString() }
376Silent                  : ${ this.Silent.toString() }
377"""
[a336d46]378
379                this.GitNewRef = ''
380                this.GitOldRef = ''
[5b8413b4]381        }
382}
383
[490cb3c]384class PlotGroup implements Serializable {
385        public String name
386        public String unit
387        public boolean log
388
389        PlotGroup(String name, String unit, boolean log) {
390                this.name = name
391                this.unit = unit
392                this.log = log
393        }
394}
395
[5b8413b4]396def prepare_build() {
397        // prepare the properties
398        properties ([                                                                                                   \
399                [$class: 'ParametersDefinitionProperty',                                                                \
400                        parameterDefinitions: [                                                                         \
401                                [$class: 'ChoiceParameterDefinition',                                           \
402                                        description: 'Which compiler to use',                                   \
403                                        name: 'Compiler',                                                                       \
404                                        choices: 'gcc-6\ngcc-5\ngcc-4.9\nclang',                                        \
405                                        defaultValue: 'gcc-6',                                                          \
406                                ],                                                                                              \
407                                [$class: 'ChoiceParameterDefinition',                                           \
408                                        description: 'The target architecture',                                 \
409                                        name: 'Architecture',                                                           \
410                                        choices: 'x64\nx86',                                                            \
411                                        defaultValue: 'x64',                                                            \
412                                ],                                                                                              \
413                                [$class: 'BooleanParameterDefinition',                                                  \
414                                        description: 'If false, only the quick test suite is ran',              \
415                                        name: 'RunAllTests',                                                            \
416                                        defaultValue: false,                                                            \
417                                ],                                                                                              \
418                                [$class: 'BooleanParameterDefinition',                                                  \
419                                        description: 'If true, jenkins also runs benchmarks',           \
420                                        name: 'RunBenchmark',                                                           \
421                                        defaultValue: false,                                                            \
422                                ],                                                                                              \
423                                [$class: 'BooleanParameterDefinition',                                                  \
424                                        description: 'If true, jenkins also builds documentation',              \
425                                        name: 'BuildDocumentation',                                                     \
426                                        defaultValue: true,                                                             \
427                                ],                                                                                              \
428                                [$class: 'BooleanParameterDefinition',                                                  \
429                                        description: 'If true, jenkins also publishes results',                 \
430                                        name: 'Publish',                                                                        \
431                                        defaultValue: false,                                                            \
432                                ],                                                                                              \
433                                [$class: 'BooleanParameterDefinition',                                                  \
434                                        description: 'If true, jenkins will not send emails',           \
435                                        name: 'Silent',                                                                         \
436                                        defaultValue: false,                                                            \
437                                ],                                                                                              \
438                        ],
439                ]])
440
[4c55047]441        // It's unfortunate but it looks like we need to checkout the entire repo just to get the pretty git printer
442        checkout scm
[2407853]443
[490cb3c]444        final settings = new BuildSettings(params, env.BRANCH_NAME)
[5b8413b4]445
446        currentBuild.description = settings.DescShort
447        echo                       settings.DescLong
448
449        return settings
450}
451
[6c55a3d]452def build_stage(String name, boolean run, Closure block ) {
[5b8413b4]453        StageName = name
454        echo " -------- ${StageName} -------- "
[8ecb590]455        if(run) {
456                stage(name, block)
457        } else {
458                stage(name) { Utils.markStageSkippedForConditional(STAGE_NAME) }
459        }
[5b8413b4]460}
461
462def make_doc() {
463        def err = null
464        try {
465                sh 'make clean > /dev/null'
466                sh 'make > /dev/null 2>&1'
467        }
468        catch (Exception caughtError) {
469                err = caughtError //rethrow error later
[65f4a51]470                sh 'cat build/*.log'
[5b8413b4]471        }
472        finally {
473                if (err) throw err // Must re-throw exception to propagate error
474        }
[a2a0065]475}
476
[3221a2b]477def do_plot(boolean new_data, String file, PlotGroup group, boolean relative, String title) {
[8d63649]478
[1b3eef8]479        if(new_data) {
480                echo "Publishing new data"
481        }
482
[cdcd53dc]483        def series = new_data ? [[
[df57a84]484                                file: "${file}.csv",
[3c40dc2a]485                                exclusionValues: '',
486                                displayTableFlag: false,
487                                inclusionFlag: 'OFF',
488                                url: ''
[cdcd53dc]489                        ]] : [];
[8d63649]490
491        echo "file is ${BuildDir}/benchmark/${file}.csv, group ${group}, title ${title}"
492        dir("${BuildDir}/benchmark/") {
493                plot csvFileName: "cforall-${env.BRANCH_NAME}-${file}.csv",
494                        csvSeries: series,
[490cb3c]495                        group: "${group.name}",
[3c40dc2a]496                        title: "${title}",
497                        style: 'lineSimple',
498                        exclZero: false,
499                        keepRecords: false,
[3221a2b]500                        logarithmic: !relative && group.log,
[3c40dc2a]501                        numBuilds: '120',
502                        useDescr: true,
[490cb3c]503                        yaxis: group.unit,
[3c40dc2a]504                        yaxisMaximum: '',
505                        yaxisMinimum: ''
[df57a84]506        }
507}
Note: See TracBrowser for help on using the repository browser.