source: Jenkinsfile @ c57f59d

ADTarm-ehast-experimentalenumforall-pointer-decayjacob/cs343-translationjenkins-sandboxnew-astnew-ast-unique-exprpthread-emulationqualifiedEnum
Last change on this file since c57f59d was c57f59d, checked in by Thierry Delisle <tdelisle@…>, 5 years ago

Tentative fix for call to eachLine which had some warnings

  • Property mode set to 100644
File size: 15.6 KB
Line 
1#!groovy
2
3import groovy.transform.Field
4
5// For skipping stages
6import org.jenkinsci.plugins.pipeline.modeldefinition.Utils
7
8//===========================================================================================================
9// Main loop of the compilation
10//===========================================================================================================
11
12node('master') {
13        // Globals
14        BuildDir  = pwd tmp: true
15        SrcDir    = pwd tmp: false
16        Settings  = null
17        StageName = ''
18
19        // Local variables
20        def err = null
21        def log_needed = false
22
23        currentBuild.result = "SUCCESS"
24
25        try {
26                //Wrap build to add timestamp to command line
27                wrap([$class: 'TimestamperBuildWrapper']) {
28
29                        Settings = prepare_build()
30
31                        node(Settings.Architecture.node) {
32                                BuildDir  = pwd tmp: true
33                                SrcDir    = pwd tmp: false
34
35                                clean()
36
37                                checkout()
38
39                                build()
40
41                                test()
42
43                                benchmark()
44
45                                build_doc()
46
47                                publish()
48                        }
49
50                        // Update the build directories when exiting the node
51                        BuildDir  = pwd tmp: true
52                        SrcDir    = pwd tmp: false
53                }
54        }
55
56        //If an exception is caught we need to change the status and remember to
57        //attach the build log to the email
58        catch (Exception caughtError) {
59                //rethrow error later
60                err = caughtError
61
62                echo err.toString()
63
64                //An error has occured, the build log is relevent
65                log_needed = true
66
67                //Store the result of the build log
68                currentBuild.result = "${StageName} FAILURE".trim()
69        }
70
71        finally {
72                //Send email with final results if this is not a full build
73                email(log_needed)
74
75                echo 'Build Completed'
76
77                /* Must re-throw exception to propagate error */
78                if (err) {
79                        throw err
80                }
81        }
82}
83//===========================================================================================================
84// Main compilation routines
85//===========================================================================================================
86def clean() {
87        build_stage('Cleanup', true) {
88                // clean the build by wipping the build directory
89                dir(BuildDir) {
90                        deleteDir()
91                }
92        }
93}
94
95//Compilation script is done here but environnement set-up and error handling is done in main loop
96def checkout() {
97        build_stage('Checkout', true) {
98                //checkout the source code and clean the repo
99                final scmVars = checkout scm
100                Settings.GitNewRef = scmVars.GIT_COMMIT
101                Settings.GitOldRef = scmVars.GIT_PREVIOUS_COMMIT
102
103                echo GitLogMessage()
104        }
105}
106
107def build() {
108        debug = true
109        release = Settings.RunAllTests || Settings.RunBenchmark
110        build_stage('Build : configure', true) {
111                // Build outside of the src tree to ease cleaning
112                dir (BuildDir) {
113                        //Configure the conpilation (Output is not relevant)
114                        //Use the current directory as the installation target so nothing escapes the sandbox
115                        //Also specify the compiler by hand
116                        targets=""
117                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
118                                targets="--with-target-hosts='host:debug,host:nodebug'"
119                        } else {
120                                targets="--with-target-hosts='host:debug'"
121                        }
122
123                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} ${targets} --quiet"
124
125                        // Configure libcfa
126                        sh 'make -j 8 --no-print-directory configure-libcfa'
127                }
128        }
129
130        build_stage('Build : cfa-cpp', true) {
131                // Build outside of the src tree to ease cleaning
132                dir (BuildDir) {
133                        // Build driver
134                        sh 'make -j 8 --no-print-directory -C driver'
135
136                        // Build translator
137                        sh 'make -j 8 --no-print-directory -C src'
138                }
139        }
140
141        build_stage('Build : libcfa(debug)', debug) {
142                // Build outside of the src tree to ease cleaning
143                dir (BuildDir) {
144                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
145                }
146        }
147
148        build_stage('Build : libcfa(nodebug)', release) {
149                // Build outside of the src tree to ease cleaning
150                dir (BuildDir) {
151                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
152                }
153        }
154}
155
156def test() {
157        try {
158                build_stage('Test: short', !Settings.RunAllTests) {
159                        dir (BuildDir) {
160                                //Run the tests from the tests directory
161                                sh "make --no-print-directory -C tests archiveerrors=${BuildDir}/tests/crashes/short"
162                        }
163                }
164
165                build_stage('Test: full', Settings.RunAllTests) {
166                        dir (BuildDir) {
167                                        //Run the tests from the tests directory
168                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=yes archiveerrors=${BuildDir}/tests/crashes/full-debug"""
169                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=no  archiveerrors=${BuildDir}/tests/crashes/full-nodebug"""
170                        }
171                }
172        }
173        catch (Exception err) {
174                echo "Archiving core dumps"
175                dir (BuildDir) {
176                        archiveArtifacts artifacts: "tests/crashes/**/*", fingerprint: true
177                }
178                throw err
179        }
180}
181
182def benchmark() {
183        build_stage('Benchmark', Settings.RunBenchmark) {
184                dir (BuildDir) {
185                        //Append bench results
186                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
187                }
188        }
189}
190
191def build_doc() {
192        build_stage('Documentation', Settings.BuildDocumentation) {
193                dir ('doc/user') {
194                        make_doc()
195                }
196
197                dir ('doc/refrat') {
198                        make_doc()
199                }
200        }
201}
202
203def publish() {
204        build_stage('Publish', true) {
205
206                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
207
208                def groupCompile = new PlotGroup('Compilation', 'duration (s) - lower is better', true)
209                def groupConcurrency = new PlotGroup('Concurrency', 'duration (n) - lower is better', false)
210
211                //Then publish the results
212                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile'       , groupCompile    , false, 'Compilation')
213                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile.diff'  , groupCompile    , true , 'Compilation (relative)')
214                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch'     , groupConcurrency, false, 'Context Switching')
215                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch.diff', groupConcurrency, true , 'Context Switching (relative)')
216                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex'         , groupConcurrency, false, 'Mutual Exclusion')
217                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex.diff'    , groupConcurrency, true , 'Mutual Exclusion (relative)')
218                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal'        , groupConcurrency, false, 'Internal and External Scheduling')
219                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal.diff'   , groupConcurrency, true , 'Internal and External Scheduling (relative)')
220        }
221}
222
223//===========================================================================================================
224//Routine responsible of sending the email notification once the build is completed
225//===========================================================================================================
226def GitLogMessage() {
227        if (!Settings || !Settings.GitOldRef || !Settings.GitNewRef) return "\nERROR retrieveing git information!\n"
228
229        def oldRef = Settings.GitOldRef
230        def newRef = Settings.GitNewRef
231
232        def revisions = sh(returnStdout: true, script: "git rev-list ${oldRef}..${newRef}").trim().readLines()
233        def gitUpdate = ""
234
235        revisions.each { rev ->
236                def type = sh(returnStdout: true, script: "git cat-file -t ${rev}").trim()
237                gitUpdate = gitUpdate + "       via  ${rev} (${type})"
238        }
239
240        def rev = oldRef
241        def type = sh(returnStdout: true, script: "git cat-file -t ${rev}").trim()
242        gitUpdate = gitUpdate + "      from  ${rev} (${type})"
243
244        def gitLog    = sh(returnStdout: true, script: "git rev-list --format=short ${oldRef}...${newRef}").trim()
245
246        def gitDiff   = sh(returnStdout: true, script: "git diff --stat --color ${newRef} ${oldRef}").trim()
247        gitDiff = gitDiff.replace('[32m', '<span style="color: #00AA00;">')
248        gitDiff = gitDiff.replace('[31m', '<span style="color: #AA0000;">')
249        gitDiff = gitDiff.replace('[m', '</span>')
250
251        return """
252<pre>
253The branch ${env.BRANCH_NAME} has been updated.
254${gitUpdate}
255</pre>
256
257<p>Check console output at ${env.BUILD_URL} to view the results.</p>
258
259<p>- Status --------------------------------------------------------------</p>
260
261<p>BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}</p>
262
263<p>- Log -----------------------------------------------------------------</p>
264
265<pre>
266${gitLog}
267</pre>
268
269<p>-----------------------------------------------------------------------</p>
270<pre>
271Summary of changes:
272${gitDiff}
273</pre>
274"""
275}
276
277//Standard build email notification
278def email(boolean log) {
279        //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
280        //Configurations for email format
281        echo 'Notifying users of result'
282
283        def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
284        def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
285        def email_body = """<p>This is an automated email from the Jenkins build machine. It was
286generated because of a git hooks/post-receive script following
287a ref change which was pushed to the C\u2200 repository.</p>
288""" + GitLogMessage()
289
290        def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
291
292        if( Settings && !Settings.Silent ) {
293                //send email notification
294                emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
295        } else {
296                echo "Would send email to: ${email_to}"
297                echo "With title: ${email_subject}"
298                echo "Content: \n${email_body}"
299        }
300}
301
302//===========================================================================================================
303// Helper classes/variables/routines
304//===========================================================================================================
305//Description of a compiler (Must be serializable since pipelines are persistent)
306class CC_Desc implements Serializable {
307        public String name
308        public String CXX
309        public String CC
310
311        CC_Desc(String name, String CXX, String CC) {
312                this.name = name
313                this.CXX = CXX
314                this.CC = CC
315        }
316}
317
318//Description of an architecture (Must be serializable since pipelines are persistent)
319class Arch_Desc implements Serializable {
320        public String name
321        public String flags
322        public String node
323
324        Arch_Desc(String name, String flags, String node) {
325                this.name  = name
326                this.flags = flags
327                this.node  = node
328        }
329}
330
331class BuildSettings implements Serializable {
332        public final CC_Desc Compiler
333        public final Arch_Desc Architecture
334        public final Boolean RunAllTests
335        public final Boolean RunBenchmark
336        public final Boolean BuildDocumentation
337        public final Boolean Publish
338        public final Boolean Silent
339        public final Boolean IsSandbox
340        public final String DescLong
341        public final String DescShort
342
343        public String GitNewRef
344        public String GitOldRef
345
346        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
347                switch( param.Compiler ) {
348                        case 'gcc-6':
349                                this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6')
350                        break
351                        case 'gcc-5':
352                                this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5')
353                        break
354                        case 'gcc-4.9':
355                                this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9')
356                        break
357                        case 'clang':
358                                this.Compiler = new CC_Desc('clang', 'clang++', 'gcc-6')
359                        break
360                        default :
361                                error "Unhandled compiler : ${cc}"
362                }
363
364                switch( param.Architecture ) {
365                        case 'x64':
366                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
367                        break
368                        case 'x86':
369                                this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
370                        break
371                        default :
372                                error "Unhandled architecture : ${arch}"
373                }
374
375                this.IsSandbox          = (branch == "jenkins-sandbox")
376                this.RunAllTests        = param.RunAllTests
377                this.RunBenchmark       = param.RunBenchmark
378                this.BuildDocumentation = param.BuildDocumentation
379                this.Publish            = param.Publish
380                this.Silent             = param.Silent
381
382                def full = param.RunAllTests ? " (Full)" : ""
383                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
384
385                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
386Architecture            : ${ this.Architecture.name }
387Arc Flags               : ${ this.Architecture.flags }
388Run All Tests           : ${ this.RunAllTests.toString() }
389Run Benchmark           : ${ this.RunBenchmark.toString() }
390Build Documentation     : ${ this.BuildDocumentation.toString() }
391Publish                 : ${ this.Publish.toString() }
392Silent                  : ${ this.Silent.toString() }
393"""
394
395                this.GitNewRef = ''
396                this.GitOldRef = ''
397        }
398}
399
400class PlotGroup implements Serializable {
401        public String name
402        public String unit
403        public boolean log
404
405        PlotGroup(String name, String unit, boolean log) {
406                this.name = name
407                this.unit = unit
408                this.log = log
409        }
410}
411
412def prepare_build() {
413        // prepare the properties
414        properties ([                                                                                                   \
415                [$class: 'ParametersDefinitionProperty',                                                                \
416                        parameterDefinitions: [                                                                         \
417                                [$class: 'ChoiceParameterDefinition',                                           \
418                                        description: 'Which compiler to use',                                   \
419                                        name: 'Compiler',                                                                       \
420                                        choices: 'gcc-6\ngcc-5\ngcc-4.9\nclang',                                        \
421                                        defaultValue: 'gcc-6',                                                          \
422                                ],                                                                                              \
423                                [$class: 'ChoiceParameterDefinition',                                           \
424                                        description: 'The target architecture',                                 \
425                                        name: 'Architecture',                                                           \
426                                        choices: 'x64\nx86',                                                            \
427                                        defaultValue: 'x64',                                                            \
428                                ],                                                                                              \
429                                [$class: 'BooleanParameterDefinition',                                                  \
430                                        description: 'If false, only the quick test suite is ran',              \
431                                        name: 'RunAllTests',                                                            \
432                                        defaultValue: false,                                                            \
433                                ],                                                                                              \
434                                [$class: 'BooleanParameterDefinition',                                                  \
435                                        description: 'If true, jenkins also runs benchmarks',           \
436                                        name: 'RunBenchmark',                                                           \
437                                        defaultValue: false,                                                            \
438                                ],                                                                                              \
439                                [$class: 'BooleanParameterDefinition',                                                  \
440                                        description: 'If true, jenkins also builds documentation',              \
441                                        name: 'BuildDocumentation',                                                     \
442                                        defaultValue: true,                                                             \
443                                ],                                                                                              \
444                                [$class: 'BooleanParameterDefinition',                                                  \
445                                        description: 'If true, jenkins also publishes results',                 \
446                                        name: 'Publish',                                                                        \
447                                        defaultValue: false,                                                            \
448                                ],                                                                                              \
449                                [$class: 'BooleanParameterDefinition',                                                  \
450                                        description: 'If true, jenkins will not send emails',           \
451                                        name: 'Silent',                                                                         \
452                                        defaultValue: false,                                                            \
453                                ],                                                                                              \
454                        ],
455                ]])
456
457        // It's unfortunate but it looks like we need to checkout the entire repo just to get the pretty git printer
458        checkout scm
459
460        final settings = new BuildSettings(params, env.BRANCH_NAME)
461
462        currentBuild.description = settings.DescShort
463        echo                       settings.DescLong
464
465        return settings
466}
467
468def build_stage(String name, boolean run, Closure block ) {
469        StageName = name
470        echo " -------- ${StageName} -------- "
471        if(run) {
472                stage(name, block)
473        } else {
474                stage(name) { Utils.markStageSkippedForConditional(STAGE_NAME) }
475        }
476}
477
478def make_doc() {
479        def err = null
480        try {
481                sh 'make clean > /dev/null'
482                sh 'make > /dev/null 2>&1'
483        }
484        catch (Exception caughtError) {
485                err = caughtError //rethrow error later
486                sh 'cat build/*.log'
487        }
488        finally {
489                if (err) throw err // Must re-throw exception to propagate error
490        }
491}
492
493def do_plot(boolean new_data, String file, PlotGroup group, boolean relative, String title) {
494
495        if(new_data) {
496                echo "Publishing new data"
497        }
498
499        def series = new_data ? [[
500                                file: "${file}.csv",
501                                exclusionValues: '',
502                                displayTableFlag: false,
503                                inclusionFlag: 'OFF',
504                                url: ''
505                        ]] : [];
506
507        echo "file is ${BuildDir}/benchmark/${file}.csv, group ${group}, title ${title}"
508        dir("${BuildDir}/benchmark/") {
509                plot csvFileName: "cforall-${env.BRANCH_NAME}-${file}.csv",
510                        csvSeries: series,
511                        group: "${group.name}",
512                        title: "${title}",
513                        style: 'lineSimple',
514                        exclZero: false,
515                        keepRecords: false,
516                        logarithmic: !relative && group.log,
517                        numBuilds: '120',
518                        useDescr: true,
519                        yaxis: group.unit,
520                        yaxisMaximum: '',
521                        yaxisMinimum: ''
522        }
523}
Note: See TracBrowser for help on using the repository browser.