source: Jenkinsfile @ fce01e7

ADTarm-ehast-experimentalenumforall-pointer-decayjacob/cs343-translationjenkins-sandboxnew-astnew-ast-unique-exprpthread-emulationqualifiedEnum
Last change on this file since fce01e7 was fce01e7, checked in by Thierry Delisle <tdelisle@…>, 5 years ago

Removing need for PrettyGitLog?

  • Property mode set to 100644
File size: 15.6 KB
Line 
1#!groovy
2
3import groovy.transform.Field
4
5// For skipping stages
6import org.jenkinsci.plugins.pipeline.modeldefinition.Utils
7
8//===========================================================================================================
9// Main loop of the compilation
10//===========================================================================================================
11
12node('master') {
13        // Globals
14        BuildDir  = pwd tmp: true
15        SrcDir    = pwd tmp: false
16        Settings  = null
17        StageName = ''
18
19        // Local variables
20        def err = null
21        def log_needed = false
22
23        currentBuild.result = "SUCCESS"
24
25        try {
26                //Wrap build to add timestamp to command line
27                wrap([$class: 'TimestamperBuildWrapper']) {
28
29                        Settings = prepare_build()
30
31                        node(Settings.Architecture.node) {
32                                BuildDir  = pwd tmp: true
33                                SrcDir    = pwd tmp: false
34
35                                clean()
36
37                                checkout()
38
39                                build()
40
41                                test()
42
43                                benchmark()
44
45                                build_doc()
46
47                                publish()
48                        }
49
50                        // Update the build directories when exiting the node
51                        BuildDir  = pwd tmp: true
52                        SrcDir    = pwd tmp: false
53                }
54        }
55
56        //If an exception is caught we need to change the status and remember to
57        //attach the build log to the email
58        catch (Exception caughtError) {
59                //rethrow error later
60                err = caughtError
61
62                echo err.toString()
63
64                //An error has occured, the build log is relevent
65                log_needed = true
66
67                //Store the result of the build log
68                currentBuild.result = "${StageName} FAILURE".trim()
69        }
70
71        finally {
72                //Send email with final results if this is not a full build
73                email(log_needed)
74
75                echo 'Build Completed'
76
77                /* Must re-throw exception to propagate error */
78                if (err) {
79                        throw err
80                }
81        }
82}
83//===========================================================================================================
84// Main compilation routines
85//===========================================================================================================
86def clean() {
87        build_stage('Cleanup', true) {
88                // clean the build by wipping the build directory
89                dir(BuildDir) {
90                        deleteDir()
91                }
92        }
93}
94
95//Compilation script is done here but environnement set-up and error handling is done in main loop
96def checkout() {
97        build_stage('Checkout', true) {
98                //checkout the source code and clean the repo
99                final scmVars = checkout scm
100                Settings.GitNewRef = scmVars.GIT_COMMIT
101                Settings.GitOldRef = scmVars.GIT_PREVIOUS_COMMIT
102
103                echo GitLogMessage()
104        }
105}
106
107def build() {
108        debug = true
109        release = Settings.RunAllTests || Settings.RunBenchmark
110        build_stage('Build : configure', true) {
111                // Build outside of the src tree to ease cleaning
112                dir (BuildDir) {
113                        //Configure the conpilation (Output is not relevant)
114                        //Use the current directory as the installation target so nothing escapes the sandbox
115                        //Also specify the compiler by hand
116                        targets=""
117                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
118                                targets="--with-target-hosts='host:debug,host:nodebug'"
119                        } else {
120                                targets="--with-target-hosts='host:debug'"
121                        }
122
123                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} ${targets} --quiet"
124
125                        // Configure libcfa
126                        sh 'make -j 8 --no-print-directory configure-libcfa'
127                }
128        }
129
130        build_stage('Build : cfa-cpp', true) {
131                // Build outside of the src tree to ease cleaning
132                dir (BuildDir) {
133                        // Build driver
134                        sh 'make -j 8 --no-print-directory -C driver'
135
136                        // Build translator
137                        sh 'make -j 8 --no-print-directory -C src'
138                }
139        }
140
141        build_stage('Build : libcfa(debug)', debug) {
142                // Build outside of the src tree to ease cleaning
143                dir (BuildDir) {
144                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
145                }
146        }
147
148        build_stage('Build : libcfa(nodebug)', release) {
149                // Build outside of the src tree to ease cleaning
150                dir (BuildDir) {
151                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
152                }
153        }
154}
155
156def test() {
157        try {
158                build_stage('Test: short', !Settings.RunAllTests) {
159                        dir (BuildDir) {
160                                //Run the tests from the tests directory
161                                sh "make --no-print-directory -C tests archiveerrors=${BuildDir}/tests/crashes/short"
162                        }
163                }
164
165                build_stage('Test: full', Settings.RunAllTests) {
166                        dir (BuildDir) {
167                                        //Run the tests from the tests directory
168                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=yes archiveerrors=${BuildDir}/tests/crashes/full-debug"""
169                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=no  archiveerrors=${BuildDir}/tests/crashes/full-nodebug"""
170                        }
171                }
172        }
173        catch (Exception err) {
174                echo "Archiving core dumps"
175                dir (BuildDir) {
176                        archiveArtifacts artifacts: "tests/crashes/**/*", fingerprint: true
177                }
178                throw err
179        }
180}
181
182def benchmark() {
183        build_stage('Benchmark', Settings.RunBenchmark) {
184                dir (BuildDir) {
185                        //Append bench results
186                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
187                }
188        }
189}
190
191def build_doc() {
192        build_stage('Documentation', Settings.BuildDocumentation) {
193                dir ('doc/user') {
194                        make_doc()
195                }
196
197                dir ('doc/refrat') {
198                        make_doc()
199                }
200        }
201}
202
203def publish() {
204        build_stage('Publish', true) {
205
206                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
207
208                def groupCompile = new PlotGroup('Compilation', 'duration (s) - lower is better', true)
209                def groupConcurrency = new PlotGroup('Concurrency', 'duration (n) - lower is better', false)
210
211                //Then publish the results
212                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile'       , groupCompile    , false, 'Compilation')
213                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile.diff'  , groupCompile    , true , 'Compilation (relative)')
214                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch'     , groupConcurrency, false, 'Context Switching')
215                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch.diff', groupConcurrency, true , 'Context Switching (relative)')
216                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex'         , groupConcurrency, false, 'Mutual Exclusion')
217                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex.diff'    , groupConcurrency, true , 'Mutual Exclusion (relative)')
218                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal'        , groupConcurrency, false, 'Internal and External Scheduling')
219                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal.diff'   , groupConcurrency, true , 'Internal and External Scheduling (relative)')
220        }
221}
222
223//===========================================================================================================
224//Routine responsible of sending the email notification once the build is completed
225//===========================================================================================================
226def GitLogMessage() {
227        if (!Settings || !Settings.GitOldRef || !Settings.GitNewRef) return "\nERROR retrieveing git information!\n"
228
229        def oldRef = Settings.GitOldRef
230        def newRef = Settings.GitNewRef
231
232        def revisions = sh(returnStdout: true, script: "git rev-list ${Settings.GitOldRef}..${Settings.GitNewRef}")
233        def gitUpdate = ""
234
235        revisions.eachLine {
236                def rev = it
237                def type = sh(returnStdout: true, script: "git cat-file -t ${rev}")
238                gitUpdate = gitUpdate + "       via  ${rev} (${type})"
239        }
240
241        def rev = oldRef
242        def type = sh(returnStdout: true, script: "git cat-file -t ${rev}")
243        gitUpdate = gitUpdate + "       via  ${rev} (${type})"
244
245        def gitLog    = sh(returnStdout: true, script: "git rev-list --format=short ${oldRef}...${newRef}")
246
247        def gitDiff   = sh(returnStdout: true, script: "git diff --stat --color ${newRef} ${oldRef}")
248        gitDiff = gitDiff.replace('[32m', '<span style="color: #00AA00;">')
249        gitDiff = gitDiff.replace('[31m', '<span style="color: #AA0000;">')
250        gitDiff = gitDiff.replace('[m', '</span>')
251
252        return """
253<pre>
254The branch ${env.BRANCH_NAME} has been updated.
255${gitUpdate}
256</pre>
257
258<p>Check console output at ${env.BUILD_URL} to view the results.</p>
259
260<p>- Status --------------------------------------------------------------</p>
261
262<p>BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}</p>
263
264<p>- Log -----------------------------------------------------------------</p>
265
266<pre>
267${gitLog}
268</pre>
269
270<p>-----------------------------------------------------------------------</p>
271<pre>
272Summary of changes:
273${gitDiff}
274</pre>
275"""
276}
277
278//Standard build email notification
279def email(boolean log) {
280        //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
281        //Configurations for email format
282        echo 'Notifying users of result'
283
284        def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
285        def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
286        def email_body = """<p>This is an automated email from the Jenkins build machine. It was
287generated because of a git hooks/post-receive script following
288a ref change which was pushed to the C\u2200 repository.</p>
289""" + GitLogMessage()
290
291        def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
292
293        if( Settings && !Settings.Silent ) {
294                //send email notification
295                emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
296        } else {
297                echo "Would send email to: ${email_to}"
298                echo "With title: ${email_subject}"
299                echo "Content: \n${email_body}"
300        }
301}
302
303//===========================================================================================================
304// Helper classes/variables/routines
305//===========================================================================================================
306//Description of a compiler (Must be serializable since pipelines are persistent)
307class CC_Desc implements Serializable {
308        public String name
309        public String CXX
310        public String CC
311
312        CC_Desc(String name, String CXX, String CC) {
313                this.name = name
314                this.CXX = CXX
315                this.CC = CC
316        }
317}
318
319//Description of an architecture (Must be serializable since pipelines are persistent)
320class Arch_Desc implements Serializable {
321        public String name
322        public String flags
323        public String node
324
325        Arch_Desc(String name, String flags, String node) {
326                this.name  = name
327                this.flags = flags
328                this.node  = node
329        }
330}
331
332class BuildSettings implements Serializable {
333        public final CC_Desc Compiler
334        public final Arch_Desc Architecture
335        public final Boolean RunAllTests
336        public final Boolean RunBenchmark
337        public final Boolean BuildDocumentation
338        public final Boolean Publish
339        public final Boolean Silent
340        public final Boolean IsSandbox
341        public final String DescLong
342        public final String DescShort
343
344        public String GitNewRef
345        public String GitOldRef
346
347        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
348                switch( param.Compiler ) {
349                        case 'gcc-6':
350                                this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6')
351                        break
352                        case 'gcc-5':
353                                this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5')
354                        break
355                        case 'gcc-4.9':
356                                this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9')
357                        break
358                        case 'clang':
359                                this.Compiler = new CC_Desc('clang', 'clang++', 'gcc-6')
360                        break
361                        default :
362                                error "Unhandled compiler : ${cc}"
363                }
364
365                switch( param.Architecture ) {
366                        case 'x64':
367                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
368                        break
369                        case 'x86':
370                                this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
371                        break
372                        default :
373                                error "Unhandled architecture : ${arch}"
374                }
375
376                this.IsSandbox          = (branch == "jenkins-sandbox")
377                this.RunAllTests        = param.RunAllTests
378                this.RunBenchmark       = param.RunBenchmark
379                this.BuildDocumentation = param.BuildDocumentation
380                this.Publish            = param.Publish
381                this.Silent             = param.Silent
382
383                def full = param.RunAllTests ? " (Full)" : ""
384                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
385
386                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
387Architecture            : ${ this.Architecture.name }
388Arc Flags               : ${ this.Architecture.flags }
389Run All Tests           : ${ this.RunAllTests.toString() }
390Run Benchmark           : ${ this.RunBenchmark.toString() }
391Build Documentation     : ${ this.BuildDocumentation.toString() }
392Publish                 : ${ this.Publish.toString() }
393Silent                  : ${ this.Silent.toString() }
394"""
395
396                this.GitNewRef = ''
397                this.GitOldRef = ''
398        }
399}
400
401class PlotGroup implements Serializable {
402        public String name
403        public String unit
404        public boolean log
405
406        PlotGroup(String name, String unit, boolean log) {
407                this.name = name
408                this.unit = unit
409                this.log = log
410        }
411}
412
413def prepare_build() {
414        // prepare the properties
415        properties ([                                                                                                   \
416                [$class: 'ParametersDefinitionProperty',                                                                \
417                        parameterDefinitions: [                                                                         \
418                                [$class: 'ChoiceParameterDefinition',                                           \
419                                        description: 'Which compiler to use',                                   \
420                                        name: 'Compiler',                                                                       \
421                                        choices: 'gcc-6\ngcc-5\ngcc-4.9\nclang',                                        \
422                                        defaultValue: 'gcc-6',                                                          \
423                                ],                                                                                              \
424                                [$class: 'ChoiceParameterDefinition',                                           \
425                                        description: 'The target architecture',                                 \
426                                        name: 'Architecture',                                                           \
427                                        choices: 'x64\nx86',                                                            \
428                                        defaultValue: 'x64',                                                            \
429                                ],                                                                                              \
430                                [$class: 'BooleanParameterDefinition',                                                  \
431                                        description: 'If false, only the quick test suite is ran',              \
432                                        name: 'RunAllTests',                                                            \
433                                        defaultValue: false,                                                            \
434                                ],                                                                                              \
435                                [$class: 'BooleanParameterDefinition',                                                  \
436                                        description: 'If true, jenkins also runs benchmarks',           \
437                                        name: 'RunBenchmark',                                                           \
438                                        defaultValue: false,                                                            \
439                                ],                                                                                              \
440                                [$class: 'BooleanParameterDefinition',                                                  \
441                                        description: 'If true, jenkins also builds documentation',              \
442                                        name: 'BuildDocumentation',                                                     \
443                                        defaultValue: true,                                                             \
444                                ],                                                                                              \
445                                [$class: 'BooleanParameterDefinition',                                                  \
446                                        description: 'If true, jenkins also publishes results',                 \
447                                        name: 'Publish',                                                                        \
448                                        defaultValue: false,                                                            \
449                                ],                                                                                              \
450                                [$class: 'BooleanParameterDefinition',                                                  \
451                                        description: 'If true, jenkins will not send emails',           \
452                                        name: 'Silent',                                                                         \
453                                        defaultValue: false,                                                            \
454                                ],                                                                                              \
455                        ],
456                ]])
457
458        // It's unfortunate but it looks like we need to checkout the entire repo just to get the pretty git printer
459        checkout scm
460
461        final settings = new BuildSettings(params, env.BRANCH_NAME)
462
463        currentBuild.description = settings.DescShort
464        echo                       settings.DescLong
465
466        return settings
467}
468
469def build_stage(String name, boolean run, Closure block ) {
470        StageName = name
471        echo " -------- ${StageName} -------- "
472        if(run) {
473                stage(name, block)
474        } else {
475                stage(name) { Utils.markStageSkippedForConditional(STAGE_NAME) }
476        }
477}
478
479def make_doc() {
480        def err = null
481        try {
482                sh 'make clean > /dev/null'
483                sh 'make > /dev/null 2>&1'
484        }
485        catch (Exception caughtError) {
486                err = caughtError //rethrow error later
487                sh 'cat build/*.log'
488        }
489        finally {
490                if (err) throw err // Must re-throw exception to propagate error
491        }
492}
493
494def do_plot(boolean new_data, String file, PlotGroup group, boolean relative, String title) {
495
496        if(new_data) {
497                echo "Publishing new data"
498        }
499
500        def series = new_data ? [[
501                                file: "${file}.csv",
502                                exclusionValues: '',
503                                displayTableFlag: false,
504                                inclusionFlag: 'OFF',
505                                url: ''
506                        ]] : [];
507
508        echo "file is ${BuildDir}/benchmark/${file}.csv, group ${group}, title ${title}"
509        dir("${BuildDir}/benchmark/") {
510                plot csvFileName: "cforall-${env.BRANCH_NAME}-${file}.csv",
511                        csvSeries: series,
512                        group: "${group.name}",
513                        title: "${title}",
514                        style: 'lineSimple',
515                        exclZero: false,
516                        keepRecords: false,
517                        logarithmic: !relative && group.log,
518                        numBuilds: '120',
519                        useDescr: true,
520                        yaxis: group.unit,
521                        yaxisMaximum: '',
522                        yaxisMinimum: ''
523        }
524}
Note: See TracBrowser for help on using the repository browser.