source: Jenkinsfile @ 6badd87

ADTarm-ehast-experimentalenumforall-pointer-decayjacob/cs343-translationjenkins-sandboxnew-astnew-ast-unique-exprpthread-emulationqualifiedEnum
Last change on this file since 6badd87 was 6badd87, checked in by Thierry Delisle <tdelisle@…>, 5 years ago

Testing calls to git from Jenkinsfile rather than PrettyGitLog?.sh, in an effort to not run inside a node

  • Property mode set to 100644
File size: 15.1 KB
Line 
1#!groovy
2
3import groovy.transform.Field
4
5// For skipping stages
6import org.jenkinsci.plugins.pipeline.modeldefinition.Utils
7
8//===========================================================================================================
9// Main loop of the compilation
10//===========================================================================================================
11
12node('master') {
13        // Globals
14        BuildDir  = pwd tmp: true
15        SrcDir    = pwd tmp: false
16        Settings  = null
17        StageName = ''
18
19        // Local variables
20        def err = null
21        def log_needed = false
22
23        currentBuild.result = "SUCCESS"
24
25        try {
26                //Wrap build to add timestamp to command line
27                wrap([$class: 'TimestamperBuildWrapper']) {
28
29                        Settings = prepare_build()
30
31                        node(Settings.Architecture.node) {
32                                BuildDir  = pwd tmp: true
33                                SrcDir    = pwd tmp: false
34
35                                clean()
36
37                                checkout()
38
39                                build()
40
41                                test()
42
43                                benchmark()
44
45                                build_doc()
46
47                                publish()
48                        }
49
50                        // Update the build directories when exiting the node
51                        BuildDir  = pwd tmp: true
52                        SrcDir    = pwd tmp: false
53                }
54        }
55
56        //If an exception is caught we need to change the status and remember to
57        //attach the build log to the email
58        catch (Exception caughtError) {
59                //rethrow error later
60                err = caughtError
61
62                echo err.toString()
63
64                //An error has occured, the build log is relevent
65                log_needed = true
66
67                //Store the result of the build log
68                currentBuild.result = "${StageName} FAILURE".trim()
69        }
70
71        finally {
72                //Send email with final results if this is not a full build
73                email(log_needed)
74
75                echo 'Build Completed'
76
77                /* Must re-throw exception to propagate error */
78                if (err) {
79                        throw err
80                }
81        }
82}
83//===========================================================================================================
84// Main compilation routines
85//===========================================================================================================
86def clean() {
87        build_stage('Cleanup', true) {
88                // clean the build by wipping the build directory
89                dir(BuildDir) {
90                        deleteDir()
91                }
92        }
93}
94
95//Compilation script is done here but environnement set-up and error handling is done in main loop
96def checkout() {
97        build_stage('Checkout', true) {
98                //checkout the source code and clean the repo
99                final scmVars = checkout scm
100                Settings.GitNewRef = scmVars.GIT_COMMIT
101                Settings.GitOldRef = scmVars.GIT_PREVIOUS_COMMIT
102
103                echo GitLogMessage()
104        }
105}
106
107def build() {
108        debug = true
109        release = Settings.RunAllTests || Settings.RunBenchmark
110        build_stage('Build : configure', true) {
111                // Build outside of the src tree to ease cleaning
112                dir (BuildDir) {
113                        //Configure the conpilation (Output is not relevant)
114                        //Use the current directory as the installation target so nothing escapes the sandbox
115                        //Also specify the compiler by hand
116                        targets=""
117                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
118                                targets="--with-target-hosts='host:debug,host:nodebug'"
119                        } else {
120                                targets="--with-target-hosts='host:debug'"
121                        }
122
123                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} ${targets} --quiet"
124
125                        // Configure libcfa
126                        sh 'make -j 8 --no-print-directory configure-libcfa'
127                }
128        }
129
130        build_stage('Build : cfa-cpp', true) {
131                // Build outside of the src tree to ease cleaning
132                dir (BuildDir) {
133                        // Build driver
134                        sh 'make -j 8 --no-print-directory -C driver'
135
136                        // Build translator
137                        sh 'make -j 8 --no-print-directory -C src'
138                }
139        }
140
141        build_stage('Build : libcfa(debug)', debug) {
142                // Build outside of the src tree to ease cleaning
143                dir (BuildDir) {
144                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
145                }
146        }
147
148        build_stage('Build : libcfa(nodebug)', release) {
149                // Build outside of the src tree to ease cleaning
150                dir (BuildDir) {
151                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
152                }
153        }
154}
155
156def test() {
157        try {
158                build_stage('Test: short', !Settings.RunAllTests) {
159                        dir (BuildDir) {
160                                //Run the tests from the tests directory
161                                sh "make --no-print-directory -C tests archiveerrors=${BuildDir}/tests/crashes/short"
162                        }
163                }
164
165                build_stage('Test: full', Settings.RunAllTests) {
166                        dir (BuildDir) {
167                                        //Run the tests from the tests directory
168                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=yes archiveerrors=${BuildDir}/tests/crashes/full-debug"""
169                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=no  archiveerrors=${BuildDir}/tests/crashes/full-nodebug"""
170                        }
171                }
172        }
173        catch (Exception err) {
174                echo "Archiving core dumps"
175                dir (BuildDir) {
176                        archiveArtifacts artifacts: "tests/crashes/**/*", fingerprint: true
177                }
178                throw err
179        }
180}
181
182def benchmark() {
183        build_stage('Benchmark', Settings.RunBenchmark) {
184                dir (BuildDir) {
185                        //Append bench results
186                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
187                }
188        }
189}
190
191def build_doc() {
192        build_stage('Documentation', Settings.BuildDocumentation) {
193                dir ('doc/user') {
194                        make_doc()
195                }
196
197                dir ('doc/refrat') {
198                        make_doc()
199                }
200        }
201}
202
203def publish() {
204        build_stage('Publish', true) {
205
206                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
207
208                def groupCompile = new PlotGroup('Compilation', 'duration (s) - lower is better', true)
209                def groupConcurrency = new PlotGroup('Concurrency', 'duration (n) - lower is better', false)
210
211                //Then publish the results
212                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile'       , groupCompile    , false, 'Compilation')
213                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile.diff'  , groupCompile    , true , 'Compilation (relative)')
214                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch'     , groupConcurrency, false, 'Context Switching')
215                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch.diff', groupConcurrency, true , 'Context Switching (relative)')
216                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex'         , groupConcurrency, false, 'Mutual Exclusion')
217                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex.diff'    , groupConcurrency, true , 'Mutual Exclusion (relative)')
218                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal'        , groupConcurrency, false, 'Internal and External Scheduling')
219                do_plot(Settings.RunBenchmark && Settings.Publish, 'signal.diff'   , groupConcurrency, true , 'Internal and External Scheduling (relative)')
220        }
221}
222
223//===========================================================================================================
224//Routine responsible of sending the email notification once the build is completed
225//===========================================================================================================
226def GitLogMessage() {
227        if (!Settings || !Settings.GitOldRef || !Settings.GitNewRef) return "\nERROR retrieveing git information!\n"
228
229        // sh "${SrcDir}/tools/PrettyGitLogs.sh ${SrcDir} ${BuildDir} ${Settings.GitOldRef} ${Settings.GitNewRef}"
230
231        def result = sh(returnStdout: true, script: "git rev-list ${Settings.GitOldRef}..${Settings.GitNewRef}")
232        echo result
233
234        def gitUpdate = readFile("${BuildDir}/GIT_UPDATE")
235        def gitLog    = sh(returnStdout: true, script: "git rev-list --format=short ${Settings.GitOldRef}...${Settings.GitNewRef}")
236        def gitDiff   = readFile("${BuildDir}/GIT_DIFF")
237
238        return """
239<pre>
240The branch ${env.BRANCH_NAME} has been updated.
241${gitUpdate}
242</pre>
243
244<p>Check console output at ${env.BUILD_URL} to view the results.</p>
245
246<p>- Status --------------------------------------------------------------</p>
247
248<p>BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}</p>
249
250<p>- Log -----------------------------------------------------------------</p>
251
252<pre>
253${gitLog}
254</pre>
255
256<p>-----------------------------------------------------------------------</p>
257<pre>
258Summary of changes:
259${gitDiff}
260</pre>
261"""
262}
263
264//Standard build email notification
265def email(boolean log) {
266        //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
267        //Configurations for email format
268        echo 'Notifying users of result'
269
270        def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
271        def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
272        def email_body = """<p>This is an automated email from the Jenkins build machine. It was
273generated because of a git hooks/post-receive script following
274a ref change which was pushed to the C\u2200 repository.</p>
275""" + GitLogMessage()
276
277        def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
278
279        if( Settings && !Settings.Silent ) {
280                //send email notification
281                emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
282        } else {
283                echo "Would send email to: ${email_to}"
284                echo "With title: ${email_subject}"
285                echo "Content: \n${email_body}"
286        }
287}
288
289//===========================================================================================================
290// Helper classes/variables/routines
291//===========================================================================================================
292//Description of a compiler (Must be serializable since pipelines are persistent)
293class CC_Desc implements Serializable {
294        public String name
295        public String CXX
296        public String CC
297
298        CC_Desc(String name, String CXX, String CC) {
299                this.name = name
300                this.CXX = CXX
301                this.CC = CC
302        }
303}
304
305//Description of an architecture (Must be serializable since pipelines are persistent)
306class Arch_Desc implements Serializable {
307        public String name
308        public String flags
309        public String node
310
311        Arch_Desc(String name, String flags, String node) {
312                this.name  = name
313                this.flags = flags
314                this.node  = node
315        }
316}
317
318class BuildSettings implements Serializable {
319        public final CC_Desc Compiler
320        public final Arch_Desc Architecture
321        public final Boolean RunAllTests
322        public final Boolean RunBenchmark
323        public final Boolean BuildDocumentation
324        public final Boolean Publish
325        public final Boolean Silent
326        public final Boolean IsSandbox
327        public final String DescLong
328        public final String DescShort
329
330        public String GitNewRef
331        public String GitOldRef
332
333        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
334                switch( param.Compiler ) {
335                        case 'gcc-6':
336                                this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6')
337                        break
338                        case 'gcc-5':
339                                this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5')
340                        break
341                        case 'gcc-4.9':
342                                this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9')
343                        break
344                        case 'clang':
345                                this.Compiler = new CC_Desc('clang', 'clang++', 'gcc-6')
346                        break
347                        default :
348                                error "Unhandled compiler : ${cc}"
349                }
350
351                switch( param.Architecture ) {
352                        case 'x64':
353                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
354                        break
355                        case 'x86':
356                                this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
357                        break
358                        default :
359                                error "Unhandled architecture : ${arch}"
360                }
361
362                this.IsSandbox          = (branch == "jenkins-sandbox")
363                this.RunAllTests        = param.RunAllTests
364                this.RunBenchmark       = param.RunBenchmark
365                this.BuildDocumentation = param.BuildDocumentation
366                this.Publish            = param.Publish
367                this.Silent             = param.Silent
368
369                def full = param.RunAllTests ? " (Full)" : ""
370                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
371
372                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
373Architecture            : ${ this.Architecture.name }
374Arc Flags               : ${ this.Architecture.flags }
375Run All Tests           : ${ this.RunAllTests.toString() }
376Run Benchmark           : ${ this.RunBenchmark.toString() }
377Build Documentation     : ${ this.BuildDocumentation.toString() }
378Publish                 : ${ this.Publish.toString() }
379Silent                  : ${ this.Silent.toString() }
380"""
381
382                this.GitNewRef = ''
383                this.GitOldRef = ''
384        }
385}
386
387class PlotGroup implements Serializable {
388        public String name
389        public String unit
390        public boolean log
391
392        PlotGroup(String name, String unit, boolean log) {
393                this.name = name
394                this.unit = unit
395                this.log = log
396        }
397}
398
399def prepare_build() {
400        // prepare the properties
401        properties ([                                                                                                   \
402                [$class: 'ParametersDefinitionProperty',                                                                \
403                        parameterDefinitions: [                                                                         \
404                                [$class: 'ChoiceParameterDefinition',                                           \
405                                        description: 'Which compiler to use',                                   \
406                                        name: 'Compiler',                                                                       \
407                                        choices: 'gcc-6\ngcc-5\ngcc-4.9\nclang',                                        \
408                                        defaultValue: 'gcc-6',                                                          \
409                                ],                                                                                              \
410                                [$class: 'ChoiceParameterDefinition',                                           \
411                                        description: 'The target architecture',                                 \
412                                        name: 'Architecture',                                                           \
413                                        choices: 'x64\nx86',                                                            \
414                                        defaultValue: 'x64',                                                            \
415                                ],                                                                                              \
416                                [$class: 'BooleanParameterDefinition',                                                  \
417                                        description: 'If false, only the quick test suite is ran',              \
418                                        name: 'RunAllTests',                                                            \
419                                        defaultValue: false,                                                            \
420                                ],                                                                                              \
421                                [$class: 'BooleanParameterDefinition',                                                  \
422                                        description: 'If true, jenkins also runs benchmarks',           \
423                                        name: 'RunBenchmark',                                                           \
424                                        defaultValue: false,                                                            \
425                                ],                                                                                              \
426                                [$class: 'BooleanParameterDefinition',                                                  \
427                                        description: 'If true, jenkins also builds documentation',              \
428                                        name: 'BuildDocumentation',                                                     \
429                                        defaultValue: true,                                                             \
430                                ],                                                                                              \
431                                [$class: 'BooleanParameterDefinition',                                                  \
432                                        description: 'If true, jenkins also publishes results',                 \
433                                        name: 'Publish',                                                                        \
434                                        defaultValue: false,                                                            \
435                                ],                                                                                              \
436                                [$class: 'BooleanParameterDefinition',                                                  \
437                                        description: 'If true, jenkins will not send emails',           \
438                                        name: 'Silent',                                                                         \
439                                        defaultValue: false,                                                            \
440                                ],                                                                                              \
441                        ],
442                ]])
443
444        // It's unfortunate but it looks like we need to checkout the entire repo just to get the pretty git printer
445        checkout scm
446
447        final settings = new BuildSettings(params, env.BRANCH_NAME)
448
449        currentBuild.description = settings.DescShort
450        echo                       settings.DescLong
451
452        return settings
453}
454
455def build_stage(String name, boolean run, Closure block ) {
456        StageName = name
457        echo " -------- ${StageName} -------- "
458        if(run) {
459                stage(name, block)
460        } else {
461                stage(name) { Utils.markStageSkippedForConditional(STAGE_NAME) }
462        }
463}
464
465def make_doc() {
466        def err = null
467        try {
468                sh 'make clean > /dev/null'
469                sh 'make > /dev/null 2>&1'
470        }
471        catch (Exception caughtError) {
472                err = caughtError //rethrow error later
473                sh 'cat build/*.log'
474        }
475        finally {
476                if (err) throw err // Must re-throw exception to propagate error
477        }
478}
479
480def do_plot(boolean new_data, String file, PlotGroup group, boolean relative, String title) {
481
482        if(new_data) {
483                echo "Publishing new data"
484        }
485
486        def series = new_data ? [[
487                                file: "${file}.csv",
488                                exclusionValues: '',
489                                displayTableFlag: false,
490                                inclusionFlag: 'OFF',
491                                url: ''
492                        ]] : [];
493
494        echo "file is ${BuildDir}/benchmark/${file}.csv, group ${group}, title ${title}"
495        dir("${BuildDir}/benchmark/") {
496                plot csvFileName: "cforall-${env.BRANCH_NAME}-${file}.csv",
497                        csvSeries: series,
498                        group: "${group.name}",
499                        title: "${title}",
500                        style: 'lineSimple',
501                        exclZero: false,
502                        keepRecords: false,
503                        logarithmic: !relative && group.log,
504                        numBuilds: '120',
505                        useDescr: true,
506                        yaxis: group.unit,
507                        yaxisMaximum: '',
508                        yaxisMinimum: ''
509        }
510}
Note: See TracBrowser for help on using the repository browser.