source: Jenkinsfile @ e018546

ADTast-experimentalenumforall-pointer-decayjacob/cs343-translationnew-ast-unique-exprpthread-emulationqualifiedEnum
Last change on this file since e018546 was e018546, checked in by Thierry Delisle <tdelisle@…>, 3 years ago

More work into not using master node

  • Property mode set to 100644
File size: 15.1 KB
Line 
1#!groovy
2
3import groovy.transform.Field
4
5//===========================================================================================================
6// Main loop of the compilation
7//===========================================================================================================
8
9// Globals
10BuildDir  = null
11SrcDir    = null
12Settings  = null
13Tools     = null
14
15// Local variables
16def err = null
17def log_needed = false
18
19currentBuild.result = "SUCCESS"
20
21try {
22        node {
23                //Wrap build to add timestamp to command line
24                wrap([$class: 'TimestamperBuildWrapper']) {
25                        Settings = prepare_build()
26                }
27        }
28
29        node(Settings.Architecture.node) {
30                //Wrap build to add timestamp to command line
31                wrap([$class: 'TimestamperBuildWrapper']) {
32                        BuildDir  = pwd tmp: true
33                        SrcDir    = pwd tmp: false
34                        currentBuild.description = "${currentBuild.description} on ${env.NODE_NAME}"
35
36                        Tools.Clean()
37
38                        Tools.Checkout()
39
40                        build()
41
42                        test()
43
44                        benchmark()
45
46                        build_doc()
47
48                        publish()
49                }
50        }
51}
52
53//If an exception is caught we need to change the status and remember to
54//attach the build log to the email
55catch (Exception caughtError) {
56        // Store the result of the build log
57        currentBuild.result = "FAILURE"
58
59        // An error has occured, the build log is relevent
60        log_needed = true
61
62        // rethrow error later
63        err = caughtError
64
65        // print the error so it shows in the log
66        echo err.toString()
67}
68
69finally {
70        //Send email with final results if this is not a full build
71        email(log_needed)
72
73        echo 'Build Completed'
74
75        /* Must re-throw exception to propagate error */
76        if (err) {
77                throw err
78        }
79}
80//===========================================================================================================
81// Main compilation routines
82//===========================================================================================================
83def build() {
84        debug = true
85        release = Settings.RunAllTests || Settings.RunBenchmark
86        Tools.BuildStage('Build : configure', true) {
87                // Configure must be run inside the tree
88                dir (SrcDir) {
89                        // Generate the necessary build files
90                        sh './autogen.sh'
91                }
92
93                // Build outside of the src tree to ease cleaning
94                dir (BuildDir) {
95                        //Configure the compilation (Output is not relevant)
96                        //Use the current directory as the installation target so nothing escapes the sandbox
97                        //Also specify the compiler by hand
98                        targets=""
99                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
100                                targets="--with-target-hosts='host:debug,host:nodebug'"
101                        } else {
102                                targets="--with-target-hosts='host:debug'"
103                        }
104
105                        ast = Settings.NewAST ? "--enable-new-ast" : "--disable-new-ast"
106
107                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} AR=gcc-ar RANLIB=gcc-ranlib ${targets} ${ast} --quiet --prefix=${BuildDir}"
108
109                        // Configure libcfa
110                        sh 'make -j 8 --no-print-directory configure-libcfa'
111                }
112        }
113
114        Tools.BuildStage('Build : cfa-cpp', true) {
115                // Build outside of the src tree to ease cleaning
116                dir (BuildDir) {
117                        // Build driver
118                        sh 'make -j 8 --no-print-directory -C driver'
119
120                        // Build translator
121                        sh 'make -j 8 --no-print-directory -C src'
122                }
123        }
124
125        Tools.BuildStage('Build : libcfa(debug)', debug) {
126                // Build outside of the src tree to ease cleaning
127                dir (BuildDir) {
128                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
129                }
130        }
131
132        Tools.BuildStage('Build : libcfa(nodebug)', release) {
133                // Build outside of the src tree to ease cleaning
134                dir (BuildDir) {
135                        sh "make -j 8 --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
136                }
137        }
138
139        Tools.BuildStage('Build : install', true) {
140                // Build outside of the src tree to ease cleaning
141                dir (BuildDir) {
142                        sh "make -j 8 --no-print-directory install"
143                }
144        }
145}
146
147def test() {
148        try {
149                // Print potential limits before testing
150                // in case jenkins messes with them
151                sh 'free -h'
152                sh 'ulimit -a'
153
154                Tools.BuildStage('Test: short', !Settings.RunAllTests) {
155                        dir (BuildDir) {
156                                //Run the tests from the tests directory
157                                sh "make --no-print-directory -C tests archiveerrors=${BuildDir}/tests/crashes/short"
158                        }
159                }
160
161                Tools.BuildStage('Test: full', Settings.RunAllTests) {
162                        dir (BuildDir) {
163                                        //Run the tests from the tests directory
164                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=yes archiveerrors=${BuildDir}/tests/crashes/full-debug"""
165                                        sh """make --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=no  archiveerrors=${BuildDir}/tests/crashes/full-nodebug"""
166                        }
167                }
168        }
169        catch (Exception err) {
170                echo "Archiving core dumps"
171                dir (BuildDir) {
172                        def exists = fileExists 'tests/crashes'
173                        if( exists ) {
174                                sh """${SrcDir}/tools/jenkins/archive-gen.sh"""
175                                archiveArtifacts artifacts: "tests/crashes/**/*,lib/**/lib*.so*,setup.sh", fingerprint: true
176                        }
177                }
178                throw err
179        }
180}
181
182def benchmark() {
183        Tools.BuildStage('Benchmark', Settings.RunBenchmark) {
184                dir (BuildDir) {
185                        //Append bench results
186                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
187                }
188        }
189}
190
191def build_doc() {
192        Tools.BuildStage('Documentation', Settings.BuildDocumentation) {
193                dir ('doc/user') {
194                        make_doc()
195                }
196
197                dir ('doc/refrat') {
198                        make_doc()
199                }
200        }
201}
202
203def publish() {
204        Tools.BuildStage('Publish', true) {
205
206                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
207
208                def groupCompile = new PlotGroup('Compilation', 'duration (s) - lower is better', true)
209                def groupConcurrency = new PlotGroup('Concurrency', 'duration (n) - lower is better', false)
210
211                //Then publish the results
212                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile'        , groupCompile    , false, 'Compilation')
213                do_plot(Settings.RunBenchmark && Settings.Publish, 'compile.diff'   , groupCompile    , true , 'Compilation (relative)')
214                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch'      , groupConcurrency, false, 'Context Switching')
215                do_plot(Settings.RunBenchmark && Settings.Publish, 'ctxswitch.diff' , groupConcurrency, true , 'Context Switching (relative)')
216                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex'          , groupConcurrency, false, 'Mutual Exclusion')
217                do_plot(Settings.RunBenchmark && Settings.Publish, 'mutex.diff'     , groupConcurrency, true , 'Mutual Exclusion (relative)')
218                do_plot(Settings.RunBenchmark && Settings.Publish, 'scheduling'     , groupConcurrency, false, 'Internal and External Scheduling')
219                do_plot(Settings.RunBenchmark && Settings.Publish, 'scheduling.diff', groupConcurrency, true , 'Internal and External Scheduling (relative)')
220        }
221}
222
223//===========================================================================================================
224//Routine responsible of sending the email notification once the build is completed
225//===========================================================================================================
226//Standard build email notification
227def email(boolean log) {
228        //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
229        //Configurations for email format
230        echo 'Notifying users of result'
231
232        def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
233        def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
234        def email_body = """<p>This is an automated email from the Jenkins build machine. It was
235generated because of a git hooks/post-receive script following
236a ref change which was pushed to the C\u2200 repository.</p>
237""" + Tools.GitLogMessage()
238
239        def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
240
241        if( Settings && !Settings.Silent ) {
242                //send email notification
243                emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
244        } else {
245                echo "Would send email to: ${email_to}"
246                echo "With title: ${email_subject}"
247                echo "Content: \n${email_body}"
248        }
249}
250
251//===========================================================================================================
252// Helper classes/variables/routines
253//===========================================================================================================
254//Description of a compiler (Must be serializable since pipelines are persistent)
255class CC_Desc implements Serializable {
256        public String name
257        public String CXX
258        public String CC
259        public String lto
260
261        CC_Desc(String name, String CXX, String CC, String lto) {
262                this.name = name
263                this.CXX = CXX
264                this.CC  = CC
265                this.lto = lto
266        }
267}
268
269//Description of an architecture (Must be serializable since pipelines are persistent)
270class Arch_Desc implements Serializable {
271        public String name
272        public String flags
273        public String node
274
275        Arch_Desc(String name, String flags, String node) {
276                this.name  = name
277                this.flags = flags
278                this.node  = node
279        }
280}
281
282class BuildSettings implements Serializable {
283        public final CC_Desc Compiler
284        public final Arch_Desc Architecture
285        public final Boolean NewAST
286        public final Boolean RunAllTests
287        public final Boolean RunBenchmark
288        public final Boolean BuildDocumentation
289        public final Boolean Publish
290        public final Boolean Silent
291        public final Boolean IsSandbox
292        public final String DescLong
293        public final String DescShort
294
295        public String GitNewRef
296        public String GitOldRef
297
298        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
299                switch( param.Compiler ) {
300                        case 'gcc-9':
301                                this.Compiler = new CC_Desc('gcc-9', 'g++-9', 'gcc-9', '-flto=auto')
302                        break
303                        case 'gcc-8':
304                                this.Compiler = new CC_Desc('gcc-8', 'g++-8', 'gcc-8', '-flto=auto')
305                        break
306                        case 'gcc-7':
307                                this.Compiler = new CC_Desc('gcc-7', 'g++-7', 'gcc-7', '-flto=auto')
308                        break
309                        case 'gcc-6':
310                                this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6', '-flto=auto')
311                        break
312                        case 'gcc-5':
313                                this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5', '-flto=auto')
314                        break
315                        case 'gcc-4.9':
316                                this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9', '-flto=auto')
317                        break
318                        case 'clang':
319                                this.Compiler = new CC_Desc('clang', 'clang++-10', 'gcc-9', '-flto=thin -flto-jobs=0')
320                        break
321                        default :
322                                error "Unhandled compiler : ${cc}"
323                }
324
325                switch( param.Architecture ) {
326                        case 'x64':
327                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
328                        break
329                        case 'x86':
330                                this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
331                        break
332                        default :
333                                error "Unhandled architecture : ${arch}"
334                }
335
336                this.IsSandbox          = (branch == "jenkins-sandbox")
337                this.NewAST             = param.NewAST
338                this.RunAllTests        = param.RunAllTests
339                this.RunBenchmark       = param.RunBenchmark
340                this.BuildDocumentation = param.BuildDocumentation
341                this.Publish            = param.Publish
342                this.Silent             = param.Silent
343
344                def full = param.RunAllTests ? " (Full)" : ""
345                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
346
347                final ast = this.NewAST ? "New AST" : "Old AST"
348                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
349AST Version             : ${ ast.toString() }
350Architecture            : ${ this.Architecture.name }
351Arc Flags               : ${ this.Architecture.flags }
352Run All Tests           : ${ this.RunAllTests.toString() }
353Run Benchmark           : ${ this.RunBenchmark.toString() }
354Build Documentation     : ${ this.BuildDocumentation.toString() }
355Publish                 : ${ this.Publish.toString() }
356Silent                  : ${ this.Silent.toString() }
357"""
358
359                this.GitNewRef = ''
360                this.GitOldRef = ''
361        }
362}
363
364class PlotGroup implements Serializable {
365        public String name
366        public String unit
367        public boolean log
368
369        PlotGroup(String name, String unit, boolean log) {
370                this.name = name
371                this.unit = unit
372                this.log = log
373        }
374}
375
376def prepare_build() {
377        // prepare the properties
378        properties ([                                                                                                   \
379                buildDiscarder(logRotator(                                                                              \
380                        artifactDaysToKeepStr: '',                                                                      \
381                        artifactNumToKeepStr: '',                                                                       \
382                        daysToKeepStr: '730',                                                                           \
383                        numToKeepStr: '1000'                                                                            \
384                )),                                                                                                             \
385                [$class: 'ParametersDefinitionProperty',                                                                \
386                        parameterDefinitions: [                                                                         \
387                                [$class: 'ChoiceParameterDefinition',                                           \
388                                        description: 'Which compiler to use',                                   \
389                                        name: 'Compiler',                                                                       \
390                                        choices: 'gcc-9\ngcc-8\ngcc-7\ngcc-6\ngcc-5\ngcc-4.9\nclang',   \
391                                        defaultValue: 'gcc-8',                                                          \
392                                ],                                                                                              \
393                                [$class: 'ChoiceParameterDefinition',                                           \
394                                        description: 'The target architecture',                                 \
395                                        name: 'Architecture',                                                           \
396                                        choices: 'x64\nx86',                                                            \
397                                        defaultValue: 'x64',                                                            \
398                                ],                                                                                              \
399                                [$class: 'BooleanParameterDefinition',                                                  \
400                                        description: 'If true, build compiler using new AST',           \
401                                        name: 'NewAST',                                                                         \
402                                        defaultValue: true,                                                             \
403                                ],                                                                                              \
404                                [$class: 'BooleanParameterDefinition',                                                  \
405                                        description: 'If false, only the quick test suite is ran',              \
406                                        name: 'RunAllTests',                                                            \
407                                        defaultValue: false,                                                            \
408                                ],                                                                                              \
409                                [$class: 'BooleanParameterDefinition',                                                  \
410                                        description: 'If true, jenkins also runs benchmarks',           \
411                                        name: 'RunBenchmark',                                                           \
412                                        defaultValue: false,                                                            \
413                                ],                                                                                              \
414                                [$class: 'BooleanParameterDefinition',                                                  \
415                                        description: 'If true, jenkins also builds documentation',              \
416                                        name: 'BuildDocumentation',                                                     \
417                                        defaultValue: true,                                                             \
418                                ],                                                                                              \
419                                [$class: 'BooleanParameterDefinition',                                                  \
420                                        description: 'If true, jenkins also publishes results',                 \
421                                        name: 'Publish',                                                                        \
422                                        defaultValue: false,                                                            \
423                                ],                                                                                              \
424                                [$class: 'BooleanParameterDefinition',                                                  \
425                                        description: 'If true, jenkins will not send emails',           \
426                                        name: 'Silent',                                                                         \
427                                        defaultValue: false,                                                            \
428                                ],                                                                                              \
429                        ],
430                ]])
431
432        // It's unfortunate but it looks like we need to checkout the entire repo just to get
433        // - the pretty git printer
434        // - Jenkins.tools
435        checkout scm
436
437        Tools = load "Jenkins/tools.groovy"
438
439        final settings = new BuildSettings(params, env.BRANCH_NAME)
440
441        currentBuild.description = settings.DescShort
442        echo                       settings.DescLong
443
444        return settings
445}
446
447def make_doc() {
448        def err = null
449        try {
450                sh 'make clean > /dev/null'
451                sh 'make > /dev/null 2>&1'
452        }
453        catch (Exception caughtError) {
454                err = caughtError //rethrow error later
455                sh 'cat build/*.log'
456        }
457        finally {
458                if (err) throw err // Must re-throw exception to propagate error
459        }
460}
461
462def do_plot(boolean new_data, String file, PlotGroup group, boolean relative, String title) {
463
464        if(new_data) {
465                echo "Publishing new data"
466        }
467
468        def series = new_data ? [[
469                                file: "${file}.csv",
470                                exclusionValues: '',
471                                displayTableFlag: false,
472                                inclusionFlag: 'OFF',
473                                url: ''
474                        ]] : [];
475
476        echo "file is ${BuildDir}/benchmark/${file}.csv, group ${group}, title ${title}"
477        dir("${BuildDir}/benchmark/") {
478                plot csvFileName: "cforall-${env.BRANCH_NAME}-${file}.csv",
479                        csvSeries: series,
480                        group: "${group.name}",
481                        title: "${title}",
482                        style: 'lineSimple',
483                        exclZero: false,
484                        keepRecords: false,
485                        logarithmic: !relative && group.log,
486                        numBuilds: '120',
487                        useDescr: true,
488                        yaxis: group.unit,
489                        yaxisMaximum: '',
490                        yaxisMinimum: ''
491        }
492}
Note: See TracBrowser for help on using the repository browser.