source: Jenkinsfile @ 9a90092

ADTast-experimentalpthread-emulation
Last change on this file since 9a90092 was 9a90092, checked in by Thierry Delisle <tdelisle@…>, 17 months ago

Fixed typo

  • Property mode set to 100644
File size: 12.9 KB
Line 
1#!groovy
2
3import groovy.transform.Field
4
5//===========================================================================================================
6// Main loop of the compilation
7//===========================================================================================================
8
9// Globals
10BuildDir  = null
11SrcDir    = null
12Settings  = null
13Tools     = null
14
15// Local variables
16def err = null
17def log_needed = false
18
19currentBuild.result = "SUCCESS"
20
21try {
22        node {
23                //Wrap build to add timestamp to command line
24                wrap([$class: 'TimestamperBuildWrapper']) {
25                        Settings = prepare_build()
26                }
27        }
28
29        node(Settings.Architecture.node) {
30                //Wrap build to add timestamp to command line
31                wrap([$class: 'TimestamperBuildWrapper']) {
32                        BuildDir  = pwd tmp: true
33                        SrcDir    = pwd tmp: false
34                        currentBuild.description = "${currentBuild.description} on ${env.NODE_NAME}"
35
36                        Tools.Clean()
37
38                        Tools.Checkout()
39
40                        build()
41
42                        test()
43
44                        benchmark()
45
46                        build_doc()
47
48                        publish()
49                }
50        }
51}
52
53//If an exception is caught we need to change the status and remember to
54//attach the build log to the email
55catch (Exception caughtError) {
56        // Store the result of the build log
57        currentBuild.result = "FAILURE"
58
59        // An error has occured, the build log is relevent
60        log_needed = true
61
62        // rethrow error later
63        err = caughtError
64
65        // print the error so it shows in the log
66        echo err.toString()
67}
68
69finally {
70        //Send email with final results if this is not a full build
71        email(log_needed)
72
73        echo 'Build Completed'
74
75        /* Must re-throw exception to propagate error */
76        if (err) {
77                throw err
78        }
79}
80//===========================================================================================================
81// Main compilation routines
82//===========================================================================================================
83def build() {
84        debug = true
85        release = Settings.RunAllTests || Settings.RunBenchmark
86        Tools.BuildStage('Build : configure', true) {
87                // Configure must be run inside the tree
88                dir (SrcDir) {
89                        // Generate the necessary build files
90                        sh './autogen.sh'
91                }
92
93                // Build outside of the src tree to ease cleaning
94                dir (BuildDir) {
95                        //Configure the compilation (Output is not relevant)
96                        //Use the current directory as the installation target so nothing escapes the sandbox
97                        //Also specify the compiler by hand
98                        targets=""
99                        if( Settings.RunAllTests || Settings.RunBenchmark ) {
100                                targets="--with-target-hosts='host:debug,host:nodebug'"
101                        } else {
102                                targets="--with-target-hosts='host:debug'"
103                        }
104
105                        sh "${SrcDir}/configure CXX=${Settings.Compiler.CXX} CC=${Settings.Compiler.CC} ${Settings.Architecture.flags} AR=gcc-ar RANLIB=gcc-ranlib ${targets} --quiet --prefix=${BuildDir}"
106
107                        // Configure libcfa
108                        sh 'make -j $(nproc) --no-print-directory configure-libcfa'
109                }
110        }
111
112        Tools.BuildStage('Build : cfa-cpp', true) {
113                // Build outside of the src tree to ease cleaning
114                dir (BuildDir) {
115                        // Build driver
116                        sh 'make -j $(nproc) --no-print-directory -C driver'
117
118                        // Build translator
119                        sh 'make -j $(nproc) --no-print-directory -C src'
120                }
121        }
122
123        Tools.BuildStage('Build : libcfa(debug)', debug) {
124                // Build outside of the src tree to ease cleaning
125                dir (BuildDir) {
126                        sh "make -j \$(nproc) --no-print-directory -C libcfa/${Settings.Architecture.name}-debug"
127                }
128        }
129
130        Tools.BuildStage('Build : libcfa(nodebug)', release) {
131                // Build outside of the src tree to ease cleaning
132                dir (BuildDir) {
133                        sh "make -j \$(nproc) --no-print-directory -C libcfa/${Settings.Architecture.name}-nodebug"
134                }
135        }
136
137        Tools.BuildStage('Build : install', true) {
138                // Build outside of the src tree to ease cleaning
139                dir (BuildDir) {
140                        sh 'make -j $(nproc) --no-print-directory install'
141                }
142        }
143}
144
145def test() {
146        try {
147                // Print potential limits before testing
148                // in case jenkins messes with them
149                sh 'free -h'
150                sh 'ulimit -a'
151
152                jopt = '-j $(nproc)'
153
154                Tools.BuildStage('Test: Debug', true) {
155                        dir (BuildDir) {
156                                //Run the tests from the tests directory
157                                sh """make ${jopt} --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=yes archiveerrors=${BuildDir}/tests/crashes/full-debug"""
158                        }
159                }
160
161                Tools.BuildStage('Test: Release', Settings.RunAllTests) {
162                        dir (BuildDir) {
163                                //Run the tests from the tests directory
164                                sh """make ${jopt} --no-print-directory -C tests timeouts="--timeout=600 --global-timeout=14400" all-tests debug=no  archiveerrors=${BuildDir}/tests/crashes/full-nodebug"""
165                        }
166                }
167        }
168        catch (Exception err) {
169                echo "Archiving core dumps"
170                dir (BuildDir) {
171                        def exists = fileExists 'tests/crashes'
172                        if( exists ) {
173                                sh """${SrcDir}/tools/jenkins/archive-gen.sh"""
174                                archiveArtifacts artifacts: "tests/crashes/**/*,lib/**/lib*.so*,setup.sh", fingerprint: true
175                        }
176                }
177                throw err
178        }
179}
180
181def benchmark() {
182        Tools.BuildStage('Benchmark', Settings.RunBenchmark) {
183                dir (BuildDir) {
184                        //Append bench results
185                        sh "make --no-print-directory -C benchmark jenkins arch=${Settings.Architecture.name}"
186                }
187        }
188}
189
190def build_doc() {
191        Tools.BuildStage('Documentation', Settings.BuildDocumentation) {
192                dir ('doc/user') {
193                        make_doc()
194                }
195
196                dir ('doc/refrat') {
197                        make_doc()
198                }
199        }
200}
201
202def publish() {
203        Tools.BuildStage('Publish', true) {
204
205                if( Settings.Publish && !Settings.RunBenchmark ) { echo 'No results to publish!!!' }
206        }
207}
208
209//===========================================================================================================
210//Routine responsible of sending the email notification once the build is completed
211//===========================================================================================================
212//Standard build email notification
213def email(boolean log) {
214        node {
215                //Since tokenizer doesn't work, figure stuff out from the environnement variables and command line
216                //Configurations for email format
217                echo 'Notifying users of result'
218
219                def project_name = (env.JOB_NAME =~ /(.+)\/.+/)[0][1].toLowerCase()
220                def email_subject = "[${project_name} git][BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}] - branch ${env.BRANCH_NAME}"
221                def email_body = """<p>This is an automated email from the Jenkins build machine. It was
222generated because of a git hooks/post-receive script following
223a ref change which was pushed to the C\u2200 repository.</p>
224
225<p>- Status --------------------------------------------------------------</p>
226
227<p>BUILD# ${env.BUILD_NUMBER} - ${currentBuild.result}</p>
228<p>Check console output at ${env.BUILD_URL} to view the results.</p>
229""" + Tools.GitLogMessage()
230
231                def email_to = !Settings.IsSandbox ? "cforall@lists.uwaterloo.ca" : "tdelisle@uwaterloo.ca"
232
233                if( Settings && !Settings.Silent ) {
234                        //send email notification
235                        emailext body: email_body, subject: email_subject, to: email_to, attachLog: log
236                } else {
237                        echo "Would send email to: ${email_to}"
238                        echo "With title: ${email_subject}"
239                        echo "Content: \n${email_body}"
240                }
241        }
242}
243
244//===========================================================================================================
245// Helper classes/variables/routines
246//===========================================================================================================
247//Description of a compiler (Must be serializable since pipelines are persistent)
248class CC_Desc implements Serializable {
249        public String name
250        public String CXX
251        public String CC
252        public String lto
253
254        CC_Desc(String name, String CXX, String CC, String lto) {
255                this.name = name
256                this.CXX = CXX
257                this.CC  = CC
258                this.lto = lto
259        }
260}
261
262//Description of an architecture (Must be serializable since pipelines are persistent)
263class Arch_Desc implements Serializable {
264        public String name
265        public String flags
266        public String node
267
268        Arch_Desc(String name, String flags, String node) {
269                this.name  = name
270                this.flags = flags
271                this.node  = node
272        }
273}
274
275class BuildSettings implements Serializable {
276        public final CC_Desc Compiler
277        public final Arch_Desc Architecture
278        public final Boolean RunAllTests
279        public final Boolean RunBenchmark
280        public final Boolean BuildDocumentation
281        public final Boolean Publish
282        public final Boolean Silent
283        public final Boolean IsSandbox
284        public final String DescLong
285        public final String DescShort
286
287        public String GitNewRef
288        public String GitOldRef
289
290        BuildSettings(java.util.Collections$UnmodifiableMap param, String branch) {
291                switch( param.Compiler ) {
292                        case 'gcc-11':
293                                this.Compiler = new CC_Desc('gcc-11', 'g++-11', 'gcc-11', '-flto=auto')
294                        break
295                        case 'gcc-10':
296                                this.Compiler = new CC_Desc('gcc-10', 'g++-10', 'gcc-10', '-flto=auto')
297                        break
298                        case 'gcc-9':
299                                this.Compiler = new CC_Desc('gcc-9', 'g++-9', 'gcc-9', '-flto=auto')
300                        break
301                        case 'gcc-8':
302                                this.Compiler = new CC_Desc('gcc-8', 'g++-8', 'gcc-8', '-flto=auto')
303                        break
304                        case 'gcc-7':
305                                this.Compiler = new CC_Desc('gcc-7', 'g++-7', 'gcc-7', '-flto=auto')
306                        break
307                        case 'gcc-6':
308                                this.Compiler = new CC_Desc('gcc-6', 'g++-6', 'gcc-6', '-flto=auto')
309                        break
310                        case 'gcc-5':
311                                this.Compiler = new CC_Desc('gcc-5', 'g++-5', 'gcc-5', '-flto=auto')
312                        break
313                        case 'gcc-4.9':
314                                this.Compiler = new CC_Desc('gcc-4.9', 'g++-4.9', 'gcc-4.9', '-flto=auto')
315                        break
316                        case 'clang':
317                                this.Compiler = new CC_Desc('clang', 'clang++-10', 'gcc-10', '-flto=thin -flto-jobs=0')
318                        break
319                        default :
320                                error "Unhandled compiler : ${cc}"
321                }
322
323                switch( param.Architecture ) {
324                        case 'x64':
325                                this.Architecture = new Arch_Desc('x64', '--host=x86_64', 'x64')
326                        break
327                        case 'x86':
328                                this.Architecture = new Arch_Desc('x86', '--host=i386', 'x86')
329                        break
330                        default :
331                                error "Unhandled architecture : ${arch}"
332                }
333
334                this.IsSandbox          = (branch == "jenkins-sandbox")
335                this.RunAllTests        = param.RunAllTests
336                this.RunBenchmark       = param.RunBenchmark
337                this.BuildDocumentation = param.BuildDocumentation
338                this.Publish            = param.Publish
339                this.Silent             = param.Silent
340
341                def full = param.RunAllTests ? " (Full)" : ""
342                this.DescShort = "${ this.Compiler.name }:${ this.Architecture.name }${full}"
343
344                this.DescLong = """Compiler              : ${ this.Compiler.name } (${ this.Compiler.CXX }/${ this.Compiler.CC })
345Architecture            : ${ this.Architecture.name }
346Arc Flags               : ${ this.Architecture.flags }
347Run All Tests           : ${ this.RunAllTests.toString() }
348Run Benchmark           : ${ this.RunBenchmark.toString() }
349Build Documentation     : ${ this.BuildDocumentation.toString() }
350Publish                 : ${ this.Publish.toString() }
351Silent                  : ${ this.Silent.toString() }
352"""
353
354                this.GitNewRef = ''
355                this.GitOldRef = ''
356        }
357}
358
359def prepare_build() {
360        // prepare the properties
361        properties ([                                                                                                   \
362                buildDiscarder(logRotator(                                                                              \
363                        artifactDaysToKeepStr: '',                                                                      \
364                        artifactNumToKeepStr: '',                                                                       \
365                        daysToKeepStr: '730',                                                                           \
366                        numToKeepStr: '1000'                                                                            \
367                )),                                                                                                             \
368                [$class: 'ParametersDefinitionProperty',                                                                \
369                        parameterDefinitions: [                                                                         \
370                                [$class: 'ChoiceParameterDefinition',                                           \
371                                        description: 'Which compiler to use',                                   \
372                                        name: 'Compiler',                                                                       \
373                                        choices: 'gcc-11\ngcc-10\ngcc-9\ngcc-8\ngcc-7\ngcc-6\ngcc-5\ngcc-4.9\nclang',   \
374                                        defaultValue: 'gcc-8',                                                          \
375                                ],                                                                                              \
376                                [$class: 'ChoiceParameterDefinition',                                           \
377                                        description: 'The target architecture',                                 \
378                                        name: 'Architecture',                                                           \
379                                        choices: 'x64\nx86',                                                            \
380                                        defaultValue: 'x64',                                                            \
381                                ],                                                                                              \
382                                [$class: 'BooleanParameterDefinition',                                                  \
383                                        description: 'If false, the test suite is only ran in debug',   \
384                                        name: 'RunAllTests',                                                            \
385                                        defaultValue: false,                                                            \
386                                ],                                                                                              \
387                                [$class: 'BooleanParameterDefinition',                                                  \
388                                        description: 'If true, jenkins also runs benchmarks',           \
389                                        name: 'RunBenchmark',                                                           \
390                                        defaultValue: false,                                                            \
391                                ],                                                                                              \
392                                [$class: 'BooleanParameterDefinition',                                                  \
393                                        description: 'If true, jenkins also builds documentation',              \
394                                        name: 'BuildDocumentation',                                                     \
395                                        defaultValue: true,                                                             \
396                                ],                                                                                              \
397                                [$class: 'BooleanParameterDefinition',                                                  \
398                                        description: 'If true, jenkins also publishes results',                 \
399                                        name: 'Publish',                                                                        \
400                                        defaultValue: false,                                                            \
401                                ],                                                                                              \
402                                [$class: 'BooleanParameterDefinition',                                                  \
403                                        description: 'If true, jenkins will not send emails',           \
404                                        name: 'Silent',                                                                         \
405                                        defaultValue: false,                                                            \
406                                ],                                                                                              \
407                        ],
408                ]])
409
410        // It's unfortunate but it looks like we need to checkout the entire repo just to get
411        // - the pretty git printer
412        // - Jenkins.tools
413        checkout scm
414
415        Tools = load "Jenkins/tools.groovy"
416
417        final settings = new BuildSettings(params, env.BRANCH_NAME)
418
419        currentBuild.description = settings.DescShort
420        echo                       settings.DescLong
421
422        return settings
423}
424
425def make_doc() {
426        def err = null
427        try {
428                sh 'make clean > /dev/null'
429                sh 'make > /dev/null 2>&1'
430        }
431        catch (Exception caughtError) {
432                err = caughtError //rethrow error later
433                sh 'cat build/*.log'
434        }
435        finally {
436                if (err) throw err // Must re-throw exception to propagate error
437        }
438}
Note: See TracBrowser for help on using the repository browser.