source: libcfa/src/concurrency/invoke.h

Last change on this file was 24e321c, checked in by Thierry Delisle <tdelisle@…>, 2 months ago

Unpark now takes a hint on locality.

  • Property mode set to 100644
File size: 8.3 KB
Line 
1//
2// Cforall Version 1.0.0 Copyright (C) 2016 University of Waterloo
3//
4// The contents of this file are covered under the licence agreement in the
5// file "LICENCE" distributed with Cforall.
6//
7// invoke.h --
8//
9// Author           : Thierry Delisle
10// Created On       : Tue Jan 17 12:27:26 2016
11// Last Modified By : Peter A. Buhr
12// Last Modified On : Thu Dec  5 16:26:03 2019
13// Update Count     : 44
14//
15
16#include "bits/containers.hfa"
17#include "bits/defs.hfa"
18#include "bits/locks.hfa"
19#include "kernel/fwd.hfa"
20
21#ifdef __cforall
22#include "containers/list.hfa"
23extern "C" {
24#endif
25
26#if ! defined(__CFA_INVOKE_PRIVATE__)
27#ifndef _INVOKE_H_
28#define _INVOKE_H_
29
30        struct __cfaehm_try_resume_node;
31        struct __cfaehm_base_exception_t;
32        struct exception_context_t {
33                struct __cfaehm_try_resume_node * top_resume;
34                struct __cfaehm_base_exception_t * current_exception;
35        };
36
37        struct __stack_context_t {
38                void * SP;
39                void * FP;
40        };
41
42        // low adresses  :           +----------------------+ <- start of allocation
43        //                           |  optional guard page |
44        //                           +----------------------+ <- __stack_t.limit
45        //                           |                      |
46        //                           |       /\ /\ /\       |
47        //                           |       || || ||       |
48        //                           |                      |
49        //                           |    program  stack    |
50        //                           |                      |
51        // __stack_info_t.storage -> +----------------------+ <- __stack_t.base
52        //                           |      __stack_t       |
53        // high adresses :           +----------------------+ <- end of allocation
54
55        struct __stack_t {
56                // stack grows towards stack limit
57                void * limit;
58
59                // base of stack
60                void * base;
61
62                // Information for exception handling.
63                struct exception_context_t exception_context;
64        };
65
66        struct __stack_info_t {
67                // pointer to stack
68                struct __stack_t * storage;
69        };
70
71        enum __Coroutine_State { Halted, Start, Primed, Blocked, Ready, Active, Cancelled, Halting };
72
73        struct coroutine$ {
74                // context that is switch during a __cfactx_switch
75                struct __stack_context_t context;
76
77                // stack information of the coroutine
78                struct __stack_info_t stack;
79
80                // textual name for coroutine/task
81                const char * name;
82
83                // current execution status for coroutine
84                enum __Coroutine_State state;
85
86                // first coroutine to resume this one
87                struct coroutine$ * starter;
88
89                // last coroutine to resume this one
90                struct coroutine$ * last;
91
92                // If non-null stack must be unwound with this exception
93                struct _Unwind_Exception * cancellation;
94
95        };
96        // Wrapper for gdb
97        struct cfathread_coroutine_t { struct coroutine$ debug; };
98
99        static inline struct __stack_t * __get_stack( struct coroutine$ * cor ) {
100                return (struct __stack_t*)(((uintptr_t)cor->stack.storage) & ((uintptr_t)-2));
101        }
102
103        // struct which calls the monitor is accepting
104        struct __waitfor_mask_t {
105                // the index of the accepted function, -1 if none
106                short * accepted;
107
108                // list of acceptable functions, null if any
109                __cfa_anonymous_object( __small_array_t(struct __acceptable_t) );
110        };
111
112        struct monitor$ {
113                // spinlock to protect internal data
114                struct __spinlock_t lock;
115
116                // current owner of the monitor
117                struct thread$ * owner;
118
119                // queue of threads that are blocked waiting for the monitor
120                __queue_t(struct thread$) entry_queue;
121
122                // stack of conditions to run next once we exit the monitor
123                __stack_t(struct __condition_criterion_t) signal_stack;
124
125                // monitor routines can be called recursively, we need to keep track of that
126                unsigned int recursion;
127
128                // mask used to know if some thread is waiting for something while holding the monitor
129                struct __waitfor_mask_t mask;
130
131                // node used to signal the dtor in a waitfor dtor
132                struct __condition_node_t * dtor_node;
133        };
134        // Wrapper for gdb
135        struct cfathread_monitor_t { struct monitor$ debug; };
136
137        struct __monitor_group_t {
138                // currently held monitors
139                __cfa_anonymous_object( __small_array_t(monitor$*) );
140
141                // last function that acquired monitors
142                fptr_t func;
143        };
144
145        // Link lists fields
146        // instrusive link field for threads
147        struct __thread_desc_link {
148                struct thread$ * next;
149                volatile unsigned long long ts;
150        };
151
152        struct thread$ {
153                // Core threading fields
154                // context that is switch during a __cfactx_switch
155                struct __stack_context_t context;
156
157                // Link lists fields
158                // instrusive link field for threads
159                struct __thread_desc_link link;
160
161                // current execution status for coroutine
162                // Possible values are:
163                //    - TICKET_BLOCKED (-1) thread is blocked
164                //    - TICKET_RUNNING ( 0) thread is running
165                //    - TICKET_UNBLOCK ( 1) thread should ignore next block
166                volatile int ticket;
167                enum __Coroutine_State state:8;
168                enum __Preemption_Reason preempted:8;
169
170                bool corctx_flag;
171
172                //SKULLDUGGERY errno is not save in the thread data structure because returnToKernel appears to be the only function to require saving and restoring it
173
174                // pointer to the cluster on which the thread is running
175                struct cluster * curr_cluster;
176
177                // preferred ready-queue or CPU
178                unsigned preferred;
179
180                // coroutine body used to store context
181                struct coroutine$  self_cor;
182
183                // current active context
184                struct coroutine$ * curr_cor;
185
186                // monitor body used for mutual exclusion
187                struct monitor$    self_mon;
188
189                // pointer to monitor with sufficient lifetime for current monitors
190                struct monitor$ *  self_mon_p;
191
192                // monitors currently held by this thread
193                struct __monitor_group_t monitors;
194
195                // used to put threads on user data structures
196                struct {
197                        struct thread$ * next;
198                        struct thread$ * back;
199                } seqable;
200
201                // used to put threads on dlist data structure
202                __cfa_dlink(thread$);
203
204                struct {
205                        struct thread$ * next;
206                        struct thread$ * prev;
207                } node;
208
209                struct processor * last_proc;
210
211                #if defined( __CFA_WITH_VERIFY__ )
212                        void * canary;
213                #endif
214        };
215        #ifdef __cforall
216                P9_EMBEDDED( thread$, dlink(thread$) )
217        #endif
218        // Wrapper for gdb
219        struct cfathread_thread_t { struct thread$ debug; };
220
221        #ifdef __CFA_DEBUG__
222                void __cfaabi_dbg_record_thrd(thread$ & this, bool park, const char prev_name[]);
223        #else
224                #define __cfaabi_dbg_record_thrd(x, y, z)
225        #endif
226
227        #ifdef __cforall
228        extern "Cforall" {
229
230                static inline thread$ *& get_next( thread$ & this ) __attribute__((const)) {
231                        return this.link.next;
232                }
233
234                static inline [thread$ *&, thread$ *& ] __get( thread$ & this ) __attribute__((const)) {
235                        return this.node.[next, prev];
236                }
237
238                static inline thread$ * volatile & ?`next ( thread$ * this )  __attribute__((const)) {
239                        return this->seqable.next;
240                }
241
242                static inline thread$ *& Back( thread$ * this ) __attribute__((const)) {
243                        return this->seqable.back;
244                }
245
246                static inline thread$ *& Next( thread$ * this ) __attribute__((const)) {
247                                return this->seqable.next;
248                }
249
250                static inline bool listed( thread$ * this ) {
251                        return this->seqable.next != 0p;
252                }
253
254                static inline void ?{}(__monitor_group_t & this) {
255                        (this.data){0p};
256                        (this.size){0};
257                        (this.func){NULL};
258                }
259
260                static inline void ?{}(__monitor_group_t & this, struct monitor$ ** data, __lock_size_t size, fptr_t func) {
261                        (this.data){data};
262                        (this.size){size};
263                        (this.func){func};
264                }
265
266                static inline bool ?==?( const __monitor_group_t & lhs, const __monitor_group_t & rhs ) __attribute__((const)) {
267                        if( (lhs.data != 0) != (rhs.data != 0) ) return false;
268                        if( lhs.size != rhs.size ) return false;
269                        if( lhs.func != rhs.func ) return false;
270
271                        // Check that all the monitors match
272                        for( int i = 0; i < lhs.size; i++ ) {
273                                // If not a match, check next function
274                                if( lhs[i] != rhs[i] ) return false;
275                        }
276
277                        return true;
278                }
279
280                static inline void ?=?(__monitor_group_t & lhs, const __monitor_group_t & rhs) {
281                        lhs.data = rhs.data;
282                        lhs.size = rhs.size;
283                        lhs.func = rhs.func;
284                }
285        }
286        #endif
287
288#endif //_INVOKE_H_
289#else //! defined(__CFA_INVOKE_PRIVATE__)
290#ifndef _INVOKE_PRIVATE_H_
291#define _INVOKE_PRIVATE_H_
292
293        struct machine_context_t {
294                void *SP;
295                void *FP;
296                void *PC;
297        };
298
299        // assembler routines that performs the context switch
300        extern void __cfactx_invoke_stub( void );
301        extern void __cfactx_switch( struct __stack_context_t * from, struct __stack_context_t * to ) asm ("__cfactx_switch");
302        // void CtxStore ( void * this ) asm ("CtxStore");
303        // void CtxRet   ( void * dst  ) asm ("CtxRet");
304
305#endif //_INVOKE_PRIVATE_H_
306#endif //! defined(__CFA_INVOKE_PRIVATE__)
307#ifdef __cforall
308}
309#endif
310
311// Local Variables: //
312// mode: c //
313// tab-width: 4 //
314// End: //
Note: See TracBrowser for help on using the repository browser.