source: libcfa/src/concurrency/io.cfa @ 4069faad

arm-ehjacob/cs343-translationnew-astnew-ast-unique-expr
Last change on this file since 4069faad was 4069faad, checked in by Thierry Delisle <tdelisle@…>, 18 months ago

Fix error in benchmark where the wrong fd was used.
Changed behcnmark to use seperate cluster for I/O.
Changed some debug prints to use new versions with groups.
Fixed halting race condition leading to deadlock.

  • Property mode set to 100644
File size: 28.7 KB
Line 
1//
2// Cforall Version 1.0.0 Copyright (C) 2020 University of Waterloo
3//
4// The contents of this file are covered under the licence agreement in the
5// file "LICENCE" distributed with Cforall.
6//
7// io.cfa --
8//
9// Author           : Thierry Delisle
10// Created On       : Thu Apr 23 17:31:00 2020
11// Last Modified By :
12// Last Modified On :
13// Update Count     :
14//
15
16// #define __CFA_DEBUG_PRINT_IO__
17
18#include "kernel.hfa"
19
20#if !defined(HAVE_LINUX_IO_URING_H)
21        void __kernel_io_startup( cluster & ) {
22                // Nothing to do without io_uring
23        }
24
25        void __kernel_io_start_thrd( cluster & ) {
26                // Nothing to do without io_uring
27        }
28
29        void __kernel_io_stop_thrd ( cluster & ) {
30                // Nothing to do without io_uring
31        }
32
33        void __kernel_io_shutdown( cluster & ) {
34                // Nothing to do without io_uring
35        }
36
37#else
38        extern "C" {
39                #define _GNU_SOURCE         /* See feature_test_macros(7) */
40                #include <errno.h>
41                #include <stdint.h>
42                #include <string.h>
43                #include <unistd.h>
44                #include <sys/mman.h>
45                #include <sys/syscall.h>
46
47                #include <linux/io_uring.h>
48        }
49
50        #include "bits/signal.hfa"
51        #include "kernel_private.hfa"
52        #include "thread.hfa"
53
54        uint32_t entries_per_cluster() {
55                return 256;
56        }
57
58        static void * __io_poller_slow( void * arg );
59
60        // Weirdly, some systems that do support io_uring don't actually define these
61        #ifdef __alpha__
62                /*
63                * alpha is the only exception, all other architectures
64                * have common numbers for new system calls.
65                */
66                #ifndef __NR_io_uring_setup
67                        #define __NR_io_uring_setup           535
68                #endif
69                #ifndef __NR_io_uring_enter
70                        #define __NR_io_uring_enter           536
71                #endif
72                #ifndef __NR_io_uring_register
73                        #define __NR_io_uring_register        537
74                #endif
75        #else /* !__alpha__ */
76                #ifndef __NR_io_uring_setup
77                        #define __NR_io_uring_setup           425
78                #endif
79                #ifndef __NR_io_uring_enter
80                        #define __NR_io_uring_enter           426
81                #endif
82                #ifndef __NR_io_uring_register
83                        #define __NR_io_uring_register        427
84                #endif
85        #endif
86
87        #if defined(__CFA_IO_POLLING_USER__)
88                void ?{}( __io_poller_fast & this, struct cluster & cltr ) {
89                        this.ring = &cltr.io;
90                        (this.thrd){ "I/O Poller", cltr };
91                }
92                void ^?{}( __io_poller_fast & mutex this );
93        void main( __io_poller_fast & this );
94        static inline $thread * get_thread( __io_poller_fast & this ) { return &this.thrd; }
95                void ^?{}( __io_poller_fast & mutex this ) {}
96        #endif
97
98//=============================================================================================
99// I/O Startup / Shutdown logic
100//=============================================================================================
101        void __kernel_io_startup( cluster & this, bool main_cluster ) {
102                // Step 1 : call to setup
103                struct io_uring_params params;
104                memset(&params, 0, sizeof(params));
105
106                uint32_t nentries = entries_per_cluster();
107
108                int fd = syscall(__NR_io_uring_setup, nentries, &params );
109                if(fd < 0) {
110                        abort("KERNEL ERROR: IO_URING SETUP - %s\n", strerror(errno));
111                }
112
113                // Step 2 : mmap result
114                memset(&this.io, 0, sizeof(struct io_ring));
115                struct io_uring_sq & sq = this.io.submit_q;
116                struct io_uring_cq & cq = this.io.completion_q;
117
118                // calculate the right ring size
119                sq.ring_sz = params.sq_off.array + (params.sq_entries * sizeof(unsigned)           );
120                cq.ring_sz = params.cq_off.cqes  + (params.cq_entries * sizeof(struct io_uring_cqe));
121
122                // Requires features
123                #if defined(IORING_FEAT_SINGLE_MMAP)
124                        // adjust the size according to the parameters
125                        if ((params.features & IORING_FEAT_SINGLE_MMAP) != 0) {
126                                cq->ring_sz = sq->ring_sz = max(cq->ring_sz, sq->ring_sz);
127                        }
128                #endif
129
130                // mmap the Submit Queue into existence
131                sq.ring_ptr = mmap(0, sq.ring_sz, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE, fd, IORING_OFF_SQ_RING);
132                if (sq.ring_ptr == (void*)MAP_FAILED) {
133                        abort("KERNEL ERROR: IO_URING MMAP1 - %s\n", strerror(errno));
134                }
135
136                // Requires features
137                #if defined(IORING_FEAT_SINGLE_MMAP)
138                        // mmap the Completion Queue into existence (may or may not be needed)
139                        if ((params.features & IORING_FEAT_SINGLE_MMAP) != 0) {
140                                cq->ring_ptr = sq->ring_ptr;
141                        }
142                        else
143                #endif
144                {
145                        // We need multiple call to MMAP
146                        cq.ring_ptr = mmap(0, cq.ring_sz, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE, fd, IORING_OFF_CQ_RING);
147                        if (cq.ring_ptr == (void*)MAP_FAILED) {
148                                munmap(sq.ring_ptr, sq.ring_sz);
149                                abort("KERNEL ERROR: IO_URING MMAP2 - %s\n", strerror(errno));
150                        }
151                }
152
153                // mmap the submit queue entries
154                size_t size = params.sq_entries * sizeof(struct io_uring_sqe);
155                sq.sqes = (struct io_uring_sqe *)mmap(0, size, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE, fd, IORING_OFF_SQES);
156                if (sq.sqes == (struct io_uring_sqe *)MAP_FAILED) {
157                        munmap(sq.ring_ptr, sq.ring_sz);
158                        if (cq.ring_ptr != sq.ring_ptr) munmap(cq.ring_ptr, cq.ring_sz);
159                        abort("KERNEL ERROR: IO_URING MMAP3 - %s\n", strerror(errno));
160                }
161
162                // Get the pointers from the kernel to fill the structure
163                // submit queue
164                sq.head    = (volatile uint32_t *)(((intptr_t)sq.ring_ptr) + params.sq_off.head);
165                sq.tail    = (volatile uint32_t *)(((intptr_t)sq.ring_ptr) + params.sq_off.tail);
166                sq.mask    = (   const uint32_t *)(((intptr_t)sq.ring_ptr) + params.sq_off.ring_mask);
167                sq.num     = (   const uint32_t *)(((intptr_t)sq.ring_ptr) + params.sq_off.ring_entries);
168                sq.flags   = (         uint32_t *)(((intptr_t)sq.ring_ptr) + params.sq_off.flags);
169                sq.dropped = (         uint32_t *)(((intptr_t)sq.ring_ptr) + params.sq_off.dropped);
170                sq.array   = (         uint32_t *)(((intptr_t)sq.ring_ptr) + params.sq_off.array);
171                sq.alloc = *sq.tail;
172                sq.ready = *sq.tail;
173
174                // completion queue
175                cq.head     = (volatile uint32_t *)(((intptr_t)cq.ring_ptr) + params.cq_off.head);
176                cq.tail     = (volatile uint32_t *)(((intptr_t)cq.ring_ptr) + params.cq_off.tail);
177                cq.mask     = (   const uint32_t *)(((intptr_t)cq.ring_ptr) + params.cq_off.ring_mask);
178                cq.num      = (   const uint32_t *)(((intptr_t)cq.ring_ptr) + params.cq_off.ring_entries);
179                cq.overflow = (         uint32_t *)(((intptr_t)cq.ring_ptr) + params.cq_off.overflow);
180                cq.cqes   = (struct io_uring_cqe *)(((intptr_t)cq.ring_ptr) + params.cq_off.cqes);
181
182                // some paranoid checks
183                /* paranoid */ verifyf( (*cq.mask) == ((*cq.num) - 1ul32), "IO_URING Expected mask to be %u (%u entries), was %u", (*cq.num) - 1ul32, *cq.num, *cq.mask  );
184                /* paranoid */ verifyf( (*cq.num)  >= nentries, "IO_URING Expected %u entries, got %u", nentries, *cq.num );
185                /* paranoid */ verifyf( (*cq.head) == 0, "IO_URING Expected head to be 0, got %u", *cq.head );
186                /* paranoid */ verifyf( (*cq.tail) == 0, "IO_URING Expected tail to be 0, got %u", *cq.tail );
187
188                /* paranoid */ verifyf( (*sq.mask) == ((*sq.num) - 1ul32), "IO_URING Expected mask to be %u (%u entries), was %u", (*sq.num) - 1ul32, *sq.num, *sq.mask );
189                /* paranoid */ verifyf( (*sq.num) >= nentries, "IO_URING Expected %u entries, got %u", nentries, *sq.num );
190                /* paranoid */ verifyf( (*sq.head) == 0, "IO_URING Expected head to be 0, got %u", *sq.head );
191                /* paranoid */ verifyf( (*sq.tail) == 0, "IO_URING Expected tail to be 0, got %u", *sq.tail );
192
193                // Update the global ring info
194                this.io.flags = params.flags;
195                this.io.fd    = fd;
196                this.io.done  = false;
197                (this.io.submit){ min(*sq.num, *cq.num) };
198
199                // Initialize statistics
200                #if !defined(__CFA_NO_STATISTICS__)
201                        this.io.submit_q.stats.submit_avg.val = 0;
202                        this.io.submit_q.stats.submit_avg.cnt = 0;
203                        this.io.completion_q.stats.completed_avg.val = 0;
204                        this.io.completion_q.stats.completed_avg.cnt = 0;
205                #endif
206
207                if(!main_cluster) {
208                        __kernel_io_finish_start( this );
209                }
210        }
211
212        void __kernel_io_finish_start( cluster & this ) {
213                #if defined(__CFA_IO_POLLING_USER__)
214                        __cfadbg_print_safe(io, "Kernel I/O : Creating fast poller for cluter %p\n", &this);
215                        (this.io.poller.fast){ "Fast IO Poller", this };
216                        __thrd_start( this.io.poller.fast, main );
217                #endif
218
219                // Create the poller thread
220                __cfadbg_print_safe(io, "Kernel I/O : Creating slow poller for cluter %p\n", &this);
221                this.io.poller.slow.stack = __create_pthread( &this.io.poller.slow.kthrd, __io_poller_slow, &this );
222        }
223
224        void __kernel_io_prepare_stop( cluster & this ) {
225                __cfadbg_print_safe(io, "Kernel I/O : Stopping pollers for cluster\n", &this);
226                // Notify the poller thread of the shutdown
227                __atomic_store_n(&this.io.done, true, __ATOMIC_SEQ_CST);
228
229                // Stop the IO Poller
230                sigval val = { 1 };
231                pthread_sigqueue( this.io.poller.slow.kthrd, SIGUSR1, val );
232                #if defined(__CFA_IO_POLLING_USER__)
233                        post( this.io.poller.sem );
234                #endif
235
236                // Wait for the poller thread to finish
237                pthread_join( this.io.poller.slow.kthrd, 0p );
238                free( this.io.poller.slow.stack );
239
240                __cfadbg_print_safe(io, "Kernel I/O : Slow poller stopped for cluster\n", &this);
241
242                #if defined(__CFA_IO_POLLING_USER__)
243                        // unpark the fast io_poller
244                        unpark( &this.io.poller.fast.thrd __cfaabi_dbg_ctx2 );
245
246                        ^(this.io.poller.fast){};
247
248                        __cfadbg_print_safe(io, "Kernel I/O : Fast poller stopped for cluster\n", &this);
249                #endif
250        }
251
252        void __kernel_io_shutdown( cluster & this, bool main_cluster ) {
253                if(!main_cluster) {
254                        __kernel_io_prepare_stop( this );
255                }
256
257                // print statistics
258                #if !defined(__CFA_NO_STATISTICS__)
259                        if(this.print_stats) {
260                                __cfaabi_bits_print_safe( STDERR_FILENO,
261                                        "----- I/O uRing Stats -----\n"
262                                        "- total submit calls  : %llu\n"
263                                        "- avg submit          : %lf\n"
264                                        "- total wait calls    : %llu\n"
265                                        "- avg completion/wait : %lf\n",
266                                        this.io.submit_q.stats.submit_avg.cnt,
267                                        ((double)this.io.submit_q.stats.submit_avg.val) / this.io.submit_q.stats.submit_avg.cnt,
268                                        this.io.completion_q.stats.completed_avg.cnt,
269                                        ((double)this.io.completion_q.stats.completed_avg.val) / this.io.completion_q.stats.completed_avg.cnt
270                                );
271                        }
272                #endif
273
274                // Shutdown the io rings
275                struct io_uring_sq & sq = this.io.submit_q;
276                struct io_uring_cq & cq = this.io.completion_q;
277
278                // unmap the submit queue entries
279                munmap(sq.sqes, (*sq.num) * sizeof(struct io_uring_sqe));
280
281                // unmap the Submit Queue ring
282                munmap(sq.ring_ptr, sq.ring_sz);
283
284                // unmap the Completion Queue ring, if it is different
285                if (cq.ring_ptr != sq.ring_ptr) {
286                        munmap(cq.ring_ptr, cq.ring_sz);
287                }
288
289                // close the file descriptor
290                close(this.io.fd);
291        }
292
293//=============================================================================================
294// I/O Polling
295//=============================================================================================
296        struct io_user_data {
297                int32_t result;
298                $thread * thrd;
299        };
300
301        // Process a single completion message from the io_uring
302        // This is NOT thread-safe
303        static int __drain_io( struct io_ring & ring, sigset_t * mask, int waitcnt, bool in_kernel ) {
304                int ret = syscall( __NR_io_uring_enter, ring.fd, 0, waitcnt, IORING_ENTER_GETEVENTS, mask, _NSIG / 8);
305                if( ret < 0 ) {
306                        switch((int)errno) {
307                        case EAGAIN:
308                        case EINTR:
309                                return -EAGAIN;
310                        default:
311                                abort( "KERNEL ERROR: IO_URING WAIT - %s\n", strerror(errno) );
312                        }
313                }
314
315                // Drain the queue
316                unsigned head = *ring.completion_q.head;
317                unsigned tail = __atomic_load_n(ring.completion_q.tail, __ATOMIC_ACQUIRE);
318
319                // Nothing was new return 0
320                if (head == tail) {
321                        #if !defined(__CFA_NO_STATISTICS__)
322                                ring.completion_q.stats.completed_avg.cnt += 1;
323                        #endif
324                        return 0;
325                }
326
327                uint32_t count = tail - head;
328                for(i; count) {
329                        unsigned idx = (head + i) & (*ring.completion_q.mask);
330                        struct io_uring_cqe & cqe = ring.completion_q.cqes[idx];
331
332                        /* paranoid */ verify(&cqe);
333
334                        struct io_user_data * data = (struct io_user_data *)cqe.user_data;
335                        __cfadbg_print_safe( io, "Kernel I/O : Performed reading io cqe %p, result %d for %p\n", data, cqe.res, data->thrd );
336
337                        data->result = cqe.res;
338                        if(!in_kernel) { unpark( data->thrd __cfaabi_dbg_ctx2 ); }
339                        else         { __unpark( data->thrd __cfaabi_dbg_ctx2 ); }
340                }
341
342                // Allow new submissions to happen
343                V(ring.submit, count);
344
345                // Mark to the kernel that the cqe has been seen
346                // Ensure that the kernel only sees the new value of the head index after the CQEs have been read.
347                __atomic_fetch_add( ring.completion_q.head, count, __ATOMIC_RELAXED );
348
349                // Update statistics
350                #if !defined(__CFA_NO_STATISTICS__)
351                        ring.completion_q.stats.completed_avg.val += count;
352                        ring.completion_q.stats.completed_avg.cnt += 1;
353                #endif
354
355                return count;
356        }
357
358        static void * __io_poller_slow( void * arg ) {
359                cluster * cltr = (cluster *)arg;
360                struct io_ring & ring = cltr->io;
361
362                sigset_t mask;
363                sigfillset(&mask);
364                if ( pthread_sigmask( SIG_BLOCK, &mask, 0p ) == -1 ) {
365                        abort( "KERNEL ERROR: IO_URING - pthread_sigmask" );
366                }
367
368                sigdelset( &mask, SIGUSR1 );
369
370                verify( (*ring.submit_q.head) == (*ring.submit_q.tail) );
371                verify( (*ring.completion_q.head) == (*ring.completion_q.tail) );
372
373                while(!__atomic_load_n(&ring.done, __ATOMIC_SEQ_CST)) {
374                        #if defined(__CFA_IO_POLLING_USER__)
375
376                                // In the user-thread approach drain and if anything was drained,
377                                // batton pass to the user-thread
378                                int count = __drain_io( ring, &mask, 1, true );
379                                if(count > 0) {
380                                        __cfadbg_print_safe(io, "Kernel I/O : Moving to ring %p to fast poller\n", &ring);
381                                        __unpark( &ring.poller.fast.thrd __cfaabi_dbg_ctx2 );
382                                        wait( ring.poller.sem );
383                                }
384
385                        #else
386
387                                //In the naive approach, just poll the io completion queue directly
388                                __drain_io( ring, &mask, 1, true );
389
390                        #endif
391                }
392
393                return 0p;
394        }
395
396        #if defined(__CFA_IO_POLLING_USER__)
397                void main( __io_poller_fast & this ) {
398                        // Start parked
399                        park( __cfaabi_dbg_ctx );
400
401                        // Then loop until we need to start
402                        while(!__atomic_load_n(&this.ring->done, __ATOMIC_SEQ_CST)) {
403                                // Drain the io
404                                if(0 > __drain_io( *this.ring, 0p, 0, false )) {
405                                        // If we got something, just yield and check again
406                                        yield();
407                                }
408                                else {
409                                        // We didn't get anything baton pass to the slow poller
410                                        __cfadbg_print_safe(io, "Kernel I/O : Moving to ring %p to slow poller\n", &this.ring);
411                                        post( this.ring->poller.sem );
412                                        park( __cfaabi_dbg_ctx );
413                                }
414                        }
415                }
416        #endif
417
418//=============================================================================================
419// I/O Submissions
420//=============================================================================================
421
422// Submition steps :
423// 1 - We need to make sure we don't overflow any of the buffer, P(ring.submit) to make sure
424//     entries are available. The semaphore make sure that there is no more operations in
425//     progress then the number of entries in the buffer. This probably limits concurrency
426//     more than necessary since submitted but not completed operations don't need any
427//     entries in user space. However, I don't know what happens if we overflow the buffers
428//     because too many requests completed at once. This is a safe approach in all cases.
429//     Furthermore, with hundreds of entries, this may be okay.
430//
431// 2 - Allocate a queue entry. The ring already has memory for all entries but only the ones
432//     listed in sq.array are visible by the kernel. For those not listed, the kernel does not
433//     offer any assurance that an entry is not being filled by multiple flags. Therefore, we
434//     need to write an allocator that allows allocating concurrently.
435//
436// 3 - Actually fill the submit entry, this is the only simple and straightforward step.
437//
438// 4 - Append the entry index to the array and adjust the tail accordingly. This operation
439//     needs to arrive to two concensus at the same time:
440//     A - The order in which entries are listed in the array: no two threads must pick the
441//         same index for their entries
442//     B - When can the tail be update for the kernel. EVERY entries in the array between
443//         head and tail must be fully filled and shouldn't ever be touched again.
444//
445
446        static inline [* struct io_uring_sqe, uint32_t] __submit_alloc( struct io_ring & ring ) {
447                // Wait for a spot to be available
448                P(ring.submit);
449
450                // Allocate the sqe
451                uint32_t idx = __atomic_fetch_add(&ring.submit_q.alloc, 1ul32, __ATOMIC_SEQ_CST);
452
453                // Validate that we didn't overflow anything
454                // Check that nothing overflowed
455                /* paranoid */ verify( true );
456
457                // Check that it goes head -> tail -> alloc and never head -> alloc -> tail
458                /* paranoid */ verify( true );
459
460                // Return the sqe
461                return [&ring.submit_q.sqes[ idx & (*ring.submit_q.mask)], idx];
462        }
463
464        static inline void __submit( struct io_ring & ring, uint32_t idx ) {
465                // get mutual exclusion
466                lock(ring.submit_q.lock __cfaabi_dbg_ctx2);
467
468                // Append to the list of ready entries
469                uint32_t * tail = ring.submit_q.tail;
470                const uint32_t mask = *ring.submit_q.mask;
471
472                ring.submit_q.array[ (*tail) & mask ] = idx & mask;
473                __atomic_fetch_add(tail, 1ul32, __ATOMIC_SEQ_CST);
474
475                // Submit however, many entries need to be submitted
476                int ret = syscall( __NR_io_uring_enter, ring.fd, 1, 0, 0, 0p, 0);
477                if( ret < 0 ) {
478                        switch((int)errno) {
479                        default:
480                                abort( "KERNEL ERROR: IO_URING SUBMIT - %s\n", strerror(errno) );
481                        }
482                }
483
484                // update statistics
485                #if !defined(__CFA_NO_STATISTICS__)
486                        ring.submit_q.stats.submit_avg.val += 1;
487                        ring.submit_q.stats.submit_avg.cnt += 1;
488                #endif
489
490                unlock(ring.submit_q.lock);
491                // Make sure that idx was submitted
492                // Be careful to not get false positive if we cycled the entire list or that someone else submitted for us
493                __cfadbg_print_safe( io, "Kernel I/O : Performed io_submit for %p, returned %d\n", active_thread(), ret );
494        }
495
496        static inline void ?{}(struct io_uring_sqe & this, uint8_t opcode, int fd) {
497                this.opcode = opcode;
498                #if !defined(IOSQE_ASYNC)
499                        this.flags = 0;
500                #else
501                        this.flags = IOSQE_ASYNC;
502                #endif
503                this.ioprio = 0;
504                this.fd = fd;
505                this.off = 0;
506                this.addr = 0;
507                this.len = 0;
508                this.rw_flags = 0;
509                this.__pad2[0] = this.__pad2[1] = this.__pad2[2] = 0;
510        }
511
512        static inline void ?{}(struct io_uring_sqe & this, uint8_t opcode, int fd, void * addr, uint32_t len, uint64_t off ) {
513                (this){ opcode, fd };
514                this.off = off;
515                this.addr = (uint64_t)addr;
516                this.len = len;
517        }
518
519
520//=============================================================================================
521// I/O Interface
522//=============================================================================================
523
524        #define __submit_prelude \
525                struct io_ring & ring = active_cluster()->io; \
526                struct io_uring_sqe * sqe; \
527                uint32_t idx; \
528                [sqe, idx] = __submit_alloc( ring );
529
530        #define __submit_wait \
531                io_user_data data = { 0, active_thread() }; \
532                /*__cfaabi_bits_print_safe( STDERR_FILENO, "Preparing user data %p for %p\n", &data, data.thrd );*/ \
533                sqe->user_data = (uint64_t)&data; \
534                __submit( ring, idx ); \
535                park( __cfaabi_dbg_ctx ); \
536                return data.result;
537#endif
538
539// Some forward declarations
540extern "C" {
541        #include <sys/types.h>
542        struct iovec;
543        extern ssize_t preadv2 (int fd, const struct iovec *iov, int iovcnt, off_t offset, int flags);
544        extern ssize_t pwritev2(int fd, const struct iovec *iov, int iovcnt, off_t offset, int flags);
545
546        extern int fsync(int fd);
547        extern int sync_file_range(int fd, int64_t offset, int64_t nbytes, unsigned int flags);
548
549        struct msghdr;
550        struct sockaddr;
551        extern ssize_t sendmsg(int sockfd, const struct msghdr *msg, int flags);
552        extern ssize_t recvmsg(int sockfd, struct msghdr *msg, int flags);
553        extern ssize_t send(int sockfd, const void *buf, size_t len, int flags);
554        extern ssize_t recv(int sockfd, void *buf, size_t len, int flags);
555        extern int accept4(int sockfd, struct sockaddr *addr, socklen_t *addrlen, int flags);
556        extern int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
557
558        extern int fallocate(int fd, int mode, uint64_t offset, uint64_t len);
559        extern int posix_fadvise(int fd, uint64_t offset, uint64_t len, int advice);
560        extern int madvise(void *addr, size_t length, int advice);
561
562        extern int openat(int dirfd, const char *pathname, int flags, mode_t mode);
563        extern int close(int fd);
564
565        struct statx;
566        extern int statx(int dirfd, const char *pathname, int flags, unsigned int mask, struct statx *statxbuf);
567
568        extern ssize_t read (int fd, void *buf, size_t count);
569}
570
571//-----------------------------------------------------------------------------
572// Asynchronous operations
573ssize_t cfa_preadv2(int fd, const struct iovec *iov, int iovcnt, off_t offset, int flags) {
574        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_READV)
575                return preadv2(fd, iov, iovcnt, offset, flags);
576        #else
577                __submit_prelude
578
579                (*sqe){ IORING_OP_READV, fd, iov, iovcnt, offset };
580
581                __submit_wait
582        #endif
583}
584
585ssize_t cfa_pwritev2(int fd, const struct iovec *iov, int iovcnt, off_t offset, int flags) {
586        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_WRITEV)
587                return pwritev2(fd, iov, iovcnt, offset, flags);
588        #else
589                __submit_prelude
590
591                (*sqe){ IORING_OP_WRITEV, fd, iov, iovcnt, offset };
592
593                __submit_wait
594        #endif
595}
596
597int cfa_fsync(int fd) {
598        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_FSYNC)
599                return fsync(fd);
600        #else
601                __submit_prelude
602
603                (*sqe){ IORING_OP_FSYNC, fd };
604
605                __submit_wait
606        #endif
607}
608
609int cfa_sync_file_range(int fd, int64_t offset, int64_t nbytes, unsigned int flags) {
610        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_SYNC_FILE_RANGE)
611                return sync_file_range(fd, offset, nbytes, flags);
612        #else
613                __submit_prelude
614
615                (*sqe){ IORING_OP_SYNC_FILE_RANGE, fd };
616                sqe->off = offset;
617                sqe->len = nbytes;
618                sqe->sync_range_flags = flags;
619
620                __submit_wait
621        #endif
622}
623
624
625ssize_t cfa_sendmsg(int sockfd, const struct msghdr *msg, int flags) {
626        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_SENDMSG)
627                return recv(sockfd, msg, flags);
628        #else
629                __submit_prelude
630
631                (*sqe){ IORING_OP_SENDMSG, sockfd, msg, 1, 0 };
632                sqe->msg_flags = flags;
633
634                __submit_wait
635        #endif
636}
637
638ssize_t cfa_recvmsg(int sockfd, struct msghdr *msg, int flags) {
639        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_RECVMSG)
640                return recv(sockfd, msg, flags);
641        #else
642                __submit_prelude
643
644                (*sqe){ IORING_OP_RECVMSG, sockfd, msg, 1, 0 };
645                sqe->msg_flags = flags;
646
647                __submit_wait
648        #endif
649}
650
651ssize_t cfa_send(int sockfd, const void *buf, size_t len, int flags) {
652        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_SEND)
653                return send( sockfd, buf, len, flags );
654        #else
655                __submit_prelude
656
657                (*sqe){ IORING_OP_SEND, sockfd };
658                sqe->addr = (uint64_t)buf;
659                sqe->len = len;
660                sqe->msg_flags = flags;
661
662                __submit_wait
663        #endif
664}
665
666ssize_t cfa_recv(int sockfd, void *buf, size_t len, int flags) {
667        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_RECV)
668                return recv( sockfd, buf, len, flags );
669        #else
670                __submit_prelude
671
672                (*sqe){ IORING_OP_RECV, sockfd };
673                sqe->addr = (uint64_t)buf;
674                sqe->len = len;
675                sqe->msg_flags = flags;
676
677                __submit_wait
678        #endif
679}
680
681int cfa_accept4(int sockfd, struct sockaddr *addr, socklen_t *addrlen, int flags) {
682        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_ACCEPT)
683                return accept4( sockfd, addr, addrlen, flags );
684        #else
685                __submit_prelude
686
687                (*sqe){ IORING_OP_ACCEPT, sockfd };
688                sqe->addr = addr;
689                sqe->addr2 = addrlen;
690                sqe->accept_flags = flags;
691
692                __submit_wait
693        #endif
694}
695
696int cfa_connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen) {
697        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_CONNECT)
698                return connect( sockfd, addr, addrlen );
699        #else
700                __submit_prelude
701
702                (*sqe){ IORING_OP_CONNECT, sockfd };
703                sqe->addr = (uint64_t)addr;
704                sqe->off = addrlen;
705
706                __submit_wait
707        #endif
708}
709
710int cfa_fallocate(int fd, int mode, uint64_t offset, uint64_t len) {
711        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_FALLOCATE)
712                return fallocate( fd, mode, offset, len );
713        #else
714                __submit_prelude
715
716                (*sqe){ IORING_OP_FALLOCATE, fd };
717                sqe->off = offset;
718                sqe->len = length;
719                sqe->mode = mode;
720
721                __submit_wait
722        #endif
723}
724
725int cfa_fadvise(int fd, uint64_t offset, uint64_t len, int advice) {
726        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_FADVISE)
727                return posix_fadvise( fd, offset, len, advice );
728        #else
729                __submit_prelude
730
731                (*sqe){ IORING_OP_FADVISE, fd };
732                sqe->off = (uint64_t)offset;
733                sqe->len = length;
734                sqe->fadvise_advice = advice;
735
736                __submit_wait
737        #endif
738}
739
740int cfa_madvise(void *addr, size_t length, int advice) {
741        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_MADVISE)
742                return madvise( addr, length, advice );
743        #else
744                __submit_prelude
745
746                (*sqe){ IORING_OP_MADVISE, 0 };
747                sqe->addr = (uint64_t)addr;
748                sqe->len = length;
749                sqe->fadvise_advice = advice;
750
751                __submit_wait
752        #endif
753}
754
755int cfa_openat(int dirfd, const char *pathname, int flags, mode_t mode) {
756        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_OPENAT)
757                return openat( dirfd, pathname, flags, mode );
758        #else
759                __submit_prelude
760
761                (*sqe){ IORING_OP_OPENAT, dirfd };
762                sqe->addr = (uint64_t)pathname;
763                sqe->open_flags = flags;
764                sqe->mode = mode;
765
766                __submit_wait
767        #endif
768}
769
770int cfa_close(int fd) {
771        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_CLOSE)
772                return close( fd );
773        #else
774                __submit_prelude
775
776                (*sqe){ IORING_OP_CLOSE, fd };
777
778                __submit_wait
779        #endif
780}
781
782int cfa_statx(int dirfd, const char *pathname, int flags, unsigned int mask, struct statx *statxbuf) {
783        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_STATX)
784                //return statx( dirfd, pathname, flags, mask, statxbuf );
785                return syscall( __NR_io_uring_setup, dirfd, pathname, flags, mask, statxbuf );
786        #else
787                __submit_prelude
788
789                (*sqe){ IORING_OP_STATX, dirfd };
790                sqe->addr = (uint64_t)pathname;
791                sqe->statx_flags = flags;
792                sqe->len = mask;
793                sqe->off = (uint64_t)statxbuf;
794
795                __submit_wait
796        #endif
797}
798
799
800ssize_t cfa_read(int fd, void *buf, size_t count) {
801        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_READ)
802                return read( fd, buf, count );
803        #else
804                __submit_prelude
805
806                (*sqe){ IORING_OP_READ, fd, buf, count, 0 };
807
808                __submit_wait
809        #endif
810}
811
812ssize_t cfa_write(int fd, void *buf, size_t count) {
813        #if !defined(HAVE_LINUX_IO_URING_H) || !defined(IORING_OP_WRITE)
814                return read( fd, buf, count );
815        #else
816                __submit_prelude
817
818                (*sqe){ IORING_OP_WRITE, fd, buf, count, 0 };
819
820                __submit_wait
821        #endif
822}
823
824//-----------------------------------------------------------------------------
825// Check if a function is asynchronous
826
827// Macro magic to reduce the size of the following switch case
828#define IS_DEFINED_APPLY(f, ...) f(__VA_ARGS__)
829#define IS_DEFINED_SECOND(first, second, ...) second
830#define IS_DEFINED_TEST(expansion) _CFA_IO_FEATURE_##expansion
831#define IS_DEFINED(macro) IS_DEFINED_APPLY( IS_DEFINED_SECOND,IS_DEFINED_TEST(macro) false, true)
832
833bool has_user_level_blocking( fptr_t func ) {
834        #if defined(HAVE_LINUX_IO_URING_H)
835                if( /*func == (fptr_t)preadv2 || */
836                        func == (fptr_t)cfa_preadv2 )
837                        #define _CFA_IO_FEATURE_IORING_OP_READV ,
838                        return IS_DEFINED(IORING_OP_READV);
839
840                if( /*func == (fptr_t)pwritev2 || */
841                        func == (fptr_t)cfa_pwritev2 )
842                        #define _CFA_IO_FEATURE_IORING_OP_WRITEV ,
843                        return IS_DEFINED(IORING_OP_WRITEV);
844
845                if( /*func == (fptr_t)fsync || */
846                        func == (fptr_t)cfa_fsync )
847                        #define _CFA_IO_FEATURE_IORING_OP_FSYNC ,
848                        return IS_DEFINED(IORING_OP_FSYNC);
849
850                if( /*func == (fptr_t)ync_file_range || */
851                        func == (fptr_t)cfa_sync_file_range )
852                        #define _CFA_IO_FEATURE_IORING_OP_SYNC_FILE_RANGE ,
853                        return IS_DEFINED(IORING_OP_SYNC_FILE_RANGE);
854
855                if( /*func == (fptr_t)sendmsg || */
856                        func == (fptr_t)cfa_sendmsg )
857                        #define _CFA_IO_FEATURE_IORING_OP_SENDMSG ,
858                        return IS_DEFINED(IORING_OP_SENDMSG);
859
860                if( /*func == (fptr_t)recvmsg || */
861                        func == (fptr_t)cfa_recvmsg )
862                        #define _CFA_IO_FEATURE_IORING_OP_RECVMSG ,
863                        return IS_DEFINED(IORING_OP_RECVMSG);
864
865                if( /*func == (fptr_t)send || */
866                        func == (fptr_t)cfa_send )
867                        #define _CFA_IO_FEATURE_IORING_OP_SEND ,
868                        return IS_DEFINED(IORING_OP_SEND);
869
870                if( /*func == (fptr_t)recv || */
871                        func == (fptr_t)cfa_recv )
872                        #define _CFA_IO_FEATURE_IORING_OP_RECV ,
873                        return IS_DEFINED(IORING_OP_RECV);
874
875                if( /*func == (fptr_t)accept4 || */
876                        func == (fptr_t)cfa_accept4 )
877                        #define _CFA_IO_FEATURE_IORING_OP_ACCEPT ,
878                        return IS_DEFINED(IORING_OP_ACCEPT);
879
880                if( /*func == (fptr_t)connect || */
881                        func == (fptr_t)cfa_connect )
882                        #define _CFA_IO_FEATURE_IORING_OP_CONNECT ,
883                        return IS_DEFINED(IORING_OP_CONNECT);
884
885                if( /*func == (fptr_t)fallocate || */
886                        func == (fptr_t)cfa_fallocate )
887                        #define _CFA_IO_FEATURE_IORING_OP_FALLOCATE ,
888                        return IS_DEFINED(IORING_OP_FALLOCATE);
889
890                if( /*func == (fptr_t)posix_fadvise || */
891                        func == (fptr_t)cfa_fadvise )
892                        #define _CFA_IO_FEATURE_IORING_OP_FADVISE ,
893                        return IS_DEFINED(IORING_OP_FADVISE);
894
895                if( /*func == (fptr_t)madvise || */
896                        func == (fptr_t)cfa_madvise )
897                        #define _CFA_IO_FEATURE_IORING_OP_MADVISE ,
898                        return IS_DEFINED(IORING_OP_MADVISE);
899
900                if( /*func == (fptr_t)openat || */
901                        func == (fptr_t)cfa_openat )
902                        #define _CFA_IO_FEATURE_IORING_OP_OPENAT ,
903                        return IS_DEFINED(IORING_OP_OPENAT);
904
905                if( /*func == (fptr_t)close || */
906                        func == (fptr_t)cfa_close )
907                        #define _CFA_IO_FEATURE_IORING_OP_CLOSE ,
908                        return IS_DEFINED(IORING_OP_CLOSE);
909
910                if( /*func == (fptr_t)statx || */
911                        func == (fptr_t)cfa_statx )
912                        #define _CFA_IO_FEATURE_IORING_OP_STATX ,
913                        return IS_DEFINED(IORING_OP_STATX);
914
915                if( /*func == (fptr_t)read || */
916                        func == (fptr_t)cfa_read )
917                        #define _CFA_IO_FEATURE_IORING_OP_READ ,
918                        return IS_DEFINED(IORING_OP_READ);
919
920                if( /*func == (fptr_t)write || */
921                        func == (fptr_t)cfa_write )
922                        #define _CFA_IO_FEATURE_IORING_OP_WRITE ,
923                        return IS_DEFINED(IORING_OP_WRITE);
924        #endif
925
926        return false;
927}
Note: See TracBrowser for help on using the repository browser.