DPDK  19.08.2
rte_memory.h
Go to the documentation of this file.
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2010-2014 Intel Corporation
3  */
4 
5 #ifndef _RTE_MEMORY_H_
6 #define _RTE_MEMORY_H_
7 
14 #include <stdint.h>
15 #include <stddef.h>
16 #include <stdio.h>
17 
18 #ifdef __cplusplus
19 extern "C" {
20 #endif
21 
22 #include <rte_common.h>
23 #include <rte_compat.h>
24 #include <rte_config.h>
25 #include <rte_fbarray.h>
26 
27 __extension__
28 enum rte_page_sizes {
29  RTE_PGSIZE_4K = 1ULL << 12,
30  RTE_PGSIZE_64K = 1ULL << 16,
31  RTE_PGSIZE_256K = 1ULL << 18,
32  RTE_PGSIZE_2M = 1ULL << 21,
33  RTE_PGSIZE_16M = 1ULL << 24,
34  RTE_PGSIZE_256M = 1ULL << 28,
35  RTE_PGSIZE_512M = 1ULL << 29,
36  RTE_PGSIZE_1G = 1ULL << 30,
37  RTE_PGSIZE_4G = 1ULL << 32,
38  RTE_PGSIZE_16G = 1ULL << 34,
39 };
40 
41 #define SOCKET_ID_ANY -1
42 #define RTE_CACHE_LINE_MASK (RTE_CACHE_LINE_SIZE-1)
44 #define RTE_CACHE_LINE_ROUNDUP(size) \
45  (RTE_CACHE_LINE_SIZE * ((size + RTE_CACHE_LINE_SIZE - 1) / RTE_CACHE_LINE_SIZE))
46 
49 #if RTE_CACHE_LINE_SIZE == 64
50 #define RTE_CACHE_LINE_SIZE_LOG2 6
51 #elif RTE_CACHE_LINE_SIZE == 128
52 #define RTE_CACHE_LINE_SIZE_LOG2 7
53 #else
54 #error "Unsupported cache line size"
55 #endif
56 
57 #define RTE_CACHE_LINE_MIN_SIZE 64
62 #define __rte_cache_aligned __rte_aligned(RTE_CACHE_LINE_SIZE)
63 
67 #define __rte_cache_min_aligned __rte_aligned(RTE_CACHE_LINE_MIN_SIZE)
68 
69 typedef uint64_t phys_addr_t;
70 #define RTE_BAD_PHYS_ADDR ((phys_addr_t)-1)
71 
78 typedef uint64_t rte_iova_t;
79 #define RTE_BAD_IOVA ((rte_iova_t)-1)
80 
84 #define RTE_MEMSEG_FLAG_DO_NOT_FREE (1 << 0)
85 
86 struct rte_memseg {
88  union {
89  phys_addr_t phys_addr;
90  rte_iova_t iova;
91  };
93  union {
94  void *addr;
95  uint64_t addr_64;
96  };
97  size_t len;
98  uint64_t hugepage_sz;
99  int32_t socket_id;
100  uint32_t nchannel;
101  uint32_t nrank;
102  uint32_t flags;
103 } __rte_packed;
104 
109 struct rte_memseg_list {
111  union {
112  void *base_va;
114  uint64_t addr_64;
116  };
117  uint64_t page_sz;
118  int socket_id;
119  volatile uint32_t version;
120  size_t len;
121  unsigned int external;
122  struct rte_fbarray memseg_arr;
123 };
124 
133 int rte_mem_lock_page(const void *virt);
134 
145 phys_addr_t rte_mem_virt2phy(const void *virt);
146 
155 rte_iova_t rte_mem_virt2iova(const void *virt);
156 
169 __rte_experimental
170 void *
171 rte_mem_iova2virt(rte_iova_t iova);
172 
184 __rte_experimental
185 struct rte_memseg *
186 rte_mem_virt2memseg(const void *virt, const struct rte_memseg_list *msl);
187 
196 __rte_experimental
197 struct rte_memseg_list *
198 rte_mem_virt2memseg_list(const void *virt);
199 
207 typedef int (*rte_memseg_walk_t)(const struct rte_memseg_list *msl,
208  const struct rte_memseg *ms, void *arg);
219 typedef int (*rte_memseg_contig_walk_t)(const struct rte_memseg_list *msl,
220  const struct rte_memseg *ms, size_t len, void *arg);
230 typedef int (*rte_memseg_list_walk_t)(const struct rte_memseg_list *msl,
231  void *arg);
251 __rte_experimental
252 int
253 rte_memseg_walk(rte_memseg_walk_t func, void *arg);
254 
273 __rte_experimental
274 int
276 
295 __rte_experimental
296 int
298 
314 __rte_experimental
315 int
317 
333 __rte_experimental
334 int
336 
352 __rte_experimental
353 int
355 
377 __rte_experimental
378 int
379 rte_memseg_get_fd(const struct rte_memseg *ms);
380 
402 __rte_experimental
403 int
404 rte_memseg_get_fd_thread_unsafe(const struct rte_memseg *ms);
405 
427 __rte_experimental
428 int
429 rte_memseg_get_fd_offset(const struct rte_memseg *ms, size_t *offset);
430 
452 __rte_experimental
453 int
454 rte_memseg_get_fd_offset_thread_unsafe(const struct rte_memseg *ms,
455  size_t *offset);
456 
494 __rte_experimental
495 int
496 rte_extmem_register(void *va_addr, size_t len, rte_iova_t iova_addrs[],
497  unsigned int n_pages, size_t page_sz);
498 
525 __rte_experimental
526 int
527 rte_extmem_unregister(void *va_addr, size_t len);
528 
552 __rte_experimental
553 int
554 rte_extmem_attach(void *va_addr, size_t len);
555 
579 __rte_experimental
580 int
581 rte_extmem_detach(void *va_addr, size_t len);
582 
592 void rte_dump_physmem_layout(FILE *f);
593 
603 uint64_t rte_eal_get_physmem_size(void);
604 
612 unsigned rte_memory_get_nchannel(void);
613 
621 unsigned rte_memory_get_nrank(void);
622 
633 __rte_experimental
634 int rte_mem_check_dma_mask(uint8_t maskbits);
635 
652 __rte_experimental
653 int rte_mem_check_dma_mask_thread_unsafe(uint8_t maskbits);
654 
663 __rte_experimental
664 void rte_mem_set_dma_mask(uint8_t maskbits);
665 
675 int rte_eal_using_phys_addrs(void);
676 
677 
682 enum rte_mem_event {
683  RTE_MEM_EVENT_ALLOC = 0,
685 };
686 #define RTE_MEM_EVENT_CALLBACK_NAME_LEN 64
687 
692 typedef void (*rte_mem_event_callback_t)(enum rte_mem_event event_type,
693  const void *addr, size_t len, void *arg);
720 __rte_experimental
721 int
723  void *arg);
724 
739 __rte_experimental
740 int
741 rte_mem_event_callback_unregister(const char *name, void *arg);
742 
743 
744 #define RTE_MEM_ALLOC_VALIDATOR_NAME_LEN 64
745 
752 typedef int (*rte_mem_alloc_validator_t)(int socket_id,
753  size_t cur_limit, size_t new_len);
789 __rte_experimental
790 int
791 rte_mem_alloc_validator_register(const char *name,
792  rte_mem_alloc_validator_t clb, int socket_id, size_t limit);
793 
808 __rte_experimental
809 int
810 rte_mem_alloc_validator_unregister(const char *name, int socket_id);
811 
812 #ifdef __cplusplus
813 }
814 #endif
815 
816 #endif /* _RTE_MEMORY_H_ */
__rte_experimental int rte_memseg_list_walk(rte_memseg_list_walk_t func, void *arg)
__rte_experimental int rte_memseg_walk(rte_memseg_walk_t func, void *arg)
__rte_experimental int rte_mem_alloc_validator_unregister(const char *name, int socket_id)
Unregister validator callback for memory allocations.
unsigned rte_memory_get_nchannel(void)
__rte_experimental int rte_memseg_contig_walk_thread_unsafe(rte_memseg_contig_walk_t func, void *arg)
__rte_experimental struct rte_memseg * rte_mem_virt2memseg(const void *virt, const struct rte_memseg_list *msl)
__rte_experimental int rte_memseg_get_fd_thread_unsafe(const struct rte_memseg *ms)
__rte_experimental int rte_memseg_walk_thread_unsafe(rte_memseg_walk_t func, void *arg)
__rte_experimental int rte_memseg_contig_walk(rte_memseg_contig_walk_t func, void *arg)
int rte_eal_using_phys_addrs(void)
int rte_mem_lock_page(const void *virt)
__rte_experimental int rte_memseg_list_walk_thread_unsafe(rte_memseg_list_walk_t func, void *arg)
__rte_experimental int rte_memseg_get_fd_offset_thread_unsafe(const struct rte_memseg *ms, size_t *offset)
unsigned rte_memory_get_nrank(void)
__rte_experimental int rte_memseg_get_fd(const struct rte_memseg *ms)
int(* rte_memseg_walk_t)(const struct rte_memseg_list *msl, const struct rte_memseg *ms, void *arg)
Definition: rte_memory.h:209
rte_mem_event
Definition: rte_memory.h:684
phys_addr_t rte_mem_virt2phy(const void *virt)
#define __rte_packed
Definition: rte_common.h:69
uint64_t rte_eal_get_physmem_size(void)
__rte_experimental int rte_mem_event_callback_unregister(const char *name, void *arg)
__rte_experimental void rte_mem_set_dma_mask(uint8_t maskbits)
void(* rte_mem_event_callback_t)(enum rte_mem_event event_type, const void *addr, size_t len, void *arg)
Definition: rte_memory.h:694
__rte_experimental int rte_mem_alloc_validator_register(const char *name, rte_mem_alloc_validator_t clb, int socket_id, size_t limit)
Register validator callback for memory allocations.
__rte_experimental int rte_extmem_attach(void *va_addr, size_t len)
__rte_experimental int rte_extmem_detach(void *va_addr, size_t len)
__rte_experimental void * rte_mem_iova2virt(rte_iova_t iova)
volatile uint32_t version
Definition: rte_memory.h:121
uint64_t addr_64
Definition: rte_memory.h:116
void rte_dump_physmem_layout(FILE *f)
#define RTE_STD_C11
Definition: rte_common.h:40
unsigned int external
Definition: rte_memory.h:123
uint64_t rte_iova_t
Definition: rte_memory.h:80
uint64_t phys_addr_t
Definition: rte_memory.h:71
__rte_experimental int rte_extmem_unregister(void *va_addr, size_t len)
uint64_t page_sz
Definition: rte_memory.h:119
int(* rte_memseg_contig_walk_t)(const struct rte_memseg_list *msl, const struct rte_memseg *ms, size_t len, void *arg)
Definition: rte_memory.h:221
__rte_experimental struct rte_memseg_list * rte_mem_virt2memseg_list(const void *virt)
int(* rte_mem_alloc_validator_t)(int socket_id, size_t cur_limit, size_t new_len)
Definition: rte_memory.h:754
__rte_experimental int rte_extmem_register(void *va_addr, size_t len, rte_iova_t iova_addrs[], unsigned int n_pages, size_t page_sz)
__rte_experimental int rte_mem_check_dma_mask_thread_unsafe(uint8_t maskbits)
int(* rte_memseg_list_walk_t)(const struct rte_memseg_list *msl, void *arg)
Definition: rte_memory.h:232
__rte_experimental int rte_mem_check_dma_mask(uint8_t maskbits)
__rte_experimental int rte_mem_event_callback_register(const char *name, rte_mem_event_callback_t clb, void *arg)
rte_iova_t rte_mem_virt2iova(const void *virt)
__rte_experimental int rte_memseg_get_fd_offset(const struct rte_memseg *ms, size_t *offset)