DPDK  22.03.0
rte_mempool.h
Go to the documentation of this file.
1 /* SPDX-License-Identifier: BSD-3-Clause
2  * Copyright(c) 2010-2014 Intel Corporation.
3  * Copyright(c) 2016 6WIND S.A.
4  */
5 
6 #ifndef _RTE_MEMPOOL_H_
7 #define _RTE_MEMPOOL_H_
8 
36 #include <stdio.h>
37 #include <stdint.h>
38 #include <inttypes.h>
39 
40 #include <rte_config.h>
41 #include <rte_spinlock.h>
42 #include <rte_debug.h>
43 #include <rte_lcore.h>
44 #include <rte_branch_prediction.h>
45 #include <rte_ring.h>
46 #include <rte_memcpy.h>
47 #include <rte_common.h>
48 
49 #include "rte_mempool_trace_fp.h"
50 
51 #ifdef __cplusplus
52 extern "C" {
53 #endif
54 
55 #define RTE_MEMPOOL_HEADER_COOKIE1 0xbadbadbadadd2e55ULL
56 #define RTE_MEMPOOL_HEADER_COOKIE2 0xf2eef2eedadd2e55ULL
57 #define RTE_MEMPOOL_TRAILER_COOKIE 0xadd2e55badbadbadULL
59 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
60 
66 struct rte_mempool_debug_stats {
67  uint64_t put_bulk;
68  uint64_t put_objs;
69  uint64_t put_common_pool_bulk;
70  uint64_t put_common_pool_objs;
71  uint64_t get_common_pool_bulk;
72  uint64_t get_common_pool_objs;
73  uint64_t get_success_bulk;
74  uint64_t get_success_objs;
75  uint64_t get_fail_bulk;
76  uint64_t get_fail_objs;
77  uint64_t get_success_blks;
78  uint64_t get_fail_blks;
80 #endif
81 
86  uint32_t size;
87  uint32_t flushthresh;
88  uint32_t len;
89  /*
90  * Cache is allocated to this size to allow it to overflow in certain
91  * cases to avoid needless emptying of cache.
92  */
93  void *objs[RTE_MEMPOOL_CACHE_MAX_SIZE * 3];
95 
100  uint32_t elt_size;
101  uint32_t header_size;
102  uint32_t trailer_size;
103  uint32_t total_size;
105 };
106 
108 #define RTE_MEMPOOL_NAMESIZE (RTE_RING_NAMESIZE - \
109  sizeof(RTE_MEMPOOL_MZ_PREFIX) + 1)
110 #define RTE_MEMPOOL_MZ_PREFIX "MP_"
111 
112 /* "MP_<name>" */
113 #define RTE_MEMPOOL_MZ_FORMAT RTE_MEMPOOL_MZ_PREFIX "%s"
114 
115 #define MEMPOOL_PG_SHIFT_MAX \
116  RTE_DEPRECATED(MEMPOOL_PG_SHIFT_MAX) (sizeof(uintptr_t) * CHAR_BIT - 1)
117 
119 #define MEMPOOL_PG_NUM_DEFAULT RTE_DEPRECATED(MEMPOOL_PG_NUM_DEFAULT) 1
120 
121 #ifndef RTE_MEMPOOL_ALIGN
122 
125 #define RTE_MEMPOOL_ALIGN RTE_CACHE_LINE_SIZE
126 #endif
127 
128 #define RTE_MEMPOOL_ALIGN_MASK (RTE_MEMPOOL_ALIGN - 1)
129 
140  RTE_STAILQ_ENTRY(rte_mempool_objhdr) next;
141  struct rte_mempool *mp;
143 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
144  uint64_t cookie;
145 #endif
146 };
147 
151 RTE_STAILQ_HEAD(rte_mempool_objhdr_list, rte_mempool_objhdr);
152 
153 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
154 
161 struct rte_mempool_objtlr {
162  uint64_t cookie;
163 };
164 
165 #endif
166 
170 RTE_STAILQ_HEAD(rte_mempool_memhdr_list, rte_mempool_memhdr);
171 
176  void *opaque);
177 
185  RTE_STAILQ_ENTRY(rte_mempool_memhdr) next;
186  struct rte_mempool *mp;
187  void *addr;
189  size_t len;
191  void *opaque;
192 };
193 
202  unsigned int contig_block_size;
204 
208 struct rte_mempool {
209  char name[RTE_MEMPOOL_NAMESIZE];
211  union {
212  void *pool_data;
213  uint64_t pool_id;
214  };
215  void *pool_config;
216  const struct rte_memzone *mz;
217  unsigned int flags;
218  int socket_id;
219  uint32_t size;
220  uint32_t cache_size;
223  uint32_t elt_size;
224  uint32_t header_size;
225  uint32_t trailer_size;
227  unsigned private_data_size;
235  int32_t ops_index;
236 
239  uint32_t populated_size;
240  struct rte_mempool_objhdr_list elt_list;
241  uint32_t nb_mem_chunks;
242  struct rte_mempool_memhdr_list mem_list;
244 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
245 
246  struct rte_mempool_debug_stats stats[RTE_MAX_LCORE];
247 #endif
249 
251 #define RTE_MEMPOOL_F_NO_SPREAD 0x0001
252 
256 #define MEMPOOL_F_NO_SPREAD RTE_MEMPOOL_F_NO_SPREAD
257 
258 #define RTE_MEMPOOL_F_NO_CACHE_ALIGN 0x0002
259 
263 #define MEMPOOL_F_NO_CACHE_ALIGN RTE_MEMPOOL_F_NO_CACHE_ALIGN
264 
265 #define RTE_MEMPOOL_F_SP_PUT 0x0004
266 
270 #define MEMPOOL_F_SP_PUT RTE_MEMPOOL_F_SP_PUT
271 
272 #define RTE_MEMPOOL_F_SC_GET 0x0008
273 
277 #define MEMPOOL_F_SC_GET RTE_MEMPOOL_F_SC_GET
278 
279 #define RTE_MEMPOOL_F_POOL_CREATED 0x0010
280 
281 #define RTE_MEMPOOL_F_NO_IOVA_CONTIG 0x0020
282 
286 #define MEMPOOL_F_NO_IOVA_CONTIG RTE_MEMPOOL_F_NO_IOVA_CONTIG
287 
288 #define RTE_MEMPOOL_F_NON_IO 0x0040
289 
293 #define RTE_MEMPOOL_VALID_USER_FLAGS (RTE_MEMPOOL_F_NO_SPREAD \
294  | RTE_MEMPOOL_F_NO_CACHE_ALIGN \
295  | RTE_MEMPOOL_F_SP_PUT \
296  | RTE_MEMPOOL_F_SC_GET \
297  | RTE_MEMPOOL_F_NO_IOVA_CONTIG \
298  )
299 
309 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
310 #define RTE_MEMPOOL_STAT_ADD(mp, name, n) do { \
311  unsigned __lcore_id = rte_lcore_id(); \
312  if (__lcore_id < RTE_MAX_LCORE) { \
313  mp->stats[__lcore_id].name += n; \
314  } \
315  } while (0)
316 #else
317 #define RTE_MEMPOOL_STAT_ADD(mp, name, n) do {} while (0)
318 #endif
319 
328 #define RTE_MEMPOOL_HEADER_SIZE(mp, cs) \
329  (sizeof(*(mp)) + (((cs) == 0) ? 0 : \
330  (sizeof(struct rte_mempool_cache) * RTE_MAX_LCORE)))
331 
333 #define MEMPOOL_HEADER_SIZE(mp, cs) \
334  RTE_DEPRECATED(MEMPOOL_HEADER_SIZE) RTE_MEMPOOL_HEADER_SIZE(mp, cs)
335 
336 /* return the header of a mempool object (internal) */
337 static inline struct rte_mempool_objhdr *
338 rte_mempool_get_header(void *obj)
339 {
340  return (struct rte_mempool_objhdr *)RTE_PTR_SUB(obj,
341  sizeof(struct rte_mempool_objhdr));
342 }
343 
353 static inline struct rte_mempool *rte_mempool_from_obj(void *obj)
354 {
355  struct rte_mempool_objhdr *hdr = rte_mempool_get_header(obj);
356  return hdr->mp;
357 }
358 
359 /* return the trailer of a mempool object (internal) */
360 static inline struct rte_mempool_objtlr *rte_mempool_get_trailer(void *obj)
361 {
362  struct rte_mempool *mp = rte_mempool_from_obj(obj);
363  return (struct rte_mempool_objtlr *)RTE_PTR_ADD(obj, mp->elt_size);
364 }
365 
380 void rte_mempool_check_cookies(const struct rte_mempool *mp,
381  void * const *obj_table_const, unsigned n, int free);
382 
383 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
384 #define RTE_MEMPOOL_CHECK_COOKIES(mp, obj_table_const, n, free) \
385  rte_mempool_check_cookies(mp, obj_table_const, n, free)
386 #else
387 #define RTE_MEMPOOL_CHECK_COOKIES(mp, obj_table_const, n, free) do {} while (0)
388 #endif /* RTE_LIBRTE_MEMPOOL_DEBUG */
389 
405 void rte_mempool_contig_blocks_check_cookies(const struct rte_mempool *mp,
406  void * const *first_obj_table_const, unsigned int n, int free);
407 
408 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
409 #define RTE_MEMPOOL_CONTIG_BLOCKS_CHECK_COOKIES(mp, first_obj_table_const, n, \
410  free) \
411  rte_mempool_contig_blocks_check_cookies(mp, first_obj_table_const, n, \
412  free)
413 #else
414 #define RTE_MEMPOOL_CONTIG_BLOCKS_CHECK_COOKIES(mp, first_obj_table_const, n, \
415  free) \
416  do {} while (0)
417 #endif /* RTE_LIBRTE_MEMPOOL_DEBUG */
418 
419 #define RTE_MEMPOOL_OPS_NAMESIZE 32
431 typedef int (*rte_mempool_alloc_t)(struct rte_mempool *mp);
432 
436 typedef void (*rte_mempool_free_t)(struct rte_mempool *mp);
437 
441 typedef int (*rte_mempool_enqueue_t)(struct rte_mempool *mp,
442  void * const *obj_table, unsigned int n);
443 
447 typedef int (*rte_mempool_dequeue_t)(struct rte_mempool *mp,
448  void **obj_table, unsigned int n);
449 
454  void **first_obj_table, unsigned int n);
455 
459 typedef unsigned (*rte_mempool_get_count)(const struct rte_mempool *mp);
460 
484 typedef ssize_t (*rte_mempool_calc_mem_size_t)(const struct rte_mempool *mp,
485  uint32_t obj_num, uint32_t pg_shift,
486  size_t *min_chunk_size, size_t *align);
487 
523 ssize_t rte_mempool_op_calc_mem_size_helper(const struct rte_mempool *mp,
524  uint32_t obj_num, uint32_t pg_shift, size_t chunk_reserve,
525  size_t *min_chunk_size, size_t *align);
526 
534 ssize_t rte_mempool_op_calc_mem_size_default(const struct rte_mempool *mp,
535  uint32_t obj_num, uint32_t pg_shift,
536  size_t *min_chunk_size, size_t *align);
537 
550 typedef void (rte_mempool_populate_obj_cb_t)(struct rte_mempool *mp,
551  void *opaque, void *vaddr, rte_iova_t iova);
552 
581 typedef int (*rte_mempool_populate_t)(struct rte_mempool *mp,
582  unsigned int max_objs,
583  void *vaddr, rte_iova_t iova, size_t len,
584  rte_mempool_populate_obj_cb_t *obj_cb, void *obj_cb_arg);
585 
589 #define RTE_MEMPOOL_POPULATE_F_ALIGN_OBJ 0x0001
590 
623 int rte_mempool_op_populate_helper(struct rte_mempool *mp,
624  unsigned int flags, unsigned int max_objs,
625  void *vaddr, rte_iova_t iova, size_t len,
626  rte_mempool_populate_obj_cb_t *obj_cb, void *obj_cb_arg);
627 
635  unsigned int max_objs,
636  void *vaddr, rte_iova_t iova, size_t len,
637  rte_mempool_populate_obj_cb_t *obj_cb, void *obj_cb_arg);
638 
642 typedef int (*rte_mempool_get_info_t)(const struct rte_mempool *mp,
643  struct rte_mempool_info *info);
644 
645 
673 
674 #define RTE_MEMPOOL_MAX_OPS_IDX 16
685 struct rte_mempool_ops_table {
687  uint32_t num_ops;
693 
696 
706 static inline struct rte_mempool_ops *
707 rte_mempool_get_ops(int ops_index)
708 {
709  RTE_VERIFY((ops_index >= 0) && (ops_index < RTE_MEMPOOL_MAX_OPS_IDX));
710 
711  return &rte_mempool_ops_table.ops[ops_index];
712 }
713 
723 int
724 rte_mempool_ops_alloc(struct rte_mempool *mp);
725 
739 static inline int
740 rte_mempool_ops_dequeue_bulk(struct rte_mempool *mp,
741  void **obj_table, unsigned n)
742 {
743  struct rte_mempool_ops *ops;
744  int ret;
745 
746  rte_mempool_trace_ops_dequeue_bulk(mp, obj_table, n);
747  ops = rte_mempool_get_ops(mp->ops_index);
748  ret = ops->dequeue(mp, obj_table, n);
749  if (ret == 0) {
750  RTE_MEMPOOL_STAT_ADD(mp, get_common_pool_bulk, 1);
751  RTE_MEMPOOL_STAT_ADD(mp, get_common_pool_objs, n);
752  }
753  return ret;
754 }
755 
769 static inline int
770 rte_mempool_ops_dequeue_contig_blocks(struct rte_mempool *mp,
771  void **first_obj_table, unsigned int n)
772 {
773  struct rte_mempool_ops *ops;
774 
775  ops = rte_mempool_get_ops(mp->ops_index);
776  RTE_ASSERT(ops->dequeue_contig_blocks != NULL);
777  rte_mempool_trace_ops_dequeue_contig_blocks(mp, first_obj_table, n);
778  return ops->dequeue_contig_blocks(mp, first_obj_table, n);
779 }
780 
794 static inline int
795 rte_mempool_ops_enqueue_bulk(struct rte_mempool *mp, void * const *obj_table,
796  unsigned n)
797 {
798  struct rte_mempool_ops *ops;
799 
800  RTE_MEMPOOL_STAT_ADD(mp, put_common_pool_bulk, 1);
801  RTE_MEMPOOL_STAT_ADD(mp, put_common_pool_objs, n);
802  rte_mempool_trace_ops_enqueue_bulk(mp, obj_table, n);
803  ops = rte_mempool_get_ops(mp->ops_index);
804  return ops->enqueue(mp, obj_table, n);
805 }
806 
815 unsigned
816 rte_mempool_ops_get_count(const struct rte_mempool *mp);
817 
837 ssize_t rte_mempool_ops_calc_mem_size(const struct rte_mempool *mp,
838  uint32_t obj_num, uint32_t pg_shift,
839  size_t *min_chunk_size, size_t *align);
840 
864 int rte_mempool_ops_populate(struct rte_mempool *mp, unsigned int max_objs,
865  void *vaddr, rte_iova_t iova, size_t len,
867  void *obj_cb_arg);
868 
881 int rte_mempool_ops_get_info(const struct rte_mempool *mp,
882  struct rte_mempool_info *info);
883 
890 void
891 rte_mempool_ops_free(struct rte_mempool *mp);
892 
910 int
911 rte_mempool_set_ops_byname(struct rte_mempool *mp, const char *name,
912  void *pool_config);
913 
924 int rte_mempool_register_ops(const struct rte_mempool_ops *ops);
925 
931 #define RTE_MEMPOOL_REGISTER_OPS(ops) \
932  RTE_INIT(mp_hdlr_init_##ops) \
933  { \
934  rte_mempool_register_ops(&ops); \
935  }
936 
938 #define MEMPOOL_REGISTER_OPS(ops) \
939  RTE_DEPRECATED(MEMPOOL_REGISTER_OPS) RTE_MEMPOOL_REGISTER_OPS(ops)
940 
946 typedef void (rte_mempool_obj_cb_t)(struct rte_mempool *mp,
947  void *opaque, void *obj, unsigned obj_idx);
948 typedef rte_mempool_obj_cb_t rte_mempool_obj_ctor_t; /* compat */
949 
955 typedef void (rte_mempool_mem_cb_t)(struct rte_mempool *mp,
956  void *opaque, struct rte_mempool_memhdr *memhdr,
957  unsigned mem_idx);
958 
965 typedef void (rte_mempool_ctor_t)(struct rte_mempool *, void *);
966 
1046 struct rte_mempool *
1047 rte_mempool_create(const char *name, unsigned n, unsigned elt_size,
1048  unsigned cache_size, unsigned private_data_size,
1049  rte_mempool_ctor_t *mp_init, void *mp_init_arg,
1050  rte_mempool_obj_cb_t *obj_init, void *obj_init_arg,
1051  int socket_id, unsigned flags);
1052 
1087 struct rte_mempool *
1088 rte_mempool_create_empty(const char *name, unsigned n, unsigned elt_size,
1089  unsigned cache_size, unsigned private_data_size,
1090  int socket_id, unsigned flags);
1102 void
1103 rte_mempool_free(struct rte_mempool *mp);
1104 
1135 int rte_mempool_populate_iova(struct rte_mempool *mp, char *vaddr,
1136  rte_iova_t iova, size_t len, rte_mempool_memchunk_free_cb_t *free_cb,
1137  void *opaque);
1138 
1165 int
1166 rte_mempool_populate_virt(struct rte_mempool *mp, char *addr,
1167  size_t len, size_t pg_sz, rte_mempool_memchunk_free_cb_t *free_cb,
1168  void *opaque);
1169 
1184 
1198 int rte_mempool_populate_anon(struct rte_mempool *mp);
1199 
1215 uint32_t rte_mempool_obj_iter(struct rte_mempool *mp,
1216  rte_mempool_obj_cb_t *obj_cb, void *obj_cb_arg);
1217 
1233 uint32_t rte_mempool_mem_iter(struct rte_mempool *mp,
1234  rte_mempool_mem_cb_t *mem_cb, void *mem_cb_arg);
1235 
1244 void rte_mempool_dump(FILE *f, struct rte_mempool *mp);
1245 
1260 struct rte_mempool_cache *
1261 rte_mempool_cache_create(uint32_t size, int socket_id);
1262 
1269 void
1271 
1283 static __rte_always_inline struct rte_mempool_cache *
1284 rte_mempool_default_cache(struct rte_mempool *mp, unsigned lcore_id)
1285 {
1286  if (mp->cache_size == 0)
1287  return NULL;
1288 
1289  if (lcore_id >= RTE_MAX_LCORE)
1290  return NULL;
1291 
1292  rte_mempool_trace_default_cache(mp, lcore_id,
1293  &mp->local_cache[lcore_id]);
1294  return &mp->local_cache[lcore_id];
1295 }
1296 
1305 static __rte_always_inline void
1307  struct rte_mempool *mp)
1308 {
1309  if (cache == NULL)
1310  cache = rte_mempool_default_cache(mp, rte_lcore_id());
1311  if (cache == NULL || cache->len == 0)
1312  return;
1313  rte_mempool_trace_cache_flush(cache, mp);
1314  rte_mempool_ops_enqueue_bulk(mp, cache->objs, cache->len);
1315  cache->len = 0;
1316 }
1317 
1330 static __rte_always_inline void
1331 rte_mempool_do_generic_put(struct rte_mempool *mp, void * const *obj_table,
1332  unsigned int n, struct rte_mempool_cache *cache)
1333 {
1334  void **cache_objs;
1335 
1336  /* increment stat now, adding in mempool always success */
1337  RTE_MEMPOOL_STAT_ADD(mp, put_bulk, 1);
1338  RTE_MEMPOOL_STAT_ADD(mp, put_objs, n);
1339 
1340  /* No cache provided or if put would overflow mem allocated for cache */
1341  if (unlikely(cache == NULL || n > RTE_MEMPOOL_CACHE_MAX_SIZE))
1342  goto ring_enqueue;
1343 
1344  cache_objs = &cache->objs[cache->len];
1345 
1346  /*
1347  * The cache follows the following algorithm
1348  * 1. Add the objects to the cache
1349  * 2. Anything greater than the cache min value (if it crosses the
1350  * cache flush threshold) is flushed to the ring.
1351  */
1352 
1353  /* Add elements back into the cache */
1354  rte_memcpy(&cache_objs[0], obj_table, sizeof(void *) * n);
1355 
1356  cache->len += n;
1357 
1358  if (cache->len >= cache->flushthresh) {
1359  rte_mempool_ops_enqueue_bulk(mp, &cache->objs[cache->size],
1360  cache->len - cache->size);
1361  cache->len = cache->size;
1362  }
1363 
1364  return;
1365 
1366 ring_enqueue:
1367 
1368  /* push remaining objects in ring */
1369 #ifdef RTE_LIBRTE_MEMPOOL_DEBUG
1370  if (rte_mempool_ops_enqueue_bulk(mp, obj_table, n) < 0)
1371  rte_panic("cannot put objects in mempool\n");
1372 #else
1373  rte_mempool_ops_enqueue_bulk(mp, obj_table, n);
1374 #endif
1375 }
1376 
1377 
1390 static __rte_always_inline void
1391 rte_mempool_generic_put(struct rte_mempool *mp, void * const *obj_table,
1392  unsigned int n, struct rte_mempool_cache *cache)
1393 {
1394  rte_mempool_trace_generic_put(mp, obj_table, n, cache);
1395  RTE_MEMPOOL_CHECK_COOKIES(mp, obj_table, n, 0);
1396  rte_mempool_do_generic_put(mp, obj_table, n, cache);
1397 }
1398 
1413 static __rte_always_inline void
1414 rte_mempool_put_bulk(struct rte_mempool *mp, void * const *obj_table,
1415  unsigned int n)
1416 {
1417  struct rte_mempool_cache *cache;
1418  cache = rte_mempool_default_cache(mp, rte_lcore_id());
1419  rte_mempool_trace_put_bulk(mp, obj_table, n, cache);
1420  rte_mempool_generic_put(mp, obj_table, n, cache);
1421 }
1422 
1435 static __rte_always_inline void
1436 rte_mempool_put(struct rte_mempool *mp, void *obj)
1437 {
1438  rte_mempool_put_bulk(mp, &obj, 1);
1439 }
1440 
1455 static __rte_always_inline int
1456 rte_mempool_do_generic_get(struct rte_mempool *mp, void **obj_table,
1457  unsigned int n, struct rte_mempool_cache *cache)
1458 {
1459  int ret;
1460  uint32_t index, len;
1461  void **cache_objs;
1462 
1463  /* No cache provided or cannot be satisfied from cache */
1464  if (unlikely(cache == NULL || n >= cache->size))
1465  goto ring_dequeue;
1466 
1467  cache_objs = cache->objs;
1468 
1469  /* Can this be satisfied from the cache? */
1470  if (cache->len < n) {
1471  /* No. Backfill the cache first, and then fill from it */
1472  uint32_t req = n + (cache->size - cache->len);
1473 
1474  /* How many do we require i.e. number to fill the cache + the request */
1475  ret = rte_mempool_ops_dequeue_bulk(mp,
1476  &cache->objs[cache->len], req);
1477  if (unlikely(ret < 0)) {
1478  /*
1479  * In the off chance that we are buffer constrained,
1480  * where we are not able to allocate cache + n, go to
1481  * the ring directly. If that fails, we are truly out of
1482  * buffers.
1483  */
1484  goto ring_dequeue;
1485  }
1486 
1487  cache->len += req;
1488  }
1489 
1490  /* Now fill in the response ... */
1491  for (index = 0, len = cache->len - 1; index < n; ++index, len--, obj_table++)
1492  *obj_table = cache_objs[len];
1493 
1494  cache->len -= n;
1495 
1496  RTE_MEMPOOL_STAT_ADD(mp, get_success_bulk, 1);
1497  RTE_MEMPOOL_STAT_ADD(mp, get_success_objs, n);
1498 
1499  return 0;
1500 
1501 ring_dequeue:
1502 
1503  /* get remaining objects from ring */
1504  ret = rte_mempool_ops_dequeue_bulk(mp, obj_table, n);
1505 
1506  if (ret < 0) {
1507  RTE_MEMPOOL_STAT_ADD(mp, get_fail_bulk, 1);
1508  RTE_MEMPOOL_STAT_ADD(mp, get_fail_objs, n);
1509  } else {
1510  RTE_MEMPOOL_STAT_ADD(mp, get_success_bulk, 1);
1511  RTE_MEMPOOL_STAT_ADD(mp, get_success_objs, n);
1512  }
1513 
1514  return ret;
1515 }
1516 
1537 static __rte_always_inline int
1538 rte_mempool_generic_get(struct rte_mempool *mp, void **obj_table,
1539  unsigned int n, struct rte_mempool_cache *cache)
1540 {
1541  int ret;
1542  ret = rte_mempool_do_generic_get(mp, obj_table, n, cache);
1543  if (ret == 0)
1544  RTE_MEMPOOL_CHECK_COOKIES(mp, obj_table, n, 1);
1545  rte_mempool_trace_generic_get(mp, obj_table, n, cache);
1546  return ret;
1547 }
1548 
1571 static __rte_always_inline int
1572 rte_mempool_get_bulk(struct rte_mempool *mp, void **obj_table, unsigned int n)
1573 {
1574  struct rte_mempool_cache *cache;
1575  cache = rte_mempool_default_cache(mp, rte_lcore_id());
1576  rte_mempool_trace_get_bulk(mp, obj_table, n, cache);
1577  return rte_mempool_generic_get(mp, obj_table, n, cache);
1578 }
1579 
1600 static __rte_always_inline int
1601 rte_mempool_get(struct rte_mempool *mp, void **obj_p)
1602 {
1603  return rte_mempool_get_bulk(mp, obj_p, 1);
1604 }
1605 
1627 static __rte_always_inline int
1629  void **first_obj_table, unsigned int n)
1630 {
1631  int ret;
1632 
1633  ret = rte_mempool_ops_dequeue_contig_blocks(mp, first_obj_table, n);
1634  if (ret == 0) {
1635  RTE_MEMPOOL_STAT_ADD(mp, get_success_bulk, 1);
1636  RTE_MEMPOOL_STAT_ADD(mp, get_success_blks, n);
1637  RTE_MEMPOOL_CONTIG_BLOCKS_CHECK_COOKIES(mp, first_obj_table, n,
1638  1);
1639  } else {
1640  RTE_MEMPOOL_STAT_ADD(mp, get_fail_bulk, 1);
1641  RTE_MEMPOOL_STAT_ADD(mp, get_fail_blks, n);
1642  }
1643 
1644  rte_mempool_trace_get_contig_blocks(mp, first_obj_table, n);
1645  return ret;
1646 }
1647 
1660 unsigned int rte_mempool_avail_count(const struct rte_mempool *mp);
1661 
1674 unsigned int
1675 rte_mempool_in_use_count(const struct rte_mempool *mp);
1676 
1690 static inline int
1692 {
1693  return rte_mempool_avail_count(mp) == mp->size;
1694 }
1695 
1709 static inline int
1711 {
1712  return rte_mempool_avail_count(mp) == 0;
1713 }
1714 
1725 static inline rte_iova_t
1726 rte_mempool_virt2iova(const void *elt)
1727 {
1728  const struct rte_mempool_objhdr *hdr;
1729  hdr = (const struct rte_mempool_objhdr *)RTE_PTR_SUB(elt,
1730  sizeof(*hdr));
1731  return hdr->iova;
1732 }
1733 
1744 void rte_mempool_audit(struct rte_mempool *mp);
1745 
1754 static inline void *rte_mempool_get_priv(struct rte_mempool *mp)
1755 {
1756  return (char *)mp +
1757  RTE_MEMPOOL_HEADER_SIZE(mp, mp->cache_size);
1758 }
1759 
1766 void rte_mempool_list_dump(FILE *f);
1767 
1780 struct rte_mempool *rte_mempool_lookup(const char *name);
1781 
1799 uint32_t rte_mempool_calc_obj_size(uint32_t elt_size, uint32_t flags,
1800  struct rte_mempool_objsz *sz);
1801 
1810 void rte_mempool_walk(void (*func)(struct rte_mempool *, void *arg),
1811  void *arg);
1812 
1817 int
1818 rte_mempool_get_page_size(struct rte_mempool *mp, size_t *pg_sz);
1819 
1829 };
1830 
1840 typedef void (rte_mempool_event_callback)(
1841  enum rte_mempool_event event,
1842  struct rte_mempool *mp,
1843  void *user_data);
1844 
1859 __rte_internal
1860 int
1861 rte_mempool_event_callback_register(rte_mempool_event_callback *func,
1862  void *user_data);
1863 
1877 __rte_internal
1878 int
1879 rte_mempool_event_callback_unregister(rte_mempool_event_callback *func,
1880  void *user_data);
1881 
1882 #ifdef __cplusplus
1883 }
1884 #endif
1885 
1886 #endif /* _RTE_MEMPOOL_H_ */
uint64_t pool_id
Definition: rte_mempool.h:213
#define __rte_always_inline
Definition: rte_common.h:228
struct rte_mempool * rte_mempool_lookup(const char *name)
struct rte_mempool_cache * rte_mempool_cache_create(uint32_t size, int socket_id)
uint32_t rte_mempool_mem_iter(struct rte_mempool *mp, rte_mempool_mem_cb_t *mem_cb, void *mem_cb_arg)
uint32_t header_size
Definition: rte_mempool.h:224
const struct rte_memzone * mz
Definition: rte_mempool.h:216
uint64_t rte_iova_t
Definition: rte_common.h:420
static __rte_always_inline void rte_mempool_put_bulk(struct rte_mempool *mp, void *const *obj_table, unsigned int n)
Definition: rte_mempool.h:1414
struct rte_mempool * mp
Definition: rte_mempool.h:186
void rte_mempool_list_dump(FILE *f)
void() rte_mempool_memchunk_free_cb_t(struct rte_mempool_memhdr *memhdr, void *opaque)
Definition: rte_mempool.h:175
int(* rte_mempool_dequeue_contig_blocks_t)(struct rte_mempool *mp, void **first_obj_table, unsigned int n)
Definition: rte_mempool.h:453
rte_mempool_alloc_t alloc
Definition: rte_mempool.h:649
void() rte_mempool_populate_obj_cb_t(struct rte_mempool *mp, void *opaque, void *vaddr, rte_iova_t iova)
Definition: rte_mempool.h:550
unsigned int flags
Definition: rte_mempool.h:217
static __rte_always_inline void rte_mempool_generic_put(struct rte_mempool *mp, void *const *obj_table, unsigned int n, struct rte_mempool_cache *cache)
Definition: rte_mempool.h:1391
int(* rte_mempool_alloc_t)(struct rte_mempool *mp)
Definition: rte_mempool.h:431
static int rte_mempool_empty(const struct rte_mempool *mp)
Definition: rte_mempool.h:1710
RTE_STAILQ_HEAD(rte_mempool_objhdr_list, rte_mempool_objhdr)
rte_mempool_memchunk_free_cb_t * free_cb
Definition: rte_mempool.h:190
char name[RTE_MEMPOOL_OPS_NAMESIZE]
Definition: rte_mempool.h:648
int(* rte_mempool_dequeue_t)(struct rte_mempool *mp, void **obj_table, unsigned int n)
Definition: rte_mempool.h:447
rte_mempool_get_info_t get_info
Definition: rte_mempool.h:667
rte_mempool_dequeue_contig_blocks_t dequeue_contig_blocks
Definition: rte_mempool.h:671
uint32_t cache_size
Definition: rte_mempool.h:220
char name[RTE_MEMPOOL_NAMESIZE]
Definition: rte_mempool.h:209
unsigned int rte_mempool_avail_count(const struct rte_mempool *mp)
uint32_t size
Definition: rte_mempool.h:219
#define RTE_PTR_ADD(ptr, x)
Definition: rte_common.h:250
void rte_mempool_cache_free(struct rte_mempool_cache *cache)
uint32_t total_size
Definition: rte_mempool.h:103
uint32_t rte_mempool_obj_iter(struct rte_mempool *mp, rte_mempool_obj_cb_t *obj_cb, void *obj_cb_arg)
int rte_mempool_ops_get_info(const struct rte_mempool *mp, struct rte_mempool_info *info)
int rte_mempool_register_ops(const struct rte_mempool_ops *ops)
#define unlikely(x)
static __rte_always_inline int rte_mempool_generic_get(struct rte_mempool *mp, void **obj_table, unsigned int n, struct rte_mempool_cache *cache)
Definition: rte_mempool.h:1538
int rte_mempool_populate_default(struct rte_mempool *mp)
static __rte_always_inline void rte_mempool_cache_flush(struct rte_mempool_cache *cache, struct rte_mempool *mp)
Definition: rte_mempool.h:1306
#define RTE_MEMPOOL_OPS_NAMESIZE
Definition: rte_mempool.h:419
static __rte_always_inline int rte_mempool_get(struct rte_mempool *mp, void **obj_p)
Definition: rte_mempool.h:1601
uint32_t nb_mem_chunks
Definition: rte_mempool.h:241
struct rte_mempool * mp
Definition: rte_mempool.h:141
struct rte_mempool_ops ops[RTE_MEMPOOL_MAX_OPS_IDX]
Definition: rte_mempool.h:691
rte_mempool_get_count get_count
Definition: rte_mempool.h:653
ssize_t(* rte_mempool_calc_mem_size_t)(const struct rte_mempool *mp, uint32_t obj_num, uint32_t pg_shift, size_t *min_chunk_size, size_t *align)
Definition: rte_mempool.h:484
static int rte_mempool_full(const struct rte_mempool *mp)
Definition: rte_mempool.h:1691
static unsigned rte_lcore_id(void)
Definition: rte_lcore.h:76
void * pool_config
Definition: rte_mempool.h:215
unsigned int rte_mempool_in_use_count(const struct rte_mempool *mp)
static __rte_always_inline int rte_mempool_get_bulk(struct rte_mempool *mp, void **obj_table, unsigned int n)
Definition: rte_mempool.h:1572
#define rte_panic(...)
Definition: rte_debug.h:43
int rte_mempool_set_ops_byname(struct rte_mempool *mp, const char *name, void *pool_config)
int rte_mempool_populate_iova(struct rte_mempool *mp, char *vaddr, rte_iova_t iova, size_t len, rte_mempool_memchunk_free_cb_t *free_cb, void *opaque)
rte_mempool_calc_mem_size_t calc_mem_size
Definition: rte_mempool.h:658
unsigned(* rte_mempool_get_count)(const struct rte_mempool *mp)
Definition: rte_mempool.h:459
uint32_t rte_mempool_calc_obj_size(uint32_t elt_size, uint32_t flags, struct rte_mempool_objsz *sz)
ssize_t rte_mempool_op_calc_mem_size_default(const struct rte_mempool *mp, uint32_t obj_num, uint32_t pg_shift, size_t *min_chunk_size, size_t *align)
void * objs[RTE_MEMPOOL_CACHE_MAX_SIZE *3]
Definition: rte_mempool.h:93
void * pool_data
Definition: rte_mempool.h:212
unsigned int contig_block_size
Definition: rte_mempool.h:202
int rte_mempool_populate_virt(struct rte_mempool *mp, char *addr, size_t len, size_t pg_sz, rte_mempool_memchunk_free_cb_t *free_cb, void *opaque)
int(* rte_mempool_populate_t)(struct rte_mempool *mp, unsigned int max_objs, void *vaddr, rte_iova_t iova, size_t len, rte_mempool_populate_obj_cb_t *obj_cb, void *obj_cb_arg)
Definition: rte_mempool.h:581
uint32_t elt_size
Definition: rte_mempool.h:223
void rte_mempool_audit(struct rte_mempool *mp)
int(* rte_mempool_get_info_t)(const struct rte_mempool *mp, struct rte_mempool_info *info)
Definition: rte_mempool.h:642
struct rte_mempool * rte_mempool_create_empty(const char *name, unsigned n, unsigned elt_size, unsigned cache_size, unsigned private_data_size, int socket_id, unsigned flags)
unsigned private_data_size
Definition: rte_mempool.h:227
rte_spinlock_t sl
Definition: rte_mempool.h:686
static __rte_always_inline struct rte_mempool_cache * rte_mempool_default_cache(struct rte_mempool *mp, unsigned lcore_id)
Definition: rte_mempool.h:1284
void rte_mempool_dump(FILE *f, struct rte_mempool *mp)
void() rte_mempool_ctor_t(struct rte_mempool *, void *)
Definition: rte_mempool.h:965
int rte_mempool_populate_anon(struct rte_mempool *mp)
struct rte_mempool_cache * local_cache
Definition: rte_mempool.h:237
#define __rte_cache_aligned
Definition: rte_common.h:402
uint32_t trailer_size
Definition: rte_mempool.h:225
#define RTE_STD_C11
Definition: rte_common.h:42
rte_mempool_dequeue_t dequeue
Definition: rte_mempool.h:652
int(* rte_mempool_enqueue_t)(struct rte_mempool *mp, void *const *obj_table, unsigned int n)
Definition: rte_mempool.h:441
uint32_t flushthresh
Definition: rte_mempool.h:87
void() rte_mempool_obj_cb_t(struct rte_mempool *mp, void *opaque, void *obj, unsigned obj_idx)
Definition: rte_mempool.h:946
void() rte_mempool_mem_cb_t(struct rte_mempool *mp, void *opaque, struct rte_mempool_memhdr *memhdr, unsigned mem_idx)
Definition: rte_mempool.h:955
int rte_mempool_op_populate_default(struct rte_mempool *mp, unsigned int max_objs, void *vaddr, rte_iova_t iova, size_t len, rte_mempool_populate_obj_cb_t *obj_cb, void *obj_cb_arg)
struct rte_mempool * rte_mempool_create(const char *name, unsigned n, unsigned elt_size, unsigned cache_size, unsigned private_data_size, rte_mempool_ctor_t *mp_init, void *mp_init_arg, rte_mempool_obj_cb_t *obj_init, void *obj_init_arg, int socket_id, unsigned flags)
#define RTE_PTR_SUB(ptr, x)
Definition: rte_common.h:255
rte_mempool_event
Definition: rte_mempool.h:1824
static struct rte_mempool * rte_mempool_from_obj(void *obj)
Definition: rte_mempool.h:353
uint32_t header_size
Definition: rte_mempool.h:101
int32_t ops_index
Definition: rte_mempool.h:235
static void * rte_memcpy(void *dst, const void *src, size_t n)
uint32_t populated_size
Definition: rte_mempool.h:239
static rte_iova_t rte_mempool_virt2iova(const void *elt)
Definition: rte_mempool.h:1726
static __rte_always_inline void rte_mempool_put(struct rte_mempool *mp, void *obj)
Definition: rte_mempool.h:1436
rte_mempool_populate_t populate
Definition: rte_mempool.h:663
void rte_mempool_free(struct rte_mempool *mp)
void rte_mempool_walk(void(*func)(struct rte_mempool *, void *arg), void *arg)
static void * rte_mempool_get_priv(struct rte_mempool *mp)
Definition: rte_mempool.h:1754
uint32_t trailer_size
Definition: rte_mempool.h:102
#define RTE_MEMPOOL_MAX_OPS_IDX
Definition: rte_mempool.h:674
void(* rte_mempool_free_t)(struct rte_mempool *mp)
Definition: rte_mempool.h:436
rte_mempool_free_t free
Definition: rte_mempool.h:650
static __rte_always_inline int rte_mempool_get_contig_blocks(struct rte_mempool *mp, void **first_obj_table, unsigned int n)
Definition: rte_mempool.h:1628
rte_mempool_enqueue_t enqueue
Definition: rte_mempool.h:651