| lists.openwall.net | lists / announce owl-users owl-dev john-users john-dev passwdqc-users yescrypt popa3d-users / oss-security kernel-hardening musl sabotage tlsify passwords / crypt-dev xvendor / Bugtraq Full-Disclosure linux-kernel linux-netdev linux-ext4 linux-hardening linux-cve-announce PHC | |
|
Open Source and information security mailing list archives
| ||
|
Date: Sun, 4 Feb 2018 15:18:57 +0200
From: Gal Pressman <galp@...lanox.com>
To: Paweł Staszewski <pstaszewski@...are.pl>
Cc: Linux Kernel Network Developers <netdev@...r.kernel.org>
Subject: Re: after adding > 200vlans to mlx nic no traffic
On 01-Feb-18 10:25, Paweł Staszewski wrote:
>
>
> W dniu 31.01.2018 o 13:19, Gal Pressman pisze:
>> On 30-Jan-18 17:57, Paweł Staszewski wrote:
>>>
>>> W dniu 30.01.2018 o 15:57, Gal Pressman pisze:
>>>> On 30-Jan-18 02:29, Paweł Staszewski wrote:
>>>>> Weird thing with mellanox mlx5 (connectx-4) kernel 4.15-rc9 - from net-next davem tree
>>>>>
>>>>>
>>>>>
>>>>> after:
>>>>>
>>>>> ip link add link enp175s0f1 name vlan1538 type vlan id 1538
>>>>>
>>>>> ip link set up dev vlan1538
>>>>>
>>>>>
>>>>> traffic on vlan is working
>>>>>
>>>>>
>>>>> But after
>>>>>
>>>>> VID="1160 1450 1451 1452 1453 1454 1455 1456 1457 1458 1459 1460 1461 1462 1463 1464 1465 1466 1467 1468 1469 1470 1471 1472 1473 1474 1475 1476 1477 1478 1479 1480 1481 1482 1483 1484 1485 1486 1487 1488 1489 1490 1491 1492 1493 1494 1495 1496 1497 1498 1499 150
>>>>> 0 1501 1502 1503 1504 1505 1506 1507 1508 1509 1510 1511 1512 1513 1514 1515 1516 1517 1518 1519 1520 1521 1522 1523 1524 1525 1526 1527 1528 1529 1530 1531 1532 1534 1535 1394 1393 1550 1500 1526 1536 1537 1538 1539 1540 1542 1541 1543 1544 1801 1546 1547 1548 1
>>>>> 549 1735 3132 3143 3104 3125 3103 3115 3134 3105 3113 3141 4009 3144 3130 1803 3146 3148 3109 1551 1552 1553 1554 1555 1556 1558 1559 1560 1561 1562 1563 1564 1565 1567 1568 1569 1570 1571 1572 1573 1574 1575 1576 1577 1578 1579 1580 1581 1582 1583 1584 1585 1586
>>>>> 1587 1588 1589 1591 1592 1593 1594 1595 1596 1597 1598 1599 1557 1545 2001 250 4043 1806 1600 1602 1603 1604 1605 1606 1607 1608 1609 1610 1611 1612 1613 1614 1615 1616 1617 1618 1619 1620 1621 1625 1626 1627 1628 1629 1630 1631 1632 1634 1635 1636 1640 1641 164
>>>>> 2 1643 1644 1645 1646 1647 1648 1649 1650 1651 1652 1653 1654 1655 1656 1657 1658 1659 1660 1661 1662 1663 1664 1665 1601 1666 1667 1668 1669 1670 1671 1672 1673 1674 1676 1677 1678 1680 1681 1682 1683 1684 1685 1686 1687 1688 1689 1690 1691 1692 1693 1694 1696 1
>>>>> 697 1698 1712 1817 1869 1810 1814 1818 1855 1856 1857 1858 1859 1860 1861 1862 1863 1864 1865 1866 1867 1868 1870 1871 1872 1873 1874 1875 1876 1877 1878 1879 1880 1885 1890 1891 1892 1893 1894 1895 1898 1881 2190 2191 2192 2193 2194 2195 2196 2197 2198 2199 2541
>>>>> 2542 2543 2544 2545 2546 2547 2548 2549 2550 2290"
>>>>> for i in $VID
>>>>> do
>>>>> ip link add link enp175s0f1 name vlan$i type vlan id $i
>>>>> done
>>>>>
>>>>>
>>>>> And setting vlan 1538 up - there is no received traffic on this vlan.
>>>>>
>>>>>
>>>>>
>>>>> So searching for broken things (last time same problem was with ixgbe)
>>>>>
>>>>> ethtool -K enp175s0f1 rx-vlan-filter off
>>>>>
>>>>>
>>>>> And all vlans attached to this device start working
>>>>>
>>>>>
>>>>>
>>>> Hi Pawel,
>>>> I tried to reproduce the issue in our local setups without success.
>>>> Can you please provide more information? are there any errors in dmesg? did you configure anything else that might be relevant to this issue?
>>>> Do you know if this is a new degradation to 4.15-rc9?
>>> previous kernel used was 4.13.2 - without this problem.
>>>
>>> current kernel is net-next 4.15.0-rc9+
>>> https://git.kernel.org/pub/scm/linux/kernel/git/davem/net-next.git
>>>
>>>> Try to send traffic over the vlans and sample the ethtool counters (ethtool -S enp175s0f1) of the receiver mlx5 interface over time,
>>>> this might help us trace where the packets drop.
>>> Yes traffic is going out from interface - bot there is nothing on RX - tcpdump shows no packets arriving to interface
>>>
>> I am running 4.15.0-rc9+ from Dave's tree, currently on commit 91e6dd828425 ("ipmr: Fix ptrdiff_t print formatting").
>> Tested with the commands you provided and same configuration, the issue does not reproduce on our setups.
>>
>> Did you see any errors in dmesg? anything coming from mlx5 driver?
> No errors in dmesg
>> Which firmware version are you using?
>
>> Please provide your .config file, perhaps it is making the difference.
> Ok maybee I will add also ethtool configuration that is started before ip link vlan is added:
> ifc='enp175s0f0 enp175s0f1'
> for i in $ifc
> do
> ip link set up dev $i
> ethtool -A $i autoneg off rx off tx off
> ethtool -G $i rx 4096 tx 4096
> ip link set $i txqueuelen 1000
> ethtool -L $i combined 28
> ethtool -N $i rx-flow-hash udp4 sdfn
Note that this is not supported by mlx5.
> ethtool -C $i adaptive-rx off rx-usecs 256 rx-frames 128
> done
>
> There are two interfaces
> enp175s0f0 enp175s0f1
>
> First one have also some vlans:
> Below full list:
> cat /proc/net/vlan/config
> VLAN Dev name | VLAN ID
> Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD
> vlan1538 | 1538 | enp175s0f1
> vlan1160 | 1160 | enp175s0f1
> vlan1450 | 1450 | enp175s0f1
> vlan1451 | 1451 | enp175s0f1
> vlan1452 | 1452 | enp175s0f1
> vlan1453 | 1453 | enp175s0f1
> vlan1454 | 1454 | enp175s0f1
> vlan1455 | 1455 | enp175s0f1
> vlan1456 | 1456 | enp175s0f1
> vlan1457 | 1457 | enp175s0f1
> vlan1458 | 1458 | enp175s0f1
> vlan1459 | 1459 | enp175s0f1
> vlan1460 | 1460 | enp175s0f1
> vlan1461 | 1461 | enp175s0f1
> vlan1462 | 1462 | enp175s0f1
> vlan1463 | 1463 | enp175s0f1
> vlan1464 | 1464 | enp175s0f1
> vlan1465 | 1465 | enp175s0f1
> vlan1466 | 1466 | enp175s0f1
> vlan1467 | 1467 | enp175s0f1
> vlan1468 | 1468 | enp175s0f1
> vlan1469 | 1469 | enp175s0f1
> vlan1470 | 1470 | enp175s0f1
> vlan1471 | 1471 | enp175s0f1
> vlan1472 | 1472 | enp175s0f1
> vlan1473 | 1473 | enp175s0f1
> vlan1474 | 1474 | enp175s0f1
> vlan1475 | 1475 | enp175s0f1
> vlan1476 | 1476 | enp175s0f1
> vlan1477 | 1477 | enp175s0f1
> vlan1478 | 1478 | enp175s0f1
> vlan1479 | 1479 | enp175s0f1
> vlan1480 | 1480 | enp175s0f1
> vlan1481 | 1481 | enp175s0f1
> vlan1482 | 1482 | enp175s0f1
> vlan1483 | 1483 | enp175s0f1
> vlan1484 | 1484 | enp175s0f1
> vlan1485 | 1485 | enp175s0f1
> vlan1486 | 1486 | enp175s0f1
> vlan1487 | 1487 | enp175s0f1
> vlan1488 | 1488 | enp175s0f1
> vlan1489 | 1489 | enp175s0f1
> vlan1490 | 1490 | enp175s0f1
> vlan1491 | 1491 | enp175s0f1
> vlan1492 | 1492 | enp175s0f1
> vlan1493 | 1493 | enp175s0f1
> vlan1494 | 1494 | enp175s0f1
> vlan1495 | 1495 | enp175s0f1
> vlan1496 | 1496 | enp175s0f1
> vlan1497 | 1497 | enp175s0f1
> vlan1498 | 1498 | enp175s0f1
> vlan1499 | 1499 | enp175s0f1
> vlan1500 | 1500 | enp175s0f1
> vlan1501 | 1501 | enp175s0f1
> vlan1502 | 1502 | enp175s0f1
> vlan1503 | 1503 | enp175s0f1
> vlan1504 | 1504 | enp175s0f1
> vlan1505 | 1505 | enp175s0f1
> vlan1506 | 1506 | enp175s0f1
> vlan1507 | 1507 | enp175s0f1
> vlan1508 | 1508 | enp175s0f1
> vlan1509 | 1509 | enp175s0f1
> vlan1510 | 1510 | enp175s0f1
> vlan1511 | 1511 | enp175s0f1
> vlan1512 | 1512 | enp175s0f1
> vlan1513 | 1513 | enp175s0f1
> vlan1514 | 1514 | enp175s0f1
> vlan1515 | 1515 | enp175s0f1
> vlan1516 | 1516 | enp175s0f1
> vlan1517 | 1517 | enp175s0f1
> vlan1518 | 1518 | enp175s0f1
> vlan1519 | 1519 | enp175s0f1
> vlan1520 | 1520 | enp175s0f1
> vlan1521 | 1521 | enp175s0f1
> vlan1522 | 1522 | enp175s0f1
> vlan1523 | 1523 | enp175s0f1
> vlan1524 | 1524 | enp175s0f1
> vlan1525 | 1525 | enp175s0f1
> vlan1526 | 1526 | enp175s0f1
> vlan1527 | 1527 | enp175s0f1
> vlan1528 | 1528 | enp175s0f1
> vlan1529 | 1529 | enp175s0f1
> vlan1530 | 1530 | enp175s0f1
> vlan1531 | 1531 | enp175s0f1
> vlan1532 | 1532 | enp175s0f1
> vlan1534 | 1534 | enp175s0f1
> vlan1535 | 1535 | enp175s0f1
> vlan1394 | 1394 | enp175s0f1
> vlan1393 | 1393 | enp175s0f1
> vlan1550 | 1550 | enp175s0f1
> vlan1536 | 1536 | enp175s0f1
> vlan1537 | 1537 | enp175s0f1
> vlan1539 | 1539 | enp175s0f1
> vlan1540 | 1540 | enp175s0f1
> vlan1542 | 1542 | enp175s0f1
> vlan1541 | 1541 | enp175s0f1
> vlan1543 | 1543 | enp175s0f1
> vlan1544 | 1544 | enp175s0f1
> vlan1801 | 1801 | enp175s0f1
> vlan1546 | 1546 | enp175s0f1
> vlan1547 | 1547 | enp175s0f1
> vlan1548 | 1548 | enp175s0f1
> vlan1549 | 1549 | enp175s0f1
> vlan1735 | 1735 | enp175s0f1
> vlan3132 | 3132 | enp175s0f1
> vlan3143 | 3143 | enp175s0f1
> vlan3104 | 3104 | enp175s0f1
> vlan3125 | 3125 | enp175s0f1
> vlan3103 | 3103 | enp175s0f1
> vlan3115 | 3115 | enp175s0f1
> vlan3134 | 3134 | enp175s0f1
> vlan3105 | 3105 | enp175s0f1
> vlan3113 | 3113 | enp175s0f1
> vlan3141 | 3141 | enp175s0f1
> vlan4009 | 4009 | enp175s0f1
> vlan3144 | 3144 | enp175s0f1
> vlan3130 | 3130 | enp175s0f1
> vlan1803 | 1803 | enp175s0f1
> vlan3146 | 3146 | enp175s0f1
> vlan3148 | 3148 | enp175s0f1
> vlan3109 | 3109 | enp175s0f1
> vlan1551 | 1551 | enp175s0f1
> vlan1552 | 1552 | enp175s0f1
> vlan1553 | 1553 | enp175s0f1
> vlan1554 | 1554 | enp175s0f1
> vlan1555 | 1555 | enp175s0f1
> vlan1556 | 1556 | enp175s0f1
> vlan1558 | 1558 | enp175s0f1
> vlan1559 | 1559 | enp175s0f1
> vlan1560 | 1560 | enp175s0f1
> vlan1561 | 1561 | enp175s0f1
> vlan1562 | 1562 | enp175s0f1
> vlan1563 | 1563 | enp175s0f1
> vlan1564 | 1564 | enp175s0f1
> vlan1565 | 1565 | enp175s0f1
> vlan1567 | 1567 | enp175s0f1
> vlan1568 | 1568 | enp175s0f1
> vlan1569 | 1569 | enp175s0f1
> vlan1570 | 1570 | enp175s0f1
> vlan1571 | 1571 | enp175s0f1
> vlan1572 | 1572 | enp175s0f1
> vlan1573 | 1573 | enp175s0f1
> vlan1574 | 1574 | enp175s0f1
> vlan1575 | 1575 | enp175s0f1
> vlan1576 | 1576 | enp175s0f1
> vlan1577 | 1577 | enp175s0f1
> vlan1578 | 1578 | enp175s0f1
> vlan1579 | 1579 | enp175s0f1
> vlan1580 | 1580 | enp175s0f1
> vlan1581 | 1581 | enp175s0f1
> vlan1582 | 1582 | enp175s0f1
> vlan1583 | 1583 | enp175s0f1
> vlan1584 | 1584 | enp175s0f1
> vlan1585 | 1585 | enp175s0f1
> vlan1586 | 1586 | enp175s0f1
> vlan1587 | 1587 | enp175s0f1
> vlan1588 | 1588 | enp175s0f1
> vlan1589 | 1589 | enp175s0f1
> vlan1591 | 1591 | enp175s0f1
> vlan1592 | 1592 | enp175s0f1
> vlan1593 | 1593 | enp175s0f1
> vlan1594 | 1594 | enp175s0f1
> vlan1595 | 1595 | enp175s0f1
> vlan1596 | 1596 | enp175s0f1
> vlan1597 | 1597 | enp175s0f1
> vlan1598 | 1598 | enp175s0f1
> vlan1599 | 1599 | enp175s0f1
> vlan1557 | 1557 | enp175s0f1
> vlan1545 | 1545 | enp175s0f1
> vlan2001 | 2001 | enp175s0f1
> vlan1806 | 1806 | enp175s0f1
> vlan1600 | 1600 | enp175s0f1
> vlan1602 | 1602 | enp175s0f1
> vlan1603 | 1603 | enp175s0f1
> vlan1604 | 1604 | enp175s0f1
> vlan1605 | 1605 | enp175s0f1
> vlan1606 | 1606 | enp175s0f1
> vlan1607 | 1607 | enp175s0f1
> vlan1608 | 1608 | enp175s0f1
> vlan1609 | 1609 | enp175s0f1
> vlan1610 | 1610 | enp175s0f1
> vlan1611 | 1611 | enp175s0f1
> vlan1612 | 1612 | enp175s0f1
> vlan1613 | 1613 | enp175s0f1
> vlan1614 | 1614 | enp175s0f1
> vlan1615 | 1615 | enp175s0f1
> vlan1616 | 1616 | enp175s0f1
> vlan1617 | 1617 | enp175s0f1
> vlan1618 | 1618 | enp175s0f1
> vlan1619 | 1619 | enp175s0f1
> vlan1620 | 1620 | enp175s0f1
> vlan1621 | 1621 | enp175s0f1
> vlan1625 | 1625 | enp175s0f1
> vlan1626 | 1626 | enp175s0f1
> vlan1627 | 1627 | enp175s0f1
> vlan1628 | 1628 | enp175s0f1
> vlan1629 | 1629 | enp175s0f1
> vlan1630 | 1630 | enp175s0f1
> vlan1631 | 1631 | enp175s0f1
> vlan1632 | 1632 | enp175s0f1
> vlan1634 | 1634 | enp175s0f1
> vlan1635 | 1635 | enp175s0f1
> vlan1636 | 1636 | enp175s0f1
> vlan1640 | 1640 | enp175s0f1
> vlan1641 | 1641 | enp175s0f1
> vlan1642 | 1642 | enp175s0f1
> vlan1643 | 1643 | enp175s0f1
> vlan1644 | 1644 | enp175s0f1
> vlan1645 | 1645 | enp175s0f1
> vlan1646 | 1646 | enp175s0f1
> vlan1647 | 1647 | enp175s0f1
> vlan1648 | 1648 | enp175s0f1
> vlan1649 | 1649 | enp175s0f1
> vlan1650 | 1650 | enp175s0f1
> vlan1651 | 1651 | enp175s0f1
> vlan1652 | 1652 | enp175s0f1
> vlan1653 | 1653 | enp175s0f1
> vlan1654 | 1654 | enp175s0f1
> vlan1655 | 1655 | enp175s0f1
> vlan1656 | 1656 | enp175s0f1
> vlan1657 | 1657 | enp175s0f1
> vlan1658 | 1658 | enp175s0f1
> vlan1659 | 1659 | enp175s0f1
> vlan1660 | 1660 | enp175s0f1
> vlan1661 | 1661 | enp175s0f1
> vlan1662 | 1662 | enp175s0f1
> vlan1663 | 1663 | enp175s0f1
> vlan1664 | 1664 | enp175s0f1
> vlan1665 | 1665 | enp175s0f1
> vlan1601 | 1601 | enp175s0f1
> vlan1666 | 1666 | enp175s0f1
> vlan1667 | 1667 | enp175s0f1
> vlan1668 | 1668 | enp175s0f1
> vlan1669 | 1669 | enp175s0f1
> vlan1670 | 1670 | enp175s0f1
> vlan1671 | 1671 | enp175s0f1
> vlan1672 | 1672 | enp175s0f1
> vlan1673 | 1673 | enp175s0f1
> vlan1674 | 1674 | enp175s0f1
> vlan1676 | 1676 | enp175s0f1
> vlan1677 | 1677 | enp175s0f1
> vlan1678 | 1678 | enp175s0f1
> vlan1680 | 1680 | enp175s0f1
> vlan1681 | 1681 | enp175s0f1
> vlan1682 | 1682 | enp175s0f1
> vlan1683 | 1683 | enp175s0f1
> vlan1684 | 1684 | enp175s0f1
> vlan1685 | 1685 | enp175s0f1
> vlan1686 | 1686 | enp175s0f1
> vlan1687 | 1687 | enp175s0f1
> vlan1688 | 1688 | enp175s0f1
> vlan1689 | 1689 | enp175s0f1
> vlan1690 | 1690 | enp175s0f1
> vlan1691 | 1691 | enp175s0f1
> vlan1692 | 1692 | enp175s0f1
> vlan1693 | 1693 | enp175s0f1
> vlan1694 | 1694 | enp175s0f1
> vlan1696 | 1696 | enp175s0f1
> vlan1697 | 1697 | enp175s0f1
> vlan1698 | 1698 | enp175s0f1
> vlan1712 | 1712 | enp175s0f1
> vlan1817 | 1817 | enp175s0f1
> vlan1869 | 1869 | enp175s0f1
> vlan1810 | 1810 | enp175s0f1
> vlan1814 | 1814 | enp175s0f1
> vlan1818 | 1818 | enp175s0f1
> vlan1855 | 1855 | enp175s0f1
> vlan1856 | 1856 | enp175s0f1
> vlan1857 | 1857 | enp175s0f1
> vlan1858 | 1858 | enp175s0f1
> vlan1859 | 1859 | enp175s0f1
> vlan1860 | 1860 | enp175s0f1
> vlan1861 | 1861 | enp175s0f1
> vlan1862 | 1862 | enp175s0f1
> vlan1863 | 1863 | enp175s0f1
> vlan1864 | 1864 | enp175s0f1
> vlan1865 | 1865 | enp175s0f1
> vlan1866 | 1866 | enp175s0f1
> vlan1867 | 1867 | enp175s0f1
> vlan1868 | 1868 | enp175s0f1
> vlan1870 | 1870 | enp175s0f1
> vlan1871 | 1871 | enp175s0f1
> vlan1872 | 1872 | enp175s0f1
> vlan1873 | 1873 | enp175s0f1
> vlan1874 | 1874 | enp175s0f1
> vlan1875 | 1875 | enp175s0f1
> vlan1876 | 1876 | enp175s0f1
> vlan1877 | 1877 | enp175s0f1
> vlan1878 | 1878 | enp175s0f1
> vlan1879 | 1879 | enp175s0f1
> vlan1880 | 1880 | enp175s0f1
> vlan1885 | 1885 | enp175s0f1
> vlan1890 | 1890 | enp175s0f1
> vlan1891 | 1891 | enp175s0f1
> vlan1892 | 1892 | enp175s0f1
> vlan1893 | 1893 | enp175s0f1
> vlan1894 | 1894 | enp175s0f1
> vlan1895 | 1895 | enp175s0f1
> vlan1898 | 1898 | enp175s0f1
> vlan1881 | 1881 | enp175s0f1
> vlan2190 | 2190 | enp175s0f1
> vlan2191 | 2191 | enp175s0f1
> vlan2192 | 2192 | enp175s0f1
> vlan2193 | 2193 | enp175s0f1
> vlan2194 | 2194 | enp175s0f1
> vlan2195 | 2195 | enp175s0f1
> vlan2196 | 2196 | enp175s0f1
> vlan2197 | 2197 | enp175s0f1
> vlan2198 | 2198 | enp175s0f1
> vlan2199 | 2199 | enp175s0f1
> vlan2541 | 2541 | enp175s0f1
> vlan2542 | 2542 | enp175s0f1
> vlan2543 | 2543 | enp175s0f1
> vlan2544 | 2544 | enp175s0f1
> vlan2545 | 2545 | enp175s0f1
> vlan2546 | 2546 | enp175s0f1
> vlan2547 | 2547 | enp175s0f1
> vlan2548 | 2548 | enp175s0f1
> vlan2549 | 2549 | enp175s0f1
> vlan2550 | 2550 | enp175s0f1
> vlan2290 | 2290 | enp175s0f1
> vlan616 | 616 | enp175s0f0
> vlan617 | 617 | enp175s0f0
> vlan627 | 627 | enp175s0f0
> vlan979 | 979 | enp175s0f0
> vlan250 | 250 | enp175s0f0
> vlan4032 | 4032 | enp175s0f0
> vlan4043 | 4043 | enp175s0f0
>
> Firmware:
> ethtool -i enp175s0f0
> driver: mlx5_core
> version: 5.0-0
> firmware-version: 12.18.2000 (SM_2001000001033)
OK, this is our root cause.
We had a firmware bug in this exact scenario that was fixed in newer releases (12.18.2000 is about ~1 year old),
please update to our latest firmware release (12.21.2010), let me know if the issue is not resolved.
Thanks,
Gal
Powered by blists - more mailing lists